Загрузите только недавно измененные файлы с помощью wget over FTP

Когда рекурсивно wget с FTP-сервера, как я могу загрузить только файлы, измененные после заданной даты?

Вариант использования заключается в том, что мне нужно каждую секунду синхронизировать с несколькими серверами, но мне нужны данные только через пару дней назад. Флаг --mirror бы достаточным, за исключением того, что синхронизация остальной части данных (даже один раз) будет длиться вечно.

2 Solutions collect form web for “Загрузите только недавно измененные файлы с помощью wget over FTP”

wget может зеркалировать один раз, а затем после этого получить только более поздние элементы с флагом --timestamp . Я бы предложил прочитать info страницу для нее, которая имеет хорошее объяснение и проверяет, дает ли это вам поведение, которое вы ищете.

Нет, это не поддерживается wget, если вы уже синхронизировали один раз, через wget или нет (в этом случае см. --timestamp ).

Ниже приведены некоторые обходные пути, которые вы можете попробовать:

  • Если файлы содержат даты в имени или пути, а не только на время изменения файла, вы можете использовать регулярные выражения / каталоги для исключения старых файлов.
  • Используйте что-то другое, кроме wget . Это похоже на хороший кандидат на выделенный сценарий. Вы все равно можете использовать wget для файла за раз. Вы также можете проверить wpull, который я не использовал, но я понимаю, что он похож на wget со сценарием, чтобы определить, загружать ли страницы.
  • Если у вас есть опция загрузки HTTP в дополнение к FTP, вы можете отправлять собственные заголовки директив кеша HTTP, которые загружают только файл, если он изменен после определенной даты.
  • wget веб-сайт в csv
  • wget, чтобы получить все файлы в каталоге, возвращает index.html
  • Загрузка вложенных файлов PDF с помощью wget
  • Как загрузить файл через SSH-сервер?
  • Как создать сайт с одинаковыми названиями страниц и контента?
  • Почему wget -r не получает все подкаталоги FTP?
  • SSL сертификат отсутствует
  • wget-файлы по шаблону только из указанных каталогов рекурсивно
  • Как загрузить файлы с веб-страницы, указывающей на каталог?
  • Почему не работает wget url / mediafile.ext> medafile2.ext?
  • установка dropbox (для просмотра файлов)
  • Linux и Unix - лучшая ОС в мире.