Загрузите только недавно измененные файлы с помощью wget over FTP

Когда рекурсивно wget с FTP-сервера, как я могу загрузить только файлы, измененные после заданной даты?

Вариант использования заключается в том, что мне нужно каждую секунду синхронизировать с несколькими серверами, но мне нужны данные только через пару дней назад. Флаг --mirror бы достаточным, за исключением того, что синхронизация остальной части данных (даже один раз) будет длиться вечно.

2 Solutions collect form web for “Загрузите только недавно измененные файлы с помощью wget over FTP”

wget может зеркалировать один раз, а затем после этого получить только более поздние элементы с флагом --timestamp . Я бы предложил прочитать info страницу для нее, которая имеет хорошее объяснение и проверяет, дает ли это вам поведение, которое вы ищете.

Нет, это не поддерживается wget, если вы уже синхронизировали один раз, через wget или нет (в этом случае см. --timestamp ).

Ниже приведены некоторые обходные пути, которые вы можете попробовать:

  • Если файлы содержат даты в имени или пути, а не только на время изменения файла, вы можете использовать регулярные выражения / каталоги для исключения старых файлов.
  • Используйте что-то другое, кроме wget . Это похоже на хороший кандидат на выделенный сценарий. Вы все равно можете использовать wget для файла за раз. Вы также можете проверить wpull, который я не использовал, но я понимаю, что он похож на wget со сценарием, чтобы определить, загружать ли страницы.
  • Если у вас есть опция загрузки HTTP в дополнение к FTP, вы можете отправлять собственные заголовки директив кеша HTTP, которые загружают только файл, если он изменен после определенной даты.
  • Команда Wget, которая возвращает всех веб-страниц на веб-сервере
  • Проблема с загрузкой большого файла из Интернета
  • Загрузка вложенных файлов PDF с помощью wget
  • Зеркальный список файлов
  • Как работать с отсутствующими заголовками «последнего изменения»?
  • загрузить несколько файлов из sourceforge
  • Есть ли способ отключить wget от получения файлов из родительских каталогов до заданной глубины?
  • Как реализовать механизм повтора при выполнении URL-адреса сервера в сценарии оболочки?
  • Как запретить wget загружать списки каталога Apache в разных заказах?
  • Могу ли я получить wget -x для загрузки структуры папок, но не создать каталог домена?
  • Bash Пока петли
  • Interesting Posts
    Linux и Unix - лучшая ОС в мире.