Как использовать diff при выполнении wget?

Предположим, есть сайт www.songs.com, я загружаю песни с этого сайта с помощью wget -r. Затем, скажем, через 3 дня, была обновлена ​​информация о сайте и добавлены новые песни.

Есть ли способ загрузить только новые песни с помощью wget?

Как бы то ни было, если я даю команду

wget – r

Он загрузит весь сайт.

One Solution collect form web for “Как использовать diff при выполнении wget?”

Я думаю, вы можете попробовать использовать wget --no-clobber , но, как упоминалось выше, вы, вероятно, захотите изучить использование решения, основанного на rsync а не на HTTP. Предполагая, что у вас есть SSH-доступ к серверу, rsync может использовать это в качестве транспортного механизма с помощью rsync -za --stats -essh user@host.example.com:/path/to/files /path/to/local/copy/of/files .

Обратите внимание, что wget --no-clobber -r будет получать только файлы, новые с момента последней проверки, и не будет повторно загружать новые копии, которые были изменены . Вот почему rsync – лучшее решение для вашего прецедента.

Другая альтернатива, которую я нашел, – это программное обеспечение GPL, HTTrack, которое отражает целые веб-сайты и может вывести последующие дифференциалы. Его можно найти здесь . Windows, но есть сборки и / или источники для Windows, OS X, Linux, BSD и Android (!).

  • Как обновить автономный веб-сайт с помощью wget для настройки расширений и конвертации ссылок?
  • Загрузка пакета Wget и сохранение неудачных ссылок
  • В чем смысл «+» в строке выполнения wget?
  • Почему я не могу зеркально отразить веб-сайт (используя wget)?
  • wget - считается, что загрузка выполняется через 1 секунду, хотя это не
  • wget конвертировать файл tgz в HTML
  • Переименовать wget загруженный родительский каталог
  • Как загрузить файл с FTP-сервера, а затем автоматически удалить его с сервера после завершения загрузки?
  • Статическая компиляция wget
  • wget зависает ПОСЛЕ завершения загрузки, на exit_group
  • Как я могу использовать wget для создания списка URL-адресов из index.html?
  • Interesting Posts

    Приложение при сбое сервера при доступе через браузер – после полного обновления системы

    Как вытащить один файл из нескольких похожих именованных файлов с помощью sftp

    Solaris: найдите день последнего понедельника, вторника, … воскресенье с помощью сценария оболочки

    Почему SSH запрашивает мой пароль личного ключа каждый раз

    Использование инкрементирующей переменной в командной строке bash для цикла?

    Преодоление двух интерфейсов только для интрасети

    Создание переменной в каталоге, который сохраняется до удаления

    Как записать производительность диска на медленное оборудование, а затем воспроизвести его на более быстрое оборудование и сравнить его?

    Как получить дату с двухнедельной давности с использованием даты Solaris?

    Конфигурация подсети Debian Wheezy (прокси, MASQUARADING и т. Д.)

    Запуск исполняемого файла как службы на порту

    почему нам здесь не нужен экспорт?

    ffmpeg – генерировать видео с более чем 2 изображениями и 2 аудио

    Проблема использования пространства RedHat Linux

    Почему копирование занимает намного больше времени, чем время запроса DNS?

    Linux и Unix - лучшая ОС в мире.