Как использовать diff при выполнении wget?

Предположим, есть сайт www.songs.com, я загружаю песни с этого сайта с помощью wget -r. Затем, скажем, через 3 дня, была обновлена ​​информация о сайте и добавлены новые песни.

Есть ли способ загрузить только новые песни с помощью wget?

Как бы то ни было, если я даю команду

wget – r

Он загрузит весь сайт.

One Solution collect form web for “Как использовать diff при выполнении wget?”

Я думаю, вы можете попробовать использовать wget --no-clobber , но, как упоминалось выше, вы, вероятно, захотите изучить использование решения, основанного на rsync а не на HTTP. Предполагая, что у вас есть SSH-доступ к серверу, rsync может использовать это в качестве транспортного механизма с помощью rsync -za --stats -essh user@host.example.com:/path/to/files /path/to/local/copy/of/files .

Обратите внимание, что wget --no-clobber -r будет получать только файлы, новые с момента последней проверки, и не будет повторно загружать новые копии, которые были изменены . Вот почему rsync – лучшее решение для вашего прецедента.

Другая альтернатива, которую я нашел, – это программное обеспечение GPL, HTTrack, которое отражает целые веб-сайты и может вывести последующие дифференциалы. Его можно найти здесь . Windows, но есть сборки и / или источники для Windows, OS X, Linux, BSD и Android (!).

  • Возобновить зеркалирование через wget
  • Поместите два задания Cron в crontab, используя wget
  • wget duplicate files
  • bash не может найти команду mvn после установки
  • Почему я продолжаю получать файл wget-log в ~ на Arch Linux?
  • Как я могу ограничить размер загруженного файла в wget?
  • Запись вывода wget или curl в пользовательское имя файла на основе URL-адреса
  • Использование даты -1day с помощью wget
  • WGET - проверка подлинности root и всех дочерних папок
  • Как безопасно загружать файлы в сценарии оболочки?
  • Зеркальный список файлов
  • Interesting Posts

    Установите krfb, чтобы он начал принимать соединения

    Инструмент для создания рецепта для предпродажного разделения

    Mint vs Ubuntu vs для обеспечения безопасности в режиме разблокировки

    Отфильтровать вывод команды по цвету

    Почему мой лимит на ЦП не проверяется через группы

    Не удалось разрешить ошибку хоста

    Как подсчитать количество слов каждого предложения в файле с помощью команды оболочки?

    Примерное значение для nautilus (файловый менеджер) подключается к настраиваемому местоположению службы

    Что изменилось между ядрами 3.2 и 3.9, которые влияют на MiniDLNA?

    Любой способ синхронизации структуры каталогов, когда файлы уже с обеих сторон?

    Создание произвольно большого «поддельного» файла

    Запустите команды в терминале, затем позвольте мне ввести больше команд

    Разница между командами> hostname и> echo $ HOSTNAME и имя входа в /etc/rc.conf: FreeBSD

    USB-накопитель не отображается нигде, кроме как в dmesg

    Настройте нечитаемые, крошечные, маленькие, … огромные шрифты Xterm

    Linux и Unix - лучшая ОС в мире.