Могу ли я использовать wget для рекурсивного скачивания всех файлов, но не их фактического содержимого?

Иногда я хочу только получить структуру каталогов на веб-сайте, но сами файлы не важны. Мне нужно только их имя. Похоже на зеркало, где каждая запись является просто пустым файлом-заглушкой.

Конечно, выполнение wget -r и последующего запуска скрипта для очистки всех файлов отлично работает, но оно выглядит расточительным, потому что это не приятно ни для сервера, ни для моей пропускной способности. Более эффективный, но еще менее изящный способ – вручную остановить и перезапустить процесс каждый раз, когда вы нажмете большой файл, или установите очень короткий тайм-аут. По крайней мере, это значительно уменьшает объем данных, которые я должен загрузить.

Мой вопрос: могу ли я заставить wget создавать файл, но не загружать его содержимое? Или я использую неправильный инструмент для работы?

One Solution collect form web for “Могу ли я использовать wget для рекурсивного скачивания всех файлов, но не их фактического содержимого?”

Проводка ответа по запросу:

Используйте опцию --spider :

 wget -r -nv --spider http://example.com 

Затем вы можете проанализировать структуру сайта с помощью вывода. Это не будет загружать файлы, в которых нет никаких шансов содержать ссылки, например изображения.

  • Как обновить автономный веб-сайт с помощью wget для настройки расширений и конвертации ссылок?
  • Доступ к Google-трансляции через wget
  • Зачем использовать Wget вместо браузера?
  • Загрузите с помощью wget в другой каталог, чем текущий каталог
  • Игнорировать переменную GET из ссылок, при загрузке веб-сайта в автономном режиме
  • Объединить аргумент xargs с некоторым текстом
  • Загрузите сайт HTTPS только через имя пользователя и пароль с помощью wget?
  • Загрузите все исходные файлы для веб-страницы
  • wget рекурсивный с файлами без расширения
  • Как объединить эти wgets?
  • Возможно ли объединить --span-hosts с --no-parent в wget?
  • Interesting Posts

    ext4: Может ли чистая файловая система нуждаться в восстановлении журнала?

    Есть ли способ получить контроль над терминалом с помощью ssh без экрана (дубликат)

    Как узнать об использовании процессора Intel и GPU в Linux?

    Понимание связи между файлом конфигурации ядра FreeBSD и фактическим устройством

    Как получить доступ к отображению X из задания cron при использовании gdm3?

    Как разрешить проблему <not counted> в перфомансе?

    Solaris 11 и zfs, я не понимаю, какое пространство используется

    Как печатать с iPad на CUPS?

    Gentoo как автоматически запускать программы при входе в систему?

    Замена LXDE на XFCE, проблемы с startx

    Как постоянно выполнять резервное копирование файлов журнала?

    Максимальное количество открытых файлов в Linux

    Передача содержимого блочного устройства по плохой сети

    прокси-сервер, ошибка

    Dockerfile: ADD, где <src> – это URL-адрес, создает каталог вместо загруженного файла

    Linux и Unix - лучшая ОС в мире.