Могу ли я использовать wget для рекурсивного скачивания всех файлов, но не их фактического содержимого?

Иногда я хочу только получить структуру каталогов на веб-сайте, но сами файлы не важны. Мне нужно только их имя. Похоже на зеркало, где каждая запись является просто пустым файлом-заглушкой.

Конечно, выполнение wget -r и последующего запуска скрипта для очистки всех файлов отлично работает, но оно выглядит расточительным, потому что это не приятно ни для сервера, ни для моей пропускной способности. Более эффективный, но еще менее изящный способ – вручную остановить и перезапустить процесс каждый раз, когда вы нажмете большой файл, или установите очень короткий тайм-аут. По крайней мере, это значительно уменьшает объем данных, которые я должен загрузить.

Мой вопрос: могу ли я заставить wget создавать файл, но не загружать его содержимое? Или я использую неправильный инструмент для работы?

One Solution collect form web for “Могу ли я использовать wget для рекурсивного скачивания всех файлов, но не их фактического содержимого?”

Проводка ответа по запросу:

Используйте опцию --spider :

 wget -r -nv --spider http://example.com 

Затем вы можете проанализировать структуру сайта с помощью вывода. Это не будет загружать файлы, в которых нет никаких шансов содержать ссылки, например изображения.

  • Запись вывода wget или curl в пользовательское имя файла на основе URL-адреса
  • Wget regex не удается получить файлы через ftp
  • Загрузите контент из определенного <div> с помощью wget
  • Wget или скручивание самозаверяющего сертификата с сервера
  • Почему wget игнорирует некоторые файлы в передаче ftp?
  • Получить все изображения с веб-сайта
  • Как удалить BOOST 1.49 и установить BOOST 1.54 в ubuntu?
  • Изменение разрешений по умолчанию для wget?
  • Загрузите рекурсивно с помощью wget
  • Загрузите только определенные каталоги с FTP-сайта с помощью wget
  • wget не загружает файлы рекурсивно
  • Загрузите только недавно измененные файлы с помощью wget over FTP
  • Interesting Posts

    Auth через wget работает, но не может перемещаться по веб-странице после него

    Сценарий с датой ввода, выходным днем

    Как увеличить временное пространство в Fedora 20

    Как подключиться к гостевой виртуальной машине из хост-системы?

    Как использовать локальный IP-адрес вместо внешнего

    Выделите последнюю команду в терминале? (например, значки терминалов OS X)

    Apache .htaccess не блокирует внешние домены

    Редактор Nano поверх экрана в терминале не является полноэкранным

    Использование клавиатуры для каждого пользователя XKBOPTIONS для всех настольных сред

    Экран Gnu: переназначить «ca ca», чтобы отправить «ca»

    Как установить возможности с помощью команды setcap?

    Общий системный раздел для нескольких систем Linux

    Как установить верхний предел для значения PCM при изменении громкости с помощью pulseaudio?

    Получение Ubuntu работы с eSATA (чипсет Intel H57)

    Что такое файл ключа kerberos keytab, используемый для аутентификации Kerberos в UNIX / AD?

    Linux и Unix - лучшая ОС в мире.