Загрузите все файлы .gz с веб-сайта с помощью http

Я пробовал следующее:

wget -nd -r -l1 -A gz http://www.example.com/products 

Это сохранил файл .txt где он говорит:

 User-agent: * Disallow: / 

С другой стороны

  wget -r http://www.example.com/products/*.gz 

просто не работает.

Какие еще некоторые команды я должен попробовать?

One Solution collect form web for “Загрузите все файлы .gz с веб-сайта с помощью http”

Ваша первая команда не выглядит плохой, но, как и другие, которые уже хотели сказать: владелец веб-сайта разместил файл robots.txt, который хочет любую поисковую систему – или аналогичные программы паутины паутины, которая включает в себя wget – чтобы оставаться на своем сайте (пусть это предотвратит ненужный трафик или по какой-либо другой причине). wget соблюдает это по умолчанию, см. раздел wget (например, info wget ) 9.1 (в главе 9: Приложения) для поиска настраиваемых функций, связанных с роботом, для вашего .wgetrc (также можно установить с помощью опции командной строки -e … ).

  • Загрузите только недавно измененные файлы с помощью wget over FTP
  • Wget не будет рекурсивно загружать
  • Как загрузить файлы и папки из Onedrive с помощью wget?
  • Как загрузить файл на удаленную машину через SSH?
  • Используя wget или другую команду, как скачать сейчас, но конвертировать ссылки позже?
  • SSL сертификат отсутствует
  • Преобразование ссылок загруженного веб-сайта
  • Что означает 2> & 1 в этой команде?
  • Как загрузить файл с FTP-сервера, а затем автоматически удалить его с сервера после завершения загрузки?
  • Размер внутреннего буфера wget
  • Использование WGET для извлечения всех имен файлов из индекса
  • Linux и Unix - лучшая ОС в мире.