Загрузите все файлы .gz с веб-сайта с помощью http

Я пробовал следующее:

wget -nd -r -l1 -A gz http://www.example.com/products 

Это сохранил файл .txt где он говорит:

 User-agent: * Disallow: / 

С другой стороны

  wget -r http://www.example.com/products/*.gz 

просто не работает.

Какие еще некоторые команды я должен попробовать?

One Solution collect form web for “Загрузите все файлы .gz с веб-сайта с помощью http”

Ваша первая команда не выглядит плохой, но, как и другие, которые уже хотели сказать: владелец веб-сайта разместил файл robots.txt, который хочет любую поисковую систему – или аналогичные программы паутины паутины, которая включает в себя wget – чтобы оставаться на своем сайте (пусть это предотвратит ненужный трафик или по какой-либо другой причине). wget соблюдает это по умолчанию, см. раздел wget (например, info wget ) 9.1 (в главе 9: Приложения) для поиска настраиваемых функций, связанных с роботом, для вашего .wgetrc (также можно установить с помощью опции командной строки -e … ).

  • После загрузки файла .asp или .php его можно преобразовать в .html-файл?
  • Резервирование wget
  • Как использовать wget для загрузки всех ссылок с моего сайта и сохранения в текстовый файл?
  • Как сделать рекурсивную загрузку с помощью gwget (wget frontend)?
  • Как прервать wget после получения N раз файла не найден?
  • wget не останавливается
  • загрузка файлов с помощью wget
  • Как загрузить несколько URL-адресов в один файл
  • Проблема при запуске wget внутри скрипта bash с URL-адресом, хранящимся в переменной
  • SSL сертификат отсутствует
  • Использование / dev / tcp с прокси-сервером
  • Interesting Posts

    Проблема Бодхи с Наутилусом как SU

    указать свойство X11 или WM (xprop) при запуске приложения

    ssh_dispatch_run_fatal: неверный код аутентификации сообщения

    ln -s удаляет часть имени файла, когда filename передается как переменная

    Почему LPD не включен по умолчанию в передаче?

    Есть ли команда Linux, которая ничего не делает, но никогда не выходит?

    Найдите и установите отсутствующие данные XLFD на основе шрифтов X11

    Список mimetypes, который по умолчанию соответствует заданному файлу .desktop

    Как долго Redhat / CentOS поддерживает систему init

    Почему значение IFS удаляется из файла при расщеплении?

    Почему пробелы не включаются в обернутый контент vim backreference?

    Как показать дерево в левой панели Наутилуса?

    Простой сценарий оболочки Korn должен содержать список всех файлов, созданных / измененных после tidemark date

    SED: вставить текст после последней строки?

    Корневые, домашние и загрузочные разделы

    Linux и Unix - лучшая ОС в мире.