Зачем использовать Wget вместо браузера?

Когда следует использовать Wget, а не браузер? Я слышал, что Столлман использует его вместо браузера для анонимности. Что сервер думает / видит, когда вы получаете его файлы с помощью Wget?

3 Solutions collect form web for “Зачем использовать Wget вместо браузера?”

В каком случае я предпочитаю использовать Wget, а не какой-то браузер?

На странице man wget :

GNU Wget – бесплатная утилита для неинтерактивной загрузки файлов из Интернета. Он поддерживает протоколы HTTP, HTTPS и FTP, а также поиск через HTTP-прокси.

Wget не является интерактивным, что означает, что он может работать в фоновом режиме, в то время как пользователь не входит в систему. Это позволяет начать поиск и отключить систему, позволяя Wget завершить работу. Напротив, большинство веб-браузеров требуют постоянного присутствия пользователя, что может быть большим препятствием при передаче большого количества данных.

Хорошая вещь о wget заключается в том, что вы можете использовать ее в командной строке или в сценарии и загружать файл в фоновом режиме.

Какой сервер думает / видит, когда вы получаете свои файлы с помощью Wget?

Они рассматривают его как браузер, запрашивающий файл, как и другие браузеры.

Вот заголовок wget (это то, что видят серверы):

 GET / HTTP/1.1 User-Agent: Wget/1.18 (linux-gnu) Accept: */* Accept-Encoding: identity Host: localhost:80 Connection: Keep-Alive 

И вот заголовок firefox:

 GET / HTTP/1.1 Host: localhost:80 User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:48.0) Gecko/20100101 Firefox/48.0 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language: zh-TW,en-US;q=0.5 Accept-Encoding: gzip, deflate DNT: 1 Connection: keep-alive Upgrade-Insecure-Requests: 1 

Как вы можете видеть, они похожи.

Возможно, одним из лучших аргументов является то, что wget способен повторить попытку, если соединение ненадежно, и даже может дать указание серверу «reget», продолжить загрузку с того места, где произошла предыдущая загрузка, что очень приветствуется при загрузке больших файлов , Некоторые браузерные плагины тоже способны на это.

Также очень полезно, что wget может загружать целые каталоги (включая подкаталоги) и избегает повторений в загрузке.

Об анонимности – это очень относительная. Как правило, wget идентифицирует как таковой, и более чем несколько сайтов воспринимают это как плохое – некоторый блок wget.

Но можно определить wget как любую другую строку, используя --user-agent=agent-string командной строки --user-agent=agent-string . (Опять же, подобные трюки возможны с некоторыми плагинами браузера)

Итак, в основном, это вопрос вкуса … Хороший аргумент в том, что wget можно легко использовать в скриптах, что сложнее с браузерами.

В графическом браузере ( Firefox , Chrome и т. Д.) Есть много возможностей, они будут использоваться для идентификации пользователя. Не только заголовки HTTP. Их называют «отпечатком браузера».

  • Установленные плагины
  • Текущее разрешение экрана
  • Установленные шрифты
  • Поддерживаемые функции

и многие другие … (ссылка: «Я уникален?» , «Panopticlick» , «BrowserLeaks.com» )

Браузер CLI ( wget , curl и т. Д.) Не имеет большого количества этих «отпечатков пальцев», потому что они очень просты. Это увеличивает анонимность, затрудняет отслеживание пользователя.

  • Проблема при запуске wget внутри скрипта bash с URL-адресом, хранящимся в переменной
  • wget с подстановочными знаками при загрузке http
  • Wget не загружает изображения в рекурсивную загрузку
  • Как получить wget для использования имени прямого URL-файла в качестве имени выходного файла для сокращенного URL-адреса
  • Как определить, куда перенаправляется ссылка
  • В чем смысл wget -O -
  • wget неправильно конвертирует URL-адреса, если указано --convert-links
  • Загрузите все страницы, которые были связаны на странице в определенном регионе.
  • Использование wget для получения имен файлов из текстового файла
  • Как вы переименовываете файлы в списке, который будет использовать wget?
  • Как загрузить openSUSE 12.1 через `wget -c`?
  • Interesting Posts

    Почему мне нужно fsck проверить корневую файловую систему?

    Перенаправить вывод команды в два разных файла

    Является ли суб-оболочка той же самой, что и дочерняя оболочка

    ssh для предопределенного сервера работает только после того, как я ssh к нему, набрав ip вручную

    консоль (драйвер) не открывается с помощью какого-либо редактора

    Можно ли использовать двухзарядный Linux Mint на любом ноутбуке Windows 8?

    Получить полный путь из сценария Bash

    Могу ли я выполнить «пробный запуск» с помощью rsnapshot?

    Как изменить макет разбиения (который может включать преобразование основного раздела в расширенный)

    Проблемы с доступом к файлам на mp3-плеере Sansa Clip

    Как получить время нескольких команд с помощью цикла

    Открытие именованных блоков труб навсегда, если труба удалена без подключения

    Как создать зашифрованный файл LUKS в точке монтирования vboxsf?

    Можно ли запускать несколько PHP-сайтов с помощью 1 машины?

    Как получить данные whois только для точного домена?

    Linux и Unix - лучшая ОС в мире.