Tag: wget

wget сохраняет файлы как обычные текстовые файлы при загрузке

У меня есть скрипт bash в crontab, который запускает @reboot: Сам скрипт содержит команду wget для извлечения и загрузки файла из интернета. Когда я запускаю свой скрипт после входа и открытия терминала, он работает и правильно сохраняет файлы (html, png). Но когда я перезагружаю свою систему, она сохраняет запуски и сохраняет как текстовые файлы без […]

wget не разрешает относительные ссылки должным образом?

Вернуться к основам. У меня есть статическая сеть, где ссылки обычно относительны. Все отлично работает в браузерах и в Google Crawler, но wget –spider разрешает относительные ссылки на корень сайта. То есть на странице в /foo/bar.html ссылка разрешается как /https://unix.stackexchange.com/questions/459721/wget-not-resolving-relative-links-properly/test.html вместо /foo/https://unix.stackexchange.com/questions/459721/wget-not-resolving-relative-links-properly/test.html . У меня такой вопрос: я забыл / упустил из виду то, как […]

openssl висит на сервере

У меня проблема на сервере. Команды wget, curl и зависимые команды не работают при запросе через порт 443. Команды зависают на 2-3 минуты и после просто говорят “время ожидания”: # curl -v google.com:443 * About to connect() to google.com port 443 (#0) * Trying 2a00:1450:4009:806::200e… а также # openssl s_client -connect facebook.com:443 Что происходит? Это […]

Почему wget –mirror не работает на этом сайте?

Почему wget -m “httpS://www.addnature.se” пока отказался wget -m “http://www.addnature.se” просто загружает стартовую страницу? Я часто использую wget -m для зеркалирования сайтов и никогда раньше не сталкивался с этим.

Как может отсутствовать –compression в моем wget?

У меня есть опыт работы с версией Windows: GNU Wget 1.19.4 построен на mingw32. Но теперь на Ubuntu у меня есть: GNU Wget 1.19.4, неинтерактивный сетевой ретривер. Существует относительно новая опция –compression которая была добавлена ​​в 1.19.2: Новая опция – сжатие для gzip Content-Encoding И в примечаниях к выпуску 1.19.4 об этом также говорится. При […]

Возможно ли объединить –span-hosts с –no-parent в wget?

У меня есть страницы на сайте, которые представляют собой каталог с огромным количеством ссылок на другой сайт. Я не хочу ничего скачивать с сайта происхождения, который является родителем такого каталога. Однако я предпочитаю скачивать все с –span-hosts –domains targetsite.com . Будет ли –no-parent вызвать конфликт на целевом сайте? Может ли целевой сайт быть ограничен каким-либо […]

Как найти реальный URL для скачивания

Мне нужно скачать 64-битный tar-файл Linux с этой веб-страницы: https://www.niehs.nih.gov/research/resources/software/biostatistics/art/index.cfm 64-битный URL-адрес Linux выглядит следующим образом: https://www.niehs.nih.gov/research/resources/assets/docs/artbinmountrainier2016.06.05linux64.tgz Однако, wget просто загружает что-то похожее на javascript. Как найти реальный URL?

Проблема с wget и пробелами

У меня есть скрипт bash, который очищает список URL-адресов для ссылок на различные виды документов. В конце сценарий использует wget для загрузки файлов. Однако у меня возникли проблемы с именами файлов, содержащими пробел в имени: wget заканчивает URL-адрес в пробеле. Есть ли способ использовать sed или что-то, чтобы изменить пробел на %20 здесь? Или какое-то […]

Могу ли я получить wget -x для загрузки структуры папок, но не создать каталог домена?

Я сейчас делаю это: wget -i download.txt -x Он создает корневой каталог example.org/ . То, что я хотел бы сделать, это создавать только подкаталоги. Есть ли способ заставить wget делать то, что мне нужно?

Команда Wget, которая возвращает всех веб-страниц на веб-сервере

Допустим, у нас есть сайт www.example.com со следующими страницами: www.example.com/page1 www.example.com/unknown www.example.com/unknown Есть ли команда Wget, которая создаст следующий результат: page1 page2 page3 Как эта команда изменится, если структура веб-сайта: www.example.com/xxxx/page1 www.example.com/xxxx/page2 www.example.com/xxxx/page3 По сути, у меня есть IP-адрес сервера, и я хотел бы иметь возможность перечислять все страницы, хранящиеся на сервере, чтобы посмотреть, есть […]

Interesting Posts

В машиночитаемом формате lspci (-vmm) не отображается строка модуля / драйвера ядра

Как вы исправляете ядро?

Как отредактировать приглашение командной строки для отображения времени?

Bash Script для cp-файлов из списка

Проблемы с RDP-доступом к пакету обновления 1 для Windows 7 с удаленного рабочего стола Remmina

Связь Red Hat vNIC (Virtual NIC) с физической NIC

Установите Debian вместе с Ubuntu без доступа к настройкам BIOS или возможностью загрузки съемных носителей

Что делает -jn означать?

"Nl80211: 'nl80211' generic netlink not found" при запуске hostapd

Установка gcc на CentOS 6.6: настройка проблемы

Невозможно получить графику Intel HD 5500 для работы с Debian

Как зарегистрировать пользователя на Gnome Desktop с удаленного терминала ssh?

Выполнение вставки вставки Vim для предложений

Могу ли я глобально отключить кинетическую прокрутку на сенсорной панели?

Почему мои ноутбуки перестают работать?

Linux и Unix - лучшая ОС в мире.