Tag: wget

Почему wget –mirror не работает на этом сайте?

Почему wget -m “httpS://www.addnature.se” пока отказался wget -m “http://www.addnature.se” просто загружает стартовую страницу? Я часто использую wget -m для зеркалирования сайтов и никогда раньше не сталкивался с этим.

Как может отсутствовать –compression в моем wget?

У меня есть опыт работы с версией Windows: GNU Wget 1.19.4 построен на mingw32. Но теперь на Ubuntu у меня есть: GNU Wget 1.19.4, неинтерактивный сетевой ретривер. Существует относительно новая опция –compression которая была добавлена ​​в 1.19.2: Новая опция – сжатие для gzip Content-Encoding И в примечаниях к выпуску 1.19.4 об этом также говорится. При […]

Возможно ли объединить –span-hosts с –no-parent в wget?

У меня есть страницы на сайте, которые представляют собой каталог с огромным количеством ссылок на другой сайт. Я не хочу ничего скачивать с сайта происхождения, который является родителем такого каталога. Однако я предпочитаю скачивать все с –span-hosts –domains targetsite.com . Будет ли –no-parent вызвать конфликт на целевом сайте? Может ли целевой сайт быть ограничен каким-либо […]

Как найти реальный URL для скачивания

Мне нужно скачать 64-битный tar-файл Linux с этой веб-страницы: https://www.niehs.nih.gov/research/resources/software/biostatistics/art/index.cfm 64-битный URL-адрес Linux выглядит следующим образом: https://www.niehs.nih.gov/research/resources/assets/docs/artbinmountrainier2016.06.05linux64.tgz Однако, wget просто загружает что-то похожее на javascript. Как найти реальный URL?

Проблема с wget и пробелами

У меня есть скрипт bash, который очищает список URL-адресов для ссылок на различные виды документов. В конце сценарий использует wget для загрузки файлов. Однако у меня возникли проблемы с именами файлов, содержащими пробел в имени: wget заканчивает URL-адрес в пробеле. Есть ли способ использовать sed или что-то, чтобы изменить пробел на %20 здесь? Или какое-то […]

Могу ли я получить wget -x для загрузки структуры папок, но не создать каталог домена?

Я сейчас делаю это: wget -i download.txt -x Он создает корневой каталог example.org/ . То, что я хотел бы сделать, это создавать только подкаталоги. Есть ли способ заставить wget делать то, что мне нужно?

Команда Wget, которая возвращает всех веб-страниц на веб-сервере

Допустим, у нас есть сайт www.example.com со следующими страницами: www.example.com/page1 www.example.com/unknown www.example.com/unknown Есть ли команда Wget, которая создаст следующий результат: page1 page2 page3 Как эта команда изменится, если структура веб-сайта: www.example.com/xxxx/page1 www.example.com/xxxx/page2 www.example.com/xxxx/page3 По сути, у меня есть IP-адрес сервера, и я хотел бы иметь возможность перечислять все страницы, хранящиеся на сервере, чтобы посмотреть, есть […]

Возобновить загрузку wget из другого зеркала

Я загружал файл bigimage.iso из https<nolink>://ftp.slowsite.edu/images/bigimage.iso используя следующую команду wget : wget https://ftp.slowsite.edu/images/bigimage.iso Но FTP-сервер оказался очень медленным, и теперь я хочу приостановить текущую загрузку и возобновить ее с более быстрого зеркала: https<nolink>://ftp.fastsite.edu/images/bigimage.iso Как это сделать?

Предотвращение зависания wget при обнаружении ошибки 500

Я загружаю пару тысяч файлов, перечисленных в файле, используя: wget -i filename Иногда он встречает следующую ошибку, сообщаемую сервером для определенного файла: HTTP-запрос отправлен, ожидающий ответ … 500 Внутренняя ошибка сервера Проблема в том, что wget затем зависает. Что я хочу, чтобы пропустить этот файл и продолжить загрузку остальной части списка. Как я могу это […]

wget изменение имени изображения изнутри страницы

Изображение генерируется один раз каждые n минут, и я хочу, чтобы каждый из них был в моем локальном каталоге. Мне не удалось получить png-изображение с помощью команды: wget -r -l1 –no-parent -A.png http://url.com/home/images/ поскольку он заблокирован сайтом, и я не могу использовать wget http://url.com/home/images/filename.png поскольку имя изображения изменяется с обновления на обновление. Изображение, однако, связано […]

Interesting Posts

Как найти количество общих экстентов на btrfs?

заменить столбец csv-файла на столбец из другого файла

setfacl весь каталог, содержащий различные типы файлов?

Настройка IPSec с помощью PSK

Настройка рабочей среды – Konsole или другой терминал – открытие нескольких вкладок и запуск некоторых команд

Как установить путь к использованию приложений OSX

как выбрать часть строки и вставить ее в другой файл?

Лучшая практика резервного копирования зашифрованного устройства LUKS

Какие типы интерполяции строк поддерживает POSIX sh?

Измерение задержки в конвейере GStreamer

Почему словосочетание и расширение имени файла не применяются к условному выражению внутри `]`?

вручную перенаправлять X-выход через ssh

Заполнение вкладки не работает в клиенте командной строки MySQL

Как узнать максимальную мощность передачи моей беспроводной карты?

Поток аудио из скрипта bash cgi

Linux и Unix - лучшая ОС в мире.