Tag: wget

Могу ли я получить wget -x для загрузки структуры папок, но не создать каталог домена?

Я сейчас делаю это: wget -i download.txt -x Он создает корневой каталог example.org/ . То, что я хотел бы сделать, это создавать только подкаталоги. Есть ли способ заставить wget делать то, что мне нужно?

Команда Wget, которая возвращает всех веб-страниц на веб-сервере

Допустим, у нас есть сайт www.example.com со следующими страницами: www.example.com/page1 www.example.com/unknown www.example.com/unknown Есть ли команда Wget, которая создаст следующий результат: page1 page2 page3 Как эта команда изменится, если структура веб-сайта: www.example.com/xxxx/page1 www.example.com/xxxx/page2 www.example.com/xxxx/page3 По сути, у меня есть IP-адрес сервера, и я хотел бы иметь возможность перечислять все страницы, хранящиеся на сервере, чтобы посмотреть, есть […]

Возобновить загрузку wget из другого зеркала

Я загружал файл bigimage.iso из https<nolink>://ftp.slowsite.edu/images/bigimage.iso используя следующую команду wget : wget https://ftp.slowsite.edu/images/bigimage.iso Но FTP-сервер оказался очень медленным, и теперь я хочу приостановить текущую загрузку и возобновить ее с более быстрого зеркала: https<nolink>://ftp.fastsite.edu/images/bigimage.iso Как это сделать?

Предотвращение зависания wget при обнаружении ошибки 500

Я загружаю пару тысяч файлов, перечисленных в файле, используя: wget -i filename Иногда он встречает следующую ошибку, сообщаемую сервером для определенного файла: HTTP-запрос отправлен, ожидающий ответ … 500 Внутренняя ошибка сервера Проблема в том, что wget затем зависает. Что я хочу, чтобы пропустить этот файл и продолжить загрузку остальной части списка. Как я могу это […]

wget изменение имени изображения изнутри страницы

Изображение генерируется один раз каждые n минут, и я хочу, чтобы каждый из них был в моем локальном каталоге. Мне не удалось получить png-изображение с помощью команды: wget -r -l1 –no-parent -A.png http://url.com/home/images/ поскольку он заблокирован сайтом, и я не могу использовать wget http://url.com/home/images/filename.png поскольку имя изображения изменяется с обновления на обновление. Изображение, однако, связано […]

bash не может найти команду mvn после установки

Я попытался установить Maven на CentOS 7, но потом набрав mvn -version в терминале, вы bash: mvn: command not found… Как я могу это исправить, чтобы я мог позвонить maven из терминала CentOS 7? Шаги, которые я предпринял, взяты из этого учебника , и они также описаны явно и полностью следующим образом: wget http://www.eng.lsu.edu/mirrors/apache/maven/maven-3/3.3.1/binaries/apache-maven-3.3.1-bin.zip unzip […]

linux curl POST запрос не работает

Я пытаюсь сделать запрос POST, используя curl, чтобы получить результаты экзамена на странице: результат нечетный …. Я использую следующий синтаксис, но появляются различные ошибки (например, содержимое перемещается навсегда), хотя я использую -L option … curl -L –data-urlencode semno=7&rectype=1&rollno=10400111005 http://wbutech.net/show-result.php может ли кто-нибудь отправить рабочий синтаксис здесь, который работает над вышеуказанной ссылкой правильно и получает результаты? […]

WGET Продолжить без –no-check-certificate

Я использую wget для проверки доступа нескольких ячеек к другим серверам. Проблема в том, что иногда сервер пытается самоподписываться, и скрипт зависает, когда это происходит. Он просто останавливается на линии To connect to www.google.com insecurely, use '–no-check-certificate'. Я не обязательно хочу делать -no-check-certificate, поскольку мне нужна только эта строка: Connecting to https://www.google.com|xx.xxx.xxx.xxx… connected и я […]

Исключая некоторые php-страницы, но не другие с wget?

Я хочу использовать wget для рекурсивной загрузки веб-сайта. Сайт содержит статьи, обслуживаемые php-скриптом, например. www.example.com/article.php?id=1021&ch=5 – это то, что я хочу, вся отдельная статья со всеми главами. К сожалению, на сайте также есть комментарии – много-много комментариев. Комментарии также обрабатываются php-скриптом, например. www.example.com/comment.php?id=1021&no=144 – этого я не хочу. В принципе, я хочу всего, кроме комментариев. […]

Проблема при запуске wget внутри скрипта bash с URL-адресом, хранящимся в переменной

У меня есть следующий сценарий bash: URL=`grep -E -m 1 -o "<ExportCatalogResult>(.*)</ExportCatalogResult>" costa_export.xml| sed -e 's,.*<ExportCatalogResult>\([^<]*\)</ExportCatalogResult>.*,\1,g'` && echo $URL echo -n $url > url.txt && wget $(cat url.txt | tr -d " \t\n\r") -O price.zip Проблема в том, что при запуске скрипта wget всегда загружает пустой файл: http://training.******.net/WAWS_1_9/Catalog/price.zip //echo $URL Resolving training.******.net (training.*******.net)… 194.**.***.90, 194.**.***.90 […]

Linux и Unix - лучшая ОС в мире.