Articles of wget

wget с приемочным тестом, redirect не проходит тест

Я запускаю команду: wget -r –wait=2 –random-wait -P ./pdfs -A pdf -e robots=off https://www./documents Команда работала на других сайтах для рекурсивной загрузки всех PDF-файлов, но на нужном мне сайте ничего не происходит. Подробный журнал ошибок указывает, где он ломается. Он получает redirect на / document / latest и затем прерывается: Deciding whether to enqueue “https://www./document/latest” […]

Загружать файлы из разных каталогов с подстановочными знаками, используя wget?

Мне нужно скачать все файлы с именем “h11v10” с http-сервера, из разных каталогов ( DF ) Я пробовал разные способы, но ни один из них не работал. wget –http-user user –http-password pass \ ‘https://e4ftl01.cr.usgs.gov/MOLT/MOD16A2.006/DF/*h11v10*’ wget –http-user user –http-password pass \ -r -l1 –no-parent -A ‘h11v10’ \ ‘https://e4ftl01.cr.usgs.gov/MOLT/MOD16A2.006/DF/’ Как я могу иметь дело с различными каталогами […]

wget не загружает изображения с сайта?

Я пытаюсь загрузить темы веб-форума, который содержит много изображений с помощью wget. Эти изображения размещены в отдельном домене, поэтому я использовал флаг -H, чтобы разрешить их загрузку. Полный порядок использования wget: wget -p -H -erobots=off https://example.com/ И когда я использую его почти все загрузки, кроме основных изображений. Это пример одной из тех тем, которые я […]

wget: как скачать обслуживаемый файл, сохраняя его имя

Маленький IoT-сервер возвращает файл, имя которого задается текущей датой и временем, чтобы сделать его уникальным. Формат: 2018.07.04.18.22.45.dat . При XX.XX.XX.XX:5001/read адреса XX.XX.XX.XX:5001/read в браузере (с отключенным кэшем браузера), файл возвращается с его исходным именем. Используя wget, увы, я не могу сохранить имя файла: wget XX.XX.XX.XX:5001/read возвращает правильное содержимое, но с именем read , read.1 , […]

Команды wget, curl принимают частичные имена файлов

Я пытаюсь загрузить файл hpraid.tar.gz с удаленного сервера, используя wget –no-check-certificate http://xx.xx.xx/hpraid.tar curl -O http://xx.xx.xx/hpraid.tar Несмотря на то, что расширение .gz отсутствует в части имени файла, все же файл загружается и wget, и curl. Это частичное совпадение имени файла без подстановочных знаков сбивает меня с толку. Могу ли я в любом случае заставить wget и […]

Как загрузить несколько файлов одновременно, используя команду mget с FTP-сервера, не нажимая y каждый раз?

Я хочу загрузить несколько файлов с FTP-сервера (приложение для Android). Я использовал FTP-клиент и команду mget (Ubuntu Terminal). Но это побуждает меня вводить y или n для каждого файла, который я хочу загрузить. У меня есть 1000 файлов для скачивания. Я не могу ввести y 1000 раз, чтобы загрузить 1000 файлов. Я ищу решение, чтобы […]

Какой самый быстрый инструмент для синхронизации файлов прослушивания http

У меня огромное количество файлов (текстовых файлов), прослушиваемых на http-сервере. Я использую cron-job для загрузки этих файлов, так как количество файлов резко возрастет. Я использую wget следующим образом для загрузки файлов. wget -m http:// Однако для синхронизации и загрузки новых файлов требуется так много времени. Есть ли альтернатива, которую я могу использовать, и это будет […]

Скачать сайт с реквизитами страниц, но только изображения и CSS

Я использую команду wget которая загружает всю веб-страницу со всеми активами, реквизитами и сохраняет ее в пользовательскую папку для дальнейшей работы над ней. Мой фактический код: $ wget –adjust-extension –span-hosts –convert-links –page-requisites \ –no-directories –restrict-file-names=windows –no-parent \ –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.6) Gecko/20070725 Firefox/2.0.0.6″\ ‐‐execute robots=off –limit-rate 400k –directory-prefix=elbache \ ‐‐output-document=index.html http://www.bachecubano.com/celulares […]

Выделите часть текста из `wget` и войдите в файл?

У меня есть небольшой скрипт для тестирования FTP-сайта: #!/bin/bash wget -O /dev/null ftp://someftpsite:password@ftp.test.com/testdump300 2>&1 | \ grep ‘\([0-9.]\+ [M]B/s\)’ >> wget300.log И это показывает вывод так: 2018-07-26 22:30:06 (22.7 MB/s) – ‘/dev/null’ saved [104857600] Хорошо, и теперь я просто хочу, чтобы это было так: 2018-07-26 22:30:06 22.7 Кто-нибудь, кто может помочь? Я подозреваю, что я […]

Заставить wget создать пустой файл для всего, что он скачивает?

Я использую wget для копирования структуры каталогов с веб-сервера, который я не контролирую. Меня не волнует содержание каждого ресурса на этой веб-странице, я просто хочу создавать каталоги и файлы, отражающие структуру веб-сервера. В основном создайте много каталогов, которые содержат много файлов, файлы, которые являются настолько пустыми насколько возможно (несколько байтов на файл не проблема) Можно […]