Продолжение прерывания сессии wget?

Возможно ли продолжить прерывание сеанса wget – например. путем разбора лог-файла (созданного с помощью -o или -a) или после того, как каким-то образом wget хранит дополнительную информацию на диске (например, это список по разобранным и отложенным ссылкам)?

Я знаю, что опция -N позволяет wget собираться туда, где она ушла, пока сервер поддерживает размер и дату, но сайт, который я загружал, имел в основном контент, созданный PHP, поэтому я не думаю, что -N будет работать.

Я не ожидаю, что продолжу то, что начал, но если это вообще возможно, я хотел бы включить все, что поможет, прежде чем повторять попытку, в случае, если я снова буду прерван.

+++

Я также столкнулся с дополнительной проблемой … У меня появилось много «ERROR 400: Bad Request» … Я предполагаю, что это означает, что я получил слишком много времени , поэтому сервер заблокировал меня и / или базу данных перегрузили на некоторое время , Во всяком случае, можно было бы оправиться от этого? Сделайте wget основном продолжением, где он остановился (после разбора журнала или списка ссылок или что-то еще), но также переделает страницы, где он столкнулся с проблемой (например, после того, как я впервые редактировал список).

One Solution collect form web for “Продолжение прерывания сессии wget?”

Wget можно использовать по-разному, но я предполагаю, что вы используете его для эмуляции браузера, создающего запрос http (s) на основе содержимого PHP.

Невозможно заставить wget возобновить сеанс, который был прерван. Веб-сервер wget взаимодействует с апатридом, поэтому нет ничего, чтобы отслеживать, что именно происходит в сеансе, который был прерван. Все, что вы можете сделать, это снова сделать запрос, который, конечно же, не поможет вам, так как это будет новый сеанс и никогда не будет таким же, как раньше.

Когда ваш сеанс wget был прерван, этот сеанс прекратил свое существование. Динамически созданный контент зависел от этого конкретного сеанса и был сгенерирован только для обслуживания этого сеанса. Когда этот сеанс закончился, динамический контент этого сеанса фактически прекратил свое существование. Невозможно каким-то образом вернуться и возобновить несуществующий сеанс или взаимодействовать с несуществующим динамическим контентом, который существовал только для обслуживания этого сеанса.

Помните, что веб-серверы не имеют гражданства. Вы делаете запрос, и прямо здесь, на месте, вы получаете единственный ответ, который когда-либо будет отправлен на этот конкретный запрос. Более сложные вещи, такие как сеансы и динамический контент, копируют эти запросы без сохранения состояния, передавая временные идентификаторы сеансов и / или токены в ваш браузер. Затем, когда приходит ваш следующий запрос, приложение или PHP-скрипт делает динамический контент проверяет этот идентификатор / токен сеанса и отвечает на ваш браузер таким образом, который является логически подходящим.

Даже если вы каким-то образом воспроизведете один и тот же идентификатор сеанса и токен, который был у вашего браузера раньше (не тратьте время на то, чтобы попробовать), вероятность равна 99.99999%, что идентификатор сеанса / токен стал недействительным на стороне сервера в течение нескольких секунд с момента вашего последнего запроса.

Это выходит за рамки вашего вопроса, но на основе точного кода / сценария, с которым взаимодействует ваш браузер на этом сервере, может быть возможно передать поддельный идентификатор сеанса / токены, но, как правило, невозможно восстановить прерывание сессия. В вашем случае это невозможно вообще, так как вам пришлось бы попытаться захватить этот идентификатор сеанса или токен перед тем, как потерять сеанс, чтобы попытаться воспроизвести его.

  • Настройте wget, чтобы не сбрасывать хорошие данные с пустыми данными
  • Как загрузить дубликаты изображений?
  • Загружайте данные на веб-сайте (http) рекурсивно с помощью wget
  • Возможно ли объединить --span-hosts с --no-parent в wget?
  • Сценарий оболочки для захвата одного или нескольких видео Wistia
  • Есть ли хорошие инструменты, помимо SeleniumRC, которые могут загружать веб-страницы, включая контент, расписанный JavaScript?
  • Как создать каталоги, содержащие index.html с помощью wget -recursive?
  • Как загрузить файл на веб-странице, которая не является прямой ссылкой, но javascript click.submit ()?
  • Альтернативы wget
  • bash не может найти команду mvn после установки
  • Загрузите произвольное количество файлов с помощью wget из каталога для самостоятельной перенаправления
  • Linux и Unix - лучшая ОС в мире.