Intereting Posts
Есть ли хороший способ опроса в режиме реального времени, который подходит для ядра? На сайте Ubuntu 12.04 особо не работает сайт Концепции ISCSI и FCOE и различия между ними Есть ли какие-либо преимущества использования .qcow2 над .img и который рекомендуется для создания виртуальной машины? zsh копировать и вставлять как emacs Поместите несколько переменных после другой переменной Изменить дистрибутив python по умолчанию для postgres из python системы (в Enthought Canopy) ls должен отображать содержимое структуры плоского каталога в столбцах Какой IP-адрес я должен использовать? публичный IP или частный ip? Shell script: перенаправить вывод sql-запроса в файл Как сделать обновление хранилища версий в crontab? Поиск команд в истории с прерывистыми ключевыми словами действительно ли основанный на ОС ноутбук отлично работает с дистрибутивом linux Как установить Policykit с System V? Как запустить программу без доступа к сети?

Как скрутить весь контент веб-страницы?

Я хочу загрузить полный исходный код HTML веб-страницы X , однако при наведении ссылки X будет возвращен частичный исходный код HTML, поскольку эта веб-страница требует прокрутки для просмотра дальнейшего содержимого. Кажется, что curl не проходит мимо «прокрутки вниз».

Пока что я могу сделать это только вручную:
1) Перейти на нужный сайт
2) Выполните следующую команду в консоли браузера для автоматической прокрутки (загрузки каждого объекта):

var scroll = setInterval (function () {window.scrollBy (0,1000);}, 2000);

3) Скопируйте полный исходный код HTML из элемента inspect.

Итак, вопрос в том, как я могу запустить команду curl чтобы она очищала все содержимое веб-страницы (прокручивала до тех пор, пока не загрузит все объекты) перед выводом на терминал для достижения того же результата, что и вышеупомянутые шаги? Если не с curl , может быть, wget ?

curl не является полноценным браузером и, насколько мне известно, не поддерживает выполнение JavaScript. Он использует HTTP / FTP для получения файлов; это все. Если вы хотите провести тестирование функциональности, которая зависит от сценариев или других инструментов, к которым не может прикоснуться голый HTTP-запрос, вам нужно изучить более углубленный набор тестов, такой как Selenium.

Единственный способ сделать это – эмулировать браузер, потому что вам нужно запустить Javascript. Вы должны быть в состоянии сделать это с Selenium, но это определенно требует некоторого программирования, возможно на Python.

Селеновая ссылка: https://www.seleniumhq.org/