Есть ли хорошие инструменты, помимо SeleniumRC, которые могут загружать веб-страницы, включая контент, расписанный JavaScript?

Одним из главных недостатков завитки является то, что все больше и больше страниц содержат основной контент, написанный JavaScript-ответом AJAX, который возникает после первоначального ответа HTTP. curl никогда не поднимается на этот пост-окрашенный контент.

Таким образом, чтобы получить эти типы веб-страниц из командной строки, я был сведен к написанию сценариев в Ruby, которые приводят SeleniumRC для запуска экземпляра Firefox, а затем возвращают исходный HTML после завершения этих вызовов AJAX.

Было бы гораздо лучше иметь более компактное решение командной строки для этого типа проблем. Кто-нибудь знает?

2 Solutions collect form web for “Есть ли хорошие инструменты, помимо SeleniumRC, которые могут загружать веб-страницы, включая контент, расписанный JavaScript?”

Недавно я начал использовать WebDriver из Selenium 2 в Java. Существует драйвер под названием HtmlUnitDriver, который полностью поддерживает JavaScript, но не запускает фактический браузер.

Это не легкое решение, но оно выполняет свою работу.

Я разработал код для запуска из командной строки и сохранил веб-данные в файлах.

Вы считали Ватира?

http://watir.com/

Когда вы добавили пакет, вы можете запустить его как отдельный файл или из irb , строка за строкой, после include 'watir-webdriver' . Я считаю, что он более отзывчив, чем selenium-webdriver , но без графического интерфейса записи теста, чтобы помочь в разработке сложных условий тестирования.

  • wget загружает tar.gz файл как html?
  • Как загрузить папку с диска Google с помощью терминала?
  • wget-файлы по шаблону только из указанных каталогов рекурсивно
  • загружать только первые несколько байтов исходной страницы
  • wget и cURL - явный адрес IPv6
  • Как использовать wget для загрузки всех ссылок с моего сайта и сохранения в текстовый файл?
  • Как сообщить wget для загрузки файлов с именами, закодированными url?
  • tar результат wget
  • как wget файл github
  • Почему wget игнорирует некоторые файлы в передаче ftp?
  • wget и curl сохранение веб-страницы в виде тарабарщины (зашифровано?)
  • Interesting Posts

    Помогите понять Iptables Прямая цепочка с DNAT

    Как сделать текст значков рабочего стола XFCE прозрачным?

    синтаксическая ошибка: неверный арифметический оператор (токен ошибки – .c)

    Netstat показывает программы, запущенные на разных портах, тогда они должны

    Запуск программы в качестве услуги или напрямую, какая разница

    Настройка звукового клиентского «сервера»

    Найти использование дискового пространства в каталоге и всех его файлов

    Использует ли тестирование Debian Sysvinit, Systemd или Upstart? Как его настроить (они?)?

    Как запустить скрипт после подключения к ssh

    Невозможно выполнить компиляцию модуля ядра: нет правила для создания целевого дроида / sunxi-livesuite-master / awusb ''

    Как я рекурсивно grep через сжатые архивы?

    Какова точка режима виртуальной замены в Vim?

    Есть ли способ сделать «полную файловую буферизацию» внутри цепочки команд?

    Как изменить пароль LUKS?

    Как «заключить в тюрьму» процесс без root?

    Linux и Unix - лучшая ОС в мире.