Есть ли хорошие инструменты, помимо SeleniumRC, которые могут загружать веб-страницы, включая контент, расписанный JavaScript?

Одним из главных недостатков завитки является то, что все больше и больше страниц содержат основной контент, написанный JavaScript-ответом AJAX, который возникает после первоначального ответа HTTP. curl никогда не поднимается на этот пост-окрашенный контент.

Таким образом, чтобы получить эти типы веб-страниц из командной строки, я был сведен к написанию сценариев в Ruby, которые приводят SeleniumRC для запуска экземпляра Firefox, а затем возвращают исходный HTML после завершения этих вызовов AJAX.

Было бы гораздо лучше иметь более компактное решение командной строки для этого типа проблем. Кто-нибудь знает?

2 Solutions collect form web for “Есть ли хорошие инструменты, помимо SeleniumRC, которые могут загружать веб-страницы, включая контент, расписанный JavaScript?”

Недавно я начал использовать WebDriver из Selenium 2 в Java. Существует драйвер под названием HtmlUnitDriver, который полностью поддерживает JavaScript, но не запускает фактический браузер.

Это не легкое решение, но оно выполняет свою работу.

Я разработал код для запуска из командной строки и сохранил веб-данные в файлах.

Вы считали Ватира?

http://watir.com/

Когда вы добавили пакет, вы можете запустить его как отдельный файл или из irb , строка за строкой, после include 'watir-webdriver' . Я считаю, что он более отзывчив, чем selenium-webdriver , но без графического интерфейса записи теста, чтобы помочь в разработке сложных условий тестирования.

  • Как узнать команду, выполняемую процессом?
  • `wait` не ждет` wget -background`
  • Возобновить загрузку wget из другого зеркала
  • Запустите страницу на imgur
  • Как объединить wget, сортировать и сохранять в новое имя файла?
  • Wget или скручивание самозаверяющего сертификата с сервера
  • Альтернативы wget
  • Переименовать wget загруженный родительский каталог
  • После загрузки файла .asp или .php его можно преобразовать в .html-файл?
  • Статическая компиляция wget
  • Идентификация открытых и закрытых IP-адресов / портов сервера
  • Linux и Unix - лучшая ОС в мире.