用java抓取一个angularjs网站

我需要抓取一个由 Angular“插入”内容的网站。而且需要用java来完成。

我尝试过 Selenium Webdriver （因为我之前使用过 Selenium 来抓取动态性较低的网页）。但我不知道如何处理 Angular 部分。除了页面头部的 script 标签之外，站点中只有一处存在 Angular 属性：

<div data-ng-module="vindeenjob"><div data-ng-view=""></div>

I found 本文在这里，但说实话......我不明白。似乎作者正在选择（让我们称之为）“ng-attributes”，如下所示

WebElement theForm = wd.findElement(By.cssSelector("div[ng-controller='UserForm']"));

但未能解释他为什么这样做。在他的演示页面的源代码中，我找不到任何名为“UserForm”的内容......所以原因仍然是个谜。

然后我尝试为 Selenium 设置一个时间间隔，希望页面能够被渲染，并且我最终可以在等待期后获取结果，如下所示：

    WebDriver webdriver = new HtmlUnitDriver();
    webdriver.manage().timeouts().implicitlyWait(10, TimeUnit.SECONDS);
    webdriver.get("https://www.myurltoscrape.com");

但无济于事。然后还有本文，这给出了一些有趣的例外，例如无法设置仅具有 getter 的属性 [HTMLStyleElement].media。这基本上意味着 javascript 可能有问题。然而，HtmlUnit 似乎确实意识到页面上有 javascript，这比我之前得到的要多。我确实意识到（因为我对异常进行了搜索）HtmlUnit 中有一个功能可以确保您看不到 javascript 异常。我把它关掉了，但我还是遇到了例外。这是代码：

webClient.getOptions().setThrowExceptionOnScriptError(false); 

我会发布更多代码，但基本上没有什么会刮掉动态内容，我很确定这不是代码错误，它只是还不是正确的解决方案。

我可以寻求帮助吗？

最后，我遵循了 Madusudanan 的出色建议，研究了 PhantomJS / Selenium 组合。实际上有一个解决方案！它的名字叫 PhantomJSDriver。

可以找到maven依赖here。这里有更多信息幽灵司机.

Maven 中的设置 - 我添加了以下内容：

<dependency>
        <groupId>net.sourceforge.htmlunit</groupId>
        <artifactId>htmlunit</artifactId>
        <version>2.41.0</version>
    </dependency>
    <dependency>
        <groupId>com.github.detro</groupId>
        <artifactId>phantomjsdriver</artifactId>
        <version>1.2.0</version>
    </dependency>

它还运行 Selenium 版本 2.45，这是迄今为止的最新版本。我之所以提到这一点，是因为我读过一些文章，其中人们说 Phantom 驱动程序并不与每个版本的 Selenium 兼容，但我猜他们同时解决了这个问题。

如果您已经在使用 Selenium/Phantomdriver 组合，并且在某个站点上遇到“严格的 javascript 错误”，请更新您的 selenium 版本。这样就可以解决问题了。

这是一些示例代码：

public void testPhantomDriver() throws Exception {
    DesiredCapabilities options = new DesiredCapabilities();
    // the website i am scraping uses ssl, but I dont know what version
    options.setCapability(PhantomJSDriverService.PHANTOMJS_CLI_ARGS, new String[] {
          "--ssl-protocol=any"
      });

    PhantomJSDriver driver = new PhantomJSDriver(options);

    driver.get("https://www.mywebsite");

    List<WebElement> elements = driver.findElementsByClassName("media-title");

    for(WebElement element : elements ){
        System.out.println(element.getText());
    }

    driver.quit();
}