这是我读到的页面：
<html>
<head>
<script type="text/javascript">
document.write("Hello World")
</script>
</head>
<body>
</body>
</html>
如您所见，Hello World当我使用 HTML 解析器时，使用 javascript 添加到 HTML 页面上，例如BeautifulSoup解析它，它无法解析Hello World，我有可能解析客户端如何真正看到的实际结果......？谢谢。
我在用python编写网络爬虫时遇到了类似的问题，我发现硒网络驱动程序 http://seleniumhq.org/与 BeautifulSoup 结合非常有用。代码最终看起来像这样：
from selenium import webdriver
browser = webdriver.Firefox()
browser.get("http://www.yoursite.com")
soup = BeautifulSoup(browser.page_source, "html.parser")
...
使用 Selenium WebDriver，在功能上还可以“等待某个 DOM 元素加载”，这也使得 javascript 元素的计时变得更容易。
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
