网络挖掘、抓取或爬行？我应该使用什么工具/库？ [关闭]

我想抓取一些网页并将其保存为 HTML。比如说，爬入数百个流行网站并简单地保存它们的首页和“关于”页面。

我研究了很多问题，但没有从网络爬行或网络抓取问题中找到答案。

我应该使用什么库或工具来构建解决方案？或者是否有一些现有的工具可以处理这个问题？

当使用 Python 时，您可能会感兴趣机械化 and 美丽汤.

机械化有点模拟浏览器（包括代理选项、伪造浏览器标识、页面重定向等），并允许轻松获取表单、链接……不过，文档有点粗糙/稀疏。

一些示例代码（来自 mechanize 网站）可以给您一个想法：

import mechanize
br = mechanize.Browser()
br.open("http://www.example.com/")
# follow second link with element text matching regular expression
html_response = br.follow_link(text_regex=r"cheese\s*shop", nr=1)
print br.title()
print  html_response

美丽汤允许非常轻松地解析 html 内容（您可以使用 mechanize 获取），并支持正则表达式。

一些示例代码：

from BeautifulSoup import BeautifulSoup
soup = BeautifulSoup(html_response)

rows = soup.findAll('tr')
for r in rows[2:]:  #ignore first two rows
    cols = r.findAll('td')
    print cols[0].renderContents().strip()    #print content of first column

因此，上面的这 10 行几乎可以复制粘贴准备打印网站上每个表行的第一列的内容。