如何抓取数十亿页面？ [关闭]

是否可以在一台服务器上抓取数十亿个页面？

如果您希望数据是最新的，则不需要。

即使是搜索游戏中的小玩家也会爬行数十亿个页面。

" In 2006, Google has indexed over 25 billion web pages,[32] 400 million queries per day,[32] 1.3 billion images, and over one billion Usenet messages. " - Wikipedia

请记住，引文中提到的是 2006 年的数字。这是古老的历史。最先进的技术远不止于此。

内容新鲜度：

1. 新内容不断以非常快的速度添加（现实）
2. 现有页面经常发生变化 - 您需要重新爬网，原因有两个：a) 确定它是否已失效，b) 确定内容是否已更改。

爬虫的礼貌：

1. 您无法压倒任何一个特定站点。如果您从同一 IP 重复访问任何主要站点，您可能会触发验证码提示，否则他们会阻止您的 IP 地址。站点将根据带宽、请求频率、“不良”页面请求数量以及各种其他因素来执行此操作。
2. 网站向爬虫公开了一个 robots.txt 协议，请遵守它。
3. 有一个网站向爬虫程序公开的站点地图标准，使用它来帮助您探索 - 您还可以（如果您选择）权衡网站上页面的相对重要性，并使用在缓存中的生存时间（如果网站中指出）地图。

减少您需要做的工作：

1. 通常，网站会通过多个名称来暴露自己 - 您需要检测相同的页面 - 这可能发生在相同的 url 或不同的 url 上。考虑页面内容的哈希（减去带有不断变化的日期/时间的标题）。跟踪这些页面等效项并在下次跳过它们，或者确定给定站点之间是否存在众所周知的映射，以便您不必抓取它们。
2. 垃圾邮件。很多人制作了大量的页面，这些页面只是传递给谷歌，但他们在网络上“播种”自己以让自己被抓取。

所以——你总是处于爬行的循环中。总是。您几乎肯定会在几台（很多很多）机器上。确保您能够遵守礼貌，但仍然对数据的新鲜度感到震惊。

如果您想按快进按钮并使用自己独特的算法处理页面...如果您需要快速，您可以使用预先构建的爬虫 - 想想“80 条腿”，如突出显示的。他们使用客户端计算能力来做到这一点。

80 条腿正在使用孩子们在网站上玩游戏的机器循环。想象一下网页上的后台进程，当您使用该页面/网站时，该进程确实会调用并工作，而您却不知道，因为它们正在使用 Plura 技术堆栈。

“Plura Processing has developed a new and innovative technology for distributed computing. Our patent-pending technology can be embedded in any webpage. Visitors to these webpages become nodes and perform very small computations for the application running on our distributed computing network.” - Plura Demo Page

因此，他们通过数千个 IP 的数千个节点发出“爬行”，并对站点保持礼貌，因此爬行速度很快。现在，我个人不知道我是否喜欢使用最终用户浏览器的方式，除非在所有使用他们的技术的网站上都非常明确地指出了这种方式 - 但如果没有其他的话，这是一种开箱即用的方法。

在社区驱动的项目中还编写了其他爬虫，您也可能会使用它们。

正如其他受访者所指出的那样——计算一下。您需要每秒抓取约 2300 个页面才能跟上每 5 天抓取 1B 页面的速度。如果你愿意等待更长的时间，这个数字就会下降。如果您认为要爬行超过 1B，则该数字会上升。简单的数学。

祝你好运！