使用 Python 进行 Google 搜索网页抓取 [关闭]

最近为了工作中的一些项目，学习了很多python。

目前我需要使用谷歌搜索结果进行一些网络抓取。我发现几个网站演示了如何使用 ajax google api 进行搜索，但是在尝试使用它之后，它似乎不再受支持。有什么建议么？

我已经寻找了很长一段时间来寻找方法，但似乎找不到任何当前有效的解决方案。

您始终可以直接抓取 Google 结果。为此，您可以使用 URLhttps://google.com/search?q=<Query>这将返回前 10 个搜索结果。

然后你可以使用lxml http://lxml.de例如解析页面。根据您使用的内容，您可以通过 CSS 选择器查询生成的节点树（.r a）或使用 XPath 选择器（//h3[@class="r"]/a)

在某些情况下，生成的 URL 将重定向到 Google。通常它包含一个查询参数q其中将包含实际的请求 URL。

使用 lxml 和请求的示例代码：

from urllib.parse import urlencode, urlparse, parse_qs

from lxml.html import fromstring
from requests import get

raw = get("https://www.google.com/search?q=StackOverflow").text
page = fromstring(raw)

for result in page.cssselect(".r a"):
    url = result.get("href")
    if url.startswith("/url?"):
        url = parse_qs(urlparse(url).query)['q']
    print(url[0])

关于谷歌禁止您的IP的说明：根据我的经验，谷歌只禁止 如果你开始向谷歌发送垃圾邮件搜索请求。它会回应 如果 Google 认为您是机器人，则返回 503。