如何使用google api抓取数据

2024-04-01

import requests

def search(query, pages=4, rsz=8):
    url = 'https://ajax.googleapis.com/ajax/services/search/web'
    params = {
        'v': 1.0,     # Version
        'q': query,   # Query string
        'rsz': rsz,   # Result set size - max 8
    }

    for s in range(0, pages*rsz+1, rsz):
        params['start'] = s
        r = requests.get(url, params=params)
        for result in r.json()['responseData']['results']:
            yield result

在最初的 2,3 次尝试中,它检索所有必需的页面,但在 2,3 次尝试后,它没有得到任何结果。它返回“None”或[]。经过几次尝试后,谷歌是否会阻止我的IP?有什么解决办法吗?


我不确定这是否有效,但避免被不鼓励抓取的网站阻止的唯一方法是在检索网页时使用代理。 请检查如何在您的代码中使用代理。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

如何使用google api抓取数据 的相关文章

随机推荐