我正在尝试通过使用名称列表作为输入并在 DataFame 中获取数据集来在 Google 搜索上进行网络抓取。我之前使用 selenium 进行网页抓取,但我在构建语法时遇到了困难使用循环运行名称列表作为输入得到结果并scrape每一页。下面是我的 Python 代码:
baseUrl = 'https://www.google.com/search?q='
pluseUrl = input('CEO: ')
url = baseUrl + quote_plus(pluseUrl)
browser = webdriver.Chrome(r"C:\Users\...\chromedriver.exe")
browser.get(url)
table = browser.find_elements_by_css_selector('div.ifM9O')
df = pd.DataFrame(columns = ['ceo', 'value'])
values =[]
for row in table:
ceo = str(([c.text for c in row.find_elements_by_css_selector('div.kno-ecr-pt.PZPZlf.gsmt.i8lZMc')])).strip('[]').strip("''")
value = str(([c.text for c in row.find_elements_by_css_selector('div.Z1hOCe')])).strip('[]').strip("''")
ceo = pd.Series(ceo)
value = pd.Series(value)
df = df.assign(**{'ceo': ceo, 'value': value})
print(df)
这是将比尔·盖茨作为输入后的结果:
CEO: Bill gates
ceo value
0 Bill Gates Born: October 28, 1955 (age 64 years), Seattle...
任何建议或建议将不胜感激。
尝试这个:
baseUrl = 'https://www.google.com/search?q='
browser = webdriver.Chrome(r"C:\Users\...\chromedriver.exe")
input_list = ["Bill Gates", "Elon Musk", "Warren Buffet"]
output = {}
def scrape_ceo_list(list_of_ceo):
for ceo in list_of_ceo:
browser.get(baseUrl + ceo)
// query selectors, dataframes etc as per original code
// ...
output[ceo] = df
output
现在是一个数据框字典,以 CEO 姓名作为字典键。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)