使用 Python 3.6 抓取 Duckduckgo

一个简单的问题。我可以从 duckduckgo 搜索的第一页抓取结果。然而，我正在努力进入第二页和后续页面。我已将 Python 与 Selenium Webdriver 结合使用，这对于首页结果来说效果很好。 我用来抓取第一页的代码是：-

results_url = "https://duckduckgo.com/?q=paralegal&t=h_&ia=web" 
browser.get(results_url)
results = browser.find_elements_by_id('links') 
num_page_items = len(results) 
for i in range(num_page_items): 
    print(results[i].text) 
    print(len(results)) 

nxt_page = browser.find_element_by_link_text("Load More")
if nxt_page:
    nxt_page.send_keys(Keys.PAGE_DOWN)"

有一些换行符指示新页面的开始，但它们似乎不会更改 url，因此我尝试使用上述方法向下移动页面，然后重复代码以查找下一页上的链接。然而它不起作用。 任何帮助将非常感激

如果我搜索Load More在结果的源代码中我找不到它。您是否尝试过使用非 JavaScript版本？

您只需添加即可使用它html到网址：https://duckduckgo.com/html?q=paralegal&t=h_&ia=web在那里你可以找到next按钮在最后。

这个对我有用（Chrome 版本）：

results_url = "https://duckduckgo.com/html?q=paralegal&t=h_&ia=web"
browser.get(results_url)
results = browser.find_elements_by_id('links')
num_page_items = len(results)
for i in range(num_page_items):
    print(results[i].text)
    print(len(results))
nxt_page = browser.find_element_by_xpath('//input[@value="Next"]')
if nxt_page:
    browser.execute_script('arguments[0].scrollIntoView();', nxt_page)
    nxt_page.click()

顺便说一句：Duckduckgo 还提供了一个很好的 api，这可能更容易使用；）

编辑：修复选择下一页链接的选择器prev第二个结果页面上的按钮（感谢@kingbode）