有些网站屏蔽了 selenium webdriver,这是如何工作的?

2023-12-03

因此,我尝试对服装网站进行网络抓取,以建立一个值得关注的优惠/产品列表,但我注意到我尝试加载的一些网站却没有。网站如何阻止 selenium webdriver http 请求?他们会看标题什么的吗?你能一步步告诉我 selenium webdriver 如何发送请求以及服务器如何接收它们/能够阻止它们吗?


Selenium 使用真正的 Web 浏览器(通常是 Firefox 或 Chrome)来发出请求,因此该网站可能不知道您在幕后使用 Selenium。

如果该网站阻止您,可能是因为您的使用模式(即您每分钟发出 1000 个请求,从而堵塞了他们的网络服务器。这是粗鲁的。不要这样做!)

一个例外是如果您在“无头”模式下使用 Selenium 和 HtmlUnitDriver。网站can检测到这一点。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

有些网站屏蔽了 selenium webdriver,这是如何工作的? 的相关文章

随机推荐