I using scrapy,我想得到忽略响应 URL。我只是在输出控制台中看到:
调试:忽略响应 https://www.mywebsite.com>:HTTP 状态代码未处理或不允许。
根据文档here您可以添加应该由蜘蛛处理的 HTTP 状态代码列表,即使默认情况下不允许它们。
在您的情况下,您必须将以下行添加到您的蜘蛛定义中:
handle_httpstatus_list = [999]
这将导致蜘蛛即使使用此状态代码也能获得结果。
下次在提出问题之前,请先浏览 StackOverflow 查找类似问题并阅读文档。添加一些代码让我们知道您的错误发生在哪里,这不会是错误的。如果没有这些信息,社区很少能够给出任何答案。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)