如何从蜘蛛回调中收集统计数据?
Example
class MySpider(Spider):
name = "myspider"
start_urls = ["http://example.com"]
def parse(self, response):
stats.set_value('foo', 'bar')
不知道该做什么import
或如何制作stats
一般情况下可用。
查看scrapy 文档中的统计页面 http://doc.scrapy.org/en/latest/topics/stats.html。文档指出了统计收集器,但可能需要添加from scrapy.stats import stats
到你的蜘蛛代码,以便能够用它做一些事情。
编辑:冒着吹嘘自己的风险,如果你想要一个具体的例子,我发布了一个回答关于如何收集失败的网址 https://stackoverflow.com/questions/13724730/how-to-get-the-scrapy-failure-urls/13799984#13799984.
编辑2:经过大量谷歌搜索后,显然不需要导入。只需使用self.crawler.stats.set_value()
!
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)