我正在使用 Scrapy 抓取网站并将数据提取到 json 文件,但我发现对于某些网站,抓取工具需要很长时间才能抓取完整的网站。
我的问题是:如何才能最大限度地减少爬行所需的时间?
尝试调整CONCURRENT_ITEMS
, CONCURRENT_REQUESTS
, CONCURRENT_REQUESTS_PER_DOMAIN
和其他设置。
有关设置的完整列表,请参阅http://doc.scrapy.org/en/latest/topics/settings.html http://doc.scrapy.org/en/latest/topics/settings.html
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)