我正在尝试抓取网站列表scrapy。我尝试将网站网址列表作为start_urls，但后来我发现我买不起那么多内存。有什么办法可以设置scrapy一次抓取一两个网站？
您可以尝试使用concurrent_requests = 1以免数据超载
http://doc.scrapy.org/en/latest/topics/settings.html#concurrent-requests http://doc.scrapy.org/en/latest/topics/settings.html#concurrent-requests
本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)
