如何使用PyCharm调试Scrapy项目

我正在使用 Python 2.7 开发 Scrapy 0.20。我发现 PyCharm 有一个很好的 Python 调试器。我想用它来测试我的 Scrapy 蜘蛛。有人知道该怎么做吗？

我尝试过的

Actually I tried to run the spider as a script. As a result, I built that script. Then, I tried to add my Scrapy project to PyCharm as a model like this:

File->Setting->Project structure->Add content root.

但我不知道我还需要做什么

The scrapy命令是一个 python 脚本，这意味着您可以从 PyCharm 内部启动它。

当您检查 scrapy 二进制文件时（which scrapy）你会注意到这实际上是一个Python脚本：

#!/usr/bin/python

from scrapy.cmdline import execute
execute()

这意味着像这样的命令scrapy crawl IcecatCrawler也可以这样执行：python /Library/Python/2.7/site-packages/scrapy/cmdline.py crawl IcecatCrawler

尝试找到 scrapy.cmdline 包。 就我而言，位置在这里：/Library/Python/2.7/site-packages/scrapy/cmdline.py

使用该脚本作为脚本在 PyCharm 内创建运行/调试配置。使用scrapy命令和spider填充脚本参数。在这种情况下crawl IcecatCrawler.

Like this:

将断点放在爬行代码中的任何位置，它应该可以工作™。