如何使 scrapy 中的 start_url 从消息队列中使用？

我正在构建一个 scrapy 项目，其中有多个蜘蛛（每个域一个蜘蛛）。现在，要抓取的 URL 是动态地来自用户给定的查询。所以基本上我不需要进行广泛的爬行，甚至不需要跟踪链接。将会有一个接一个的网址，我只需要使用选择器进行提取。所以我在想，如果我可以将 URL 传递到 scrapy 蜘蛛可以使用的消息队列上，那就没问题了。但我无法弄清楚。我检查过

https://github.com/darkrho/scrapy-redis https://github.com/darkrho/scrapy-redis

但我觉得它不适合我的目的，因为我需要多个队列（每个蜘蛛一个队列）。 据我了解，一种方法似乎是覆盖蜘蛛中的 start_requests 方法。但我再次不清楚该怎么做（对于 python 和 scrapy 来说是新手）。我可以将它视为任何普通的 python 脚本并 ovverride 使用（任何）消息队列的方法吗？ 另外，我需要蜘蛛 24*7 运行，并在队列中有请求时进行抓取。我想我应该使用信号并在某处引发 DontCloseSpider 异常。但我该在哪里做呢？我很迷失。请帮忙。

这是我正在考虑的场景：

用户 -> 查询 -> 来自 abc.com 的 url -> abc-spider

          -> url from xyz.com -> xyz-spider

          -> url from ghi.com -> ghi-spider

现在，每个网站的每个网址都有相同的内容需要抓取。所以我有选择器在每个蜘蛛中执行此操作。我需要的是，这只是一个单一用户场景。当有多个用户时，同一个蜘蛛会收到多个不相关的网址。所以它会是这样的：

查询1、查询2、查询3

abc.com -> url_abc1,url_abc2,url_abc3

xyz.com -> url_xyz1,url_xyz2,url_xyz3

ghi.com -> url_ghi1,url_ghi2, url_ghi3

因此，对于每个网站，这些 URL 都会动态出现，并被推送到各自的消息队列中。 现在，每个用于该网站的蜘蛛都必须消耗各自的队列，并在消息队列上有请求时向我提供抓取的项目

这是将 scrapy 构建为数据管道一部分的一种非常常见且（IMO）出色的方法；我一直这样做。

你是正确的，你想覆盖蜘蛛的start_requests()方法。如果您定义了 start_requests() 以及 start_urls 变量，我不知道 scrapy 的行为如何，但如果您从数据库等动态源进行消费，我建议仅使用 start_requests() 。

一些示例代码，未经测试，但应该给您正确的想法。如果您需要更多信息，请告诉我。它还假设您的队列已由另一个进程填充。

class ProfileSpider( scrapy.Spider ):
    name = 'myspider'

    def start_requests( self ):
        while( True ):
            yield self.make_requests_from_url(
                self._pop_queue()
            )

    def _pop_queue( self ):
        while( True ):
            yield self.queue.read()

这将您的队列公开为生成器。如果您想最大程度地减少空循环量（因为队列很多时候可能为空），您可以在 _pop_queue 循环中添加睡眠命令或指数退避。 （如果队列为空，则休眠几秒钟，然后尝试再次弹出。）

假设您的代码中没有发生致命错误，我相信这不应该因为循环/生成器的构造而终止。