如何使用scrapy从网站抓取有限数量的页面？

我需要抓取多个网站，并且只想抓取每个网站一定数量的页面。那么如何实现呢？

我的想法是使用一个字典，其键是域名，值是已存储在 mongodb 中的页数。因此，当一个页面被抓取并成功存储到数据库中时，该域的页面数将增加1。如果数量大于最大数量，则蜘蛛应停止从该站点爬行。

下面是我的代码，但它不起作用。什么时候spider.crawledPagesPerSite[domain_name]大于spider.maximumPagesPerSite:，蜘蛛还在爬行。

class AnExampleSpider(CrawlSpider):
name="anexample"
rules=(
    Rule(LinkExtractor(allow=r"/*.html"),
    callback="parse_url",follow=True),
)   
def __init__(self, url_file ): #, N=10,*a, **kw
    data = open(url_file, 'r').readlines() #[:N]
    self.allowed_domains = [ i.strip() for i in data ] 
    self.start_urls = ['http://' + domain for domain in self.allowed_domains]
    super(AnExampleSpider, self).__init__()#*a, **kw

    self.maximumPagesPerSite=100 #maximum pages each site
    self.crawledPagesPerSite={}
def parse_url(self, response):
    url=response.url
    item=AnExampleItem()     
    html_text=response.body
    extracted_text=parse_page.parse_page(html_text)
    item["url"]=url
    item["extracted_text"]=extracted_text
    return item

class MongoDBPipeline(object):
    def __init__(self):
        self.connection = pymongo.MongoClient( settings['MONGODB_SERVER'], settings['MONGODB_PORT'] )

    def process_item(self, item, spider):
        domain_name=tldextract.extract(item['url']).domain
        db = self.connection[domain_name] #use domain name as database name
        self.collection = db[settings['MONGODB_COLLECTION']]
        valid = True
        for data in item:
            if not data:
                valid = False
                raise DropItem("Missing {0}!".format(data))
            if valid:
                self.collection.insert(dict(item))
                log.msg("Item added to MongoDB database!",level=log.DEBUG, spider=spider)
                if domain_name in spider.crawledPagesPerSite:
                    spider.crawledPagesPerSite[domain_name]+=1
                else:
                    spider.crawledPagesPerSite[domain_name]=1
                if spider.crawledPagesPerSite[domain_name]>spider.maximumPagesPerSite:
                    suffix=tldextract.extract(item['url']).suffix
                    domain_and_suffix=domain_name+"."+suffix

                    if domain_and_suffix in spider.allowed_domains:
                        spider.allowed_domains.remove(domain_and_suffix)
                        spider.rules[0].link_extractor.allow_domains.remove(domain_and_suffix)
                        return None
                return item

我不确定这是否是您正在寻找的，但我使用这种方法仅抓取一定数量的页面。假设我只想从 example.com 中抓取开始的 99 页，我将按以下方式进行：

start_urls = ["https://example.com/page-%s.htm" % page for page in list(range(100))]

到达第 99 页后，代码将停止工作。但这仅在您的网址中包含页码时才有效。