Scrapy获取任何网站的所有链接

我有以下 Python 3 网络爬虫代码：

import requests
from bs4 import BeautifulSoup
import re

def get_links(link):

    return_links = []

    r = requests.get(link)

    soup = BeautifulSoup(r.content, "lxml")

    if r.status_code != 200:
        print("Error. Something is wrong here")
    else:
        for link in soup.findAll('a', attrs={'href': re.compile("^http")}):
            return_links.append(link.get('href')))

def recursive_search(links)
    for i in links:
        links.append(get_links(i))
    recursive_search(links)


recursive_search(get_links("https://www.brandonskerritt.github.io"))

该代码基本上从我的 GitHub 页面网站上获取所有链接，然后从这些链接中获取所有链接，依此类推，直到时间结束或发生错误。

我想在 Scrapy 中重新创建这段代码，这样它就可以遵守 robots.txt 并成为一个更好的网络爬虫。我在网上进行了研究，只能找到有关如何抓取特定域的教程/指南/stackoverflow/quora/博客文章（例如，allowed_domains=["google.com"]）。我不想这样做。我想创建能够递归地抓取所有网站的代码。

这不是什么大问题，但所有博客文章等仅显示如何从特定网站获取链接（例如，他的链接可能位于列表标签中）。我上面的代码适用于所有锚标记，无论它在哪个网站上运行。

我不想在野外使用它，我需要它用于演示目的，这样我就不会突然因为过度的网络爬行而惹恼每个人。

任何帮助将不胜感激！

scrapy 指南有一整节专门介绍广泛的爬行 https://docs.scrapy.org/en/latest/topics/broad-crawls.html。我建议您细粒度设置以成功完成此操作。

为了在 scrapy 中重新创建您需要的行为，您必须

• 在页面中设置起始网址。
• 编写一个解析函数，跟踪所有链接并递归调用自身，将请求的 url 添加到蜘蛛变量中

一个未经测试的示例（当然可以进行改进）：

class AllSpider(scrapy.Spider):
    name = 'all'

    start_urls = ['https://yourgithub.com']

    def __init__(self):
        self.links=[]

    def parse(self, response):
        self.links.append(response.url)
        for href in response.css('a::attr(href)'):
            yield response.follow(href, self.parse)