Scrapy:在一个请求失败时(例如404,500),如何请求另一个替代请求?

2024-03-01

我有一个关于 scrapy 的问题。 在一个请求失败时(例如404,500),如何请求另一个替代请求?例如两个链接都可以获取价格信息,其中一个失败,则自动请求另一个。


在请求中使用“errback”,例如 errback=self.error_handler 其中error_handler是一个函数(就像回调函数一样),在该函数中检查错误代码并发出替代请求。

请参阅 scrapy 文档中的 errback:http://doc.scrapy.org/en/latest/topics/request-response.html http://doc.scrapy.org/en/latest/topics/request-response.html

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Scrapy:在一个请求失败时(例如404,500),如何请求另一个替代请求? 的相关文章

随机推荐

  • 使用循环合并和创建表

    我尝试搜索如何使用循环合并和创建多个表 但找不到我正在寻找的内容 我有四个表 表 1 1 1 2 1 3 和表 2 表1 1 1 2和1 3共享相同的列但具有不同的行 表 2 与表 1 1 1 2 和 1 3 具有相同的第一列 具体来说 表
  • 防止线程在处理异常后分离时调用 std::terminate()

    我有自己的线程类 旨在帮助安全地管理异常 它看起来像这样 为了简单起见 跳过了其他构造函数和互斥体 class ExceptThread public std thread public template
  • 打开磁力链接而不失去焦点

    javascript 或其他 有没有办法在浏览器失去焦点的情况下处理磁力链接 这有点像在后台打开一个选项卡而不离开当前页面 我最近遇到了类似的问题 并且能够通过在页面上创建命名框架并将其用作目标来解决该问题window open windo
  • 正则表达式:一次性获取没有扩展名的文件名?

    我只想使用正则表达式获取文件名 所以我一直在尝试简单的事情 例如 当然 只有当文件名具有一个扩展名时才有效 但如果是的话adfadsfads blah txt我只是想adfadsfads blah 我怎样才能用正则表达式做到这一点 关于大卫
  • 检查 C 中的溢出

    让我们有 int a b c may be char or float anything actually c a b 让int类型用4个字节表示 假设 a b 需要比 4 个字节多 1 位 即 假设结果是 1 00 0 32 个零 二进制
  • Surface SDK 可以在 Visual Studio 2012 上运行吗?

    我需要使用 Surface SDK 创建一个 WPF 应用程序 我正在使用 Visual Studio 2012 并且根据this https stackoverflow com questions 11624895 how can i u
  • AndroidNotification.Builder与NotificationCompat.Builder[重复]

    这个问题在这里已经有答案了 我看到的几乎所有 Android 通知示例代码似乎都使用了NotificationCompat 我已经使用Notification Builder编写了自己的代码 我不清楚使用NotificationCompat
  • 我应该如何多次插入多条记录?

    我有一个名为Entry声明如下 class Entry string Id get set string Name get set 然后是一个接受多个这样的方法Entry使用 ADO NET 插入数据库的对象 static void Ins
  • 两次之间经过的小时数,与国家/地区和时区无关

    我们如何确定两次之间经过的小时数 例如 旧金山下午 3 30 迪拜下午 7 30 我不清楚的部分是 是否存在通过考虑时区和国家来计算减去的时间跨度的通用方法 我使用 C 作为主要语言 任何帮助将不胜感激 提前致谢 您询问的是 旧金山下午 3
  • 如何在Python中使用wrap_strategy来处理谷歌表格?

    我有一个 python 代码 它使用驱动器和工作表 api 来列出文件夹内的文件 我在这个文件夹中有多个谷歌工作表 其中一些在文本之间有空格 就像图片中给出的那样 我想使用 googlesheet api 将所有单元格的文本换行更改为溢出
  • iOS - 具有自动布局的比例间距

    我正在尝试使用界面生成器创建一个完美的比例视图 到目前为止 一切都很好 我正在以编程方式缩放字体 按钮等 唯一的问题是元素之间的约束 间距 保持不变 我想避免为间距限制创建出口 因为它看起来很混乱 我希望元素之间的间距在拉伸元素时保持成比例
  • 使用用户名通过 https 配置 WCF 以获得 WS-Security

    我正在尝试使用 WCF 客户端通过 https 调用基于 Java 启用 WS Security 的 Web 服务 但似乎无法获得正确的安全配置 使用 SvcTraceViewer 我在尝试过的任何安全配置中都没有看到预期的安全标头 我最近
  • Android Studio“运行应用程序”对话框不会出现在一个项目中,但会出现在另一个项目中

    我正在用 Android Studio 制作一个非常简单非常愚蠢的应用程序来了解如何保存关键首选项 但我遇到了一个奇怪的障碍 我会尽力提供尽可能多的信息 因为可能很难重现这个错误 但老实说 我正在运行的两个应用程序都是超级基础在那里没有编译
  • 如果选中单选按钮,则更改父 div (li) 背景 - javascript

    我在 li 元素内有单选按钮 我想在选中单选按钮后更改 li 父 div 的背景颜色 我成功地通过 CSS 在 li 上设置了悬停 但 checked 似乎不适用于父 div 这是我的 html css 代码 job manager ter
  • 如何使用 jquery mobile 在网络应用程序上添加全屏欢迎图像

    我认为 jQTouch 中有它 但是如何为使用 jQueryMobile 开发的 iPhone Web 应用程序添加全屏欢迎图像 该应用程序是一个全屏网络应用程序 它已经添加到 iPhone 主屏幕中 这只是一个概念 但你可以尝试这样的事情
  • 在 NodeJS 中将一个大型 csv 文件(200'000 行以上)插入到 MongoDB 中

    我正在尝试解析一个大的 csv 文件并将其插入到 MongoDB 中 但是当该文件扩展 100 000 行时 我从服务器得到了错误的响应 而我需要插入的文件通常都在 200 000 行以上 我尝试过批量插入 insertMany 和Baby
  • 在默认浏览器中打开 TWebBrowser 链接

    我的应用程序显示一个从网络加载的小横幅TWebBrowser控制 该横幅实际上是一个包含图像的 HTML 页面 当用户单击图像时 他们将进入我们当前正在进行的促销活动 这里的坏处是 当单击 TWebBrowser 中的链接时 活动页面会在
  • a-frame vr如何拖放资产/元素洞察图片?

    我正在尝试框架 但找不到任何有关如何拖放元素的信息 并且已经寻找了几个小时 有人熟悉a frame吗 谢谢 到目前为止 这就是我的代码
  • WatchKit NSUserDefaults 和 NSKeyedUnarchiver 问题

    在我的项目中 我有一个名为 Country 的自定义对象 它实现了 NSCoding 该代码通过引用在 iPhone 和 Watch 应用程序之间共享 两个应用程序都位于同一应用程序组中 在我的 iPhone 应用程序中 我使用 NSUse
  • Scrapy:在一个请求失败时(例如404,500),如何请求另一个替代请求?

    我有一个关于 scrapy 的问题 在一个请求失败时 例如404 500 如何请求另一个替代请求 例如两个链接都可以获取价格信息 其中一个失败 则自动请求另一个 在请求中使用 errback 例如 errback self error ha