身份验证失败 - 999 - HTTP 状态代码未处理或不允许

2023-12-14

I using scrapy,我想得到忽略响应 URL。我只是在输出控制台中看到:

调试:忽略响应 https://www.mywebsite.com>:HTTP 状态代码未处理或不允许。


根据文档here您可以添加应该由蜘蛛处理的 HTTP 状态代码列表,即使默认情况下不允许它们。

在您的情况下,您必须将以下行添加到您的蜘蛛定义中:

handle_httpstatus_list = [999]

这将导致蜘蛛即使使用此状态代码也能获得结果。

下次在提出问题之前,请先浏览 StackOverflow 查找类似问题并阅读文档。添加一些代码让我们知道您的错误发生在哪里,这不会是错误的。如果没有这些信息,社区很少能够给出任何答案。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

身份验证失败 - 999 - HTTP 状态代码未处理或不允许 的相关文章

  • PyQt:数据不可 JSON 序列化

    我是 PyQt GUI 的新手 我想获取a的数据QLineEdit文本框 为此我正在使用text 方法 我正在获取数据 但数据类型是QString 我需要将其作为 json 数据传输到服务器 为此我使用json dumps 方法 但我收到错
  • 3rd party API 返回 500 错误,我的 API 应该返回什么代码

    我在基于 ZF2 Zend Framework 2 的框架中编写了一个 API 称为 Apigility 我的服务可以查询第 3 方 API 偶尔 我会收到 500 错误消息 要么是由于令牌过期 要么是其他原因 我的 API 应如何响应我的
  • PyOpenCL:如何创建本地内存缓冲区?

    这里可能是非常简单的问题 但我已经搜索了几个小时但没有任何结果 我有这段代码 我希望有一个 256 位 8 uint32 bitstring gpu 作为设备中的本地内存指针 def Get Bitstring GPU Buffer ctx
  • Scrapy 文件管道不下载文件

    我的任务是构建一个可以下载所有内容的网络爬虫 pdfs 在给定站点中 Spider 在本地计算机和抓取集线器上运行 由于某种原因 当我运行它时 它只下载一些但不是全部的 pdf 通过查看输出中的项目可以看出这一点JSON 我已经设定MEDI
  • VSCode Settings.json 丢失

    我正在遵循教程 并尝试将 vscode 指向我为 Scrapy 设置的虚拟工作区 但是当我在 VSCode 中打开设置时 工作区设置 选项卡不在 用户设置 选项卡旁边 我还尝试通过以下方式手动转到文件 APPDATA Code User s
  • Python 将 *args 转换为列表

    这就是我正在寻找的 def init self args list of args magic Parent init self list of args 我需要将 args 传递给单个数组 以便 MyClass init a b c Pa
  • 杂乱的扭曲连接在不干净的时尚中消失了。没有代理。已经尝试过标题

    我正在尝试抓取这个网站 https www5 apply2jobs com jupitermed ProfExt index cfm fuseaction mExternal searchJobs https www5 apply2jobs
  • 向客户端发送状态码 500 时页面未呈现

    我有一个页面 通用处理程序 我想在该页面上向客户端返回状态代码 500 以指示出现问题 我这样做 Response StatusCode 500 Response StatusDescription Internal Server Erro
  • Python 对象生命周期特征

    注意 如果您知道任何 非详细的 库代码可以实现我想要的功能 请启发 C C 程序员 我会接受它作为答案 我有一个全局变量设置为以下类的实例 它的目的是允许我设置一些手动中断点来放置一些快速和肮脏的东西printfscrapy 蜘蛛中的样式调
  • 类型错误:replace() 在更改时区时不采用关键字参数

    我正在尝试将 UTC 时区更改为 America Sao Paulo 但收到此错误 TypeError replace takes no keyword arguments 这是我的代码 import pytz local tz pytz
  • 使用 Python 旋转和缩放完整的 .SVG 文档

    我有一个 SVG 绘图 来自建筑地图 我想将整个文档顺时针旋转 90 度 现在 绘图方向是纵向 我们的想法是横向 除此之外 我想缩放整个文档 因此包括所有元素 目前 我无法在网络上找到执行此操作的可能性 所以这就是我来这里问的原因 我的问题
  • AudioSet 和 Tensorflow 理解

    With AudioSet https research google com audioset index html发布并为那些进行合理研究分析的人提供了一个全新的研究领域 最近几天我一直在努力深入研究如何分析和解码这些数据 数据在 tf
  • Raspberry pi 3 B+ 中的串行通信

    我想在 Raspberry pi 3 B 和 GSM GPRS A6 之间进行通信 我尝试过 但无法从 Raspberry pi 向 GPRS 模块发送数据 现在 我知道在较新的操作系统 在我的例子中是 Raspbian Stretch 中
  • Pandas DataFrame - 列 whos dtype=='category' 上的聚合导致性能下降

    我使用内存使用量较高的大数据帧 并且我读到 如果更改重复值列上的数据类型 我可以节省大量内存 我尝试了一下 确实内存使用量下降了 25 但随后我遇到了我无法理解的性能缓慢问题 我对 dtype 类别 列进行分组聚合 在更改 dtype 之前
  • 为什么 python 的 __init__ 函数没有 return 语句,即使它是一个函数

    这可能是一个愚蠢的问题 但我很想知道答案 根据官方文件 init 不需要return语句 有什么特殊原因会这样吗 gt gt gt class Complex def init self realpart imagpart self r r
  • 如何每次在新进程中打开文件而不考虑文件打开器

    我正在使用 windows 7 64 位 python 2 7 我正在打开文件 并监视文件更改 然后等待直到打开的文件关闭 这对于简单的记事本文件打开器来说效果很好 由于记事本在新的进程 ID 中打开每个文件 而记事本 在单个记事本 进程
  • 从带有文件输出的脚本运行 Scrapy

    我目前正在使用带有以下命令行参数的 Scrapy scrapy crawl my spider o data json 不过 我更愿意将此命令 保存 在 Python 脚本中 下列的https doc scrapy org en lates
  • TypeError: super() take at least 1 argument (0给定)错误特定于任何Python版本?

    我收到这个错误 类型错误 super 至少需要 1 个参数 给定 0 个 在 python2 7 11 上使用此代码 class Foo object def init self pass class Bar Foo def init se
  • 什么时候使用 zip 代替 izip 更好?

    什么时候使用比较好zip https docs python org 2 library functions html zip代替itertools izip https docs python org 2 library itertool
  • Python:帮助(numpy)在退出时导致段错误

    我遇到了一个奇怪的现象 在 python 解释器中 我执行以下操作 gt gt gt import numpy gt gt gt help numpy 帮助显示正确 但一旦我按 q 返回解释器 Segmentation fault core

随机推荐

  • 合并两个字典同时共享密钥

    我正在尝试构建一个小程序 给定一个包含姓名和地址的字典和另一个包含姓名和电话号码的字典 输出应该将它们合并 并且不会相互覆盖 最终输出字典应包含姓名 地址 如果可用 和电话 如果可用 这是一个例子 addr George via Wagne
  • 如何复制当前活动的浏览器 URL?

    我正在尝试获取活动浏览器窗口的当前活动浏览器 URL 有任何指针或代码示例吗 Code NSAppleScript script NSAppleScript alloc initWithSource tell application Saf
  • 调试无法检查变量

    while debugging in eclipse the problem is String hashCode line 1489 local variables unavailable thus not able to inspect
  • Android 网络服务 GPS 导航

    如何在应用程序导航中显示以查找方向和搜索任何地方 当我们在浏览器中打开谷歌地图时会发生这种情况 但我希望在应用程序中也有同样的情况 None
  • 获取已安装 COM 对象的 GUID

    我有一个 32 位 COM 对象 我想将其与 64 位 PHP 一起使用 我正在尝试按照这里的教程进行操作 http www gfi com blog 32bit object 64bit environment 但我被困在 找到你的 CO
  • ASP.NET Excel导出编码问题

    我正在 ASP NET 网站上进行一些 Excel 导出 除了编码之外 一切正常 当我在 Excel 中打开它时 它看起来像这样 Eingabe Kosten je Ger t Ger t 特殊情况 Betriebsmittel Heiz
  • Bootstrap:更改移动设备上全角列的顺序

    我有这样的架构 col 1 col 2 它们的宽度都是12块 和我的html div class col xs 12 col md 5 1 div div class col xs 12 col md 7 2 div 是否可以在 xs mo
  • 从 VTCompressionOutputCallback 中引用“self”[重复]

    这个问题在这里已经有答案了 我目前正在尝试使用 VideoToolbox 对来自AVCaptureVideoDataOutput 但我在引用时遇到问题self从内部VTCompressionOutputCallback 我的代码如下 var
  • 线程和 GUI 应用程序之间的 Python 新型信号和插槽

    我是 OOP 和 python 的新手 我正在尝试使用新样式的信号和插槽从 Qthread 向 Qt GUI 主窗口发出信号 这就是线程 在单击 GUI 中的 运行 按钮后 3 秒后 我将在 GUI 中发出用于更新消息对话框的信号 我不确定
  • 在Python中序列化二进制数据

    我有一些二进制数据 在 Python 中以字节字符串数组的形式存在 是否有一种可移植的方法来序列化其他语言可以读取的数据 JSON 失败是因为我刚刚发现它没有真正的方法来存储二进制数据 它的字符串应该是 Unicode 我不想使用pickl
  • 在浏览器中执行jdbc小程序

    import java sql import java io import java awt import java awt event import java applet public class A0 extends Applet i
  • 使用连字符时 Spring 表达式语言 (SpEL) 不起作用

    我正在尝试使用 Spring 表达式语言来解析表达式 if myVariable值设置为 first name 带连字符的值 然后获取class org springframework expression spel SpelParseEx
  • 使用 Java 将 ASN1 序列解码为 RSA 公钥

    我有以下 RSA 公钥作为 ASN1 序列 SEQUENCE 2 elem INTEGER 1024 bit 14832 INTEGER 65537 如何在 Java 中将此序列导入为 RSA 公钥 已实施的KeySpecs 例如PKCS8
  • 可以采取哪些措施来防止对返回值进行误导性分配?

    使用 C 多年后 我意识到使用自定义类时语法中的一个怪癖 尽管是正确的语言行为它允许创建非常具有误导性的界面 这里的例子 class complex arg double r double phi public std complex
  • Gulp 注入不起作用

    我尝试使用 gulp inject 将一些文件注入 PHP 文件 这是行不通的 我也尝试过使用 HTML 但这不起作用 我的控制台中的输出显示 gulp inject 6 files into test html 但是没有注入文件 文件数是
  • 在 XCode 11 上哪里可以找到“Log Dyld API 使用情况”和“Log Library Loads”?

    我想在 XCode 控制台中禁用记录动态加载程序事件 dyld 的打印 我找到了解决方案here 但我找不到记录 Dyld API 使用情况 and 日志库加载XCode 11的产品方案诊断中的选项 请帮我找到它们 PS 如果Xcode11
  • getNamedItem() 与 getAttribute() 之间的区别?

    两者都给我一个 XML 元素的属性 他们之间有什么区别吗 添加 W3C 书签文档对象模型核心 作为一个来源 它已经是最好的了 getAttribute 是由Element界面 来自 W3C 获取属性按名称检索属性值 getNamedItem
  • 如何创建包含 xml 和 html 文件的 jar 文件?

    我正在尝试创建一个 jar 文件 其中包含一些所需的类和 java 文件 但我还想包含一些额外的 xml xsl html txt 自述文件 文件 我在 Windows XP 上使用 Eclipse 有没有一种简单的方法可以让我设置目录结构
  • 运行 npm install 时收到“npm ERR!code ELIFECYCLE npm ERR!errno 126”

    我试图在我的服务器上运行 npm install 并收到此错误 gt email protected postinstall home workspace AgreementCancellationProd retrymechanism n
  • 身份验证失败 - 999 - HTTP 状态代码未处理或不允许

    I using scrapy 我想得到忽略响应 URL 我只是在输出控制台中看到 调试 忽略响应 https www mywebsite com gt HTTP 状态代码未处理或不允许 根据文档here您可以添加应该由蜘蛛处理的 HTTP