python 爬虫SSL错误是怎么回事?

2023-05-16

今天摸鱼(划掉)看道一个问题蛮有意思的,想来展开说说:

别急,解决办法是有的。

1.这个错误很可能是因为你正在尝试读取一个 JSON 格式的响应,但是实际返回的却是 HTML 格式的响应。

我们检查一下我们的请求是否正确,并且确保请求的 URL 返回的是 JSON 格式的数据。如果确认请求 URL 返回的是 JSON 格式的数据,那么可以使用函数将返回的字节类型数据转换为 JSON 对象。

import json
import urllib.request

response = urllib.request.urlopen(url)
json_str = response.read().decode('utf-8')
json_obj = json.loads(json_str)

2.你用的是标准库ssl模块,那可能确实和前面那位uu说的一样,可能是底层OpenSSL库的问题有关。

解决办法人家也说了,更新一下版本,提醒你一下,如果是使用Linux操作系统,看看484安装了正确版本的OpenSSL库。

这些确认后,问题还是存在,就检查SSL证书的有效性和正确性,看程序有没有正确配置和使用证书。

如果SSL错误是由于证书问题引起的,则可能需要添加以下代码来加载证书:jsonhtml=jsonresponse.read()

import ssl
ssl._create_default_https_context = ssl._create_unverified_context

这将创建一个未经验证的SSL上下文,从而跳过SSL验证过程。

不过这里要说一个,这是一个不安全的解决方案,不应该在生产环境中使用。

3.还有可能,需要换一家HTTP代理了。

买之前,先测试,这个没有人不知道吧,就不废话了。我们来说说成本问题,要如何在一众海量的HTTP代理厂商中,找到一家物美价优的呢?

稍等,问个度娘,大几千万条信息要筛选。

别急,我就看前面几家有那么实力投广的,整理了如下:

代表厂商

白名单数

基础套餐

(元/月)

平均IP单价

(元/IP)

青果网络

256

29

0.0006

小象代理

5

109

0.0050

巨量代理

5

155

0.0049

豌豆代理

5

300

0.0025

讯代理

1

210

0.0583

品易代理

20

120

0.0070

芝麻代理

5

360

0.0182

有需要的自取,记得给个赞。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

python 爬虫SSL错误是怎么回事? 的相关文章

随机推荐

  • 【VINS论文翻译】VINS-Mono: A Robust and Versatile Monocular Visual-Inertial State Estimator

    回到目录 写在前面 港科大的VINS Mono作为目前state of the art的开源VIO项目 xff0c 是研究视觉与IMU紧耦合的必读算法 xff0c 网上的论文解读与代码实现也非常丰富 xff08 感谢 xff01 xff09
  • 视觉SLAM十四讲(第二版)章节总结+课后习题分析

    感谢博主nullwh 的分享 xff0c 原文链接 视觉SLAM十四讲 视觉SLAM十四讲 第二版 笔记及课后习题 xff08 第一讲 xff09 视觉SLAM十四讲 第二版 笔记及课后习题 xff08 第二讲 xff09 视觉SLAM十四
  • FFMPEG 编解码失败 non-existing PPS 0 referenced

    最近在尝试用ffmpeg进行编解码 大部分的rtsp拉流正常 编解码正常 但是有的rtsp不能解码 提示如下 xff1a 后来把把packet数据打印出来发现是没有sps pps信息 导致 ffmpeg不能正常解码 程序里面 经过测试 把
  • ROS主从机配置

    目标 xff1a 小车上运行SLAM算法 xff0c 在PC上使用rviz可视化观察 第一步 xff1a 分别在两台机器上使用 hostname 指令查看用户名 ifconfig 指令查看ip地址 wlp3s0是我的pc的无线网卡 xff0
  • Docker入门指南

    https yeasy gitbook io docker practice
  • STL迭代器模版详解

    1 STL iterator迭代器 STL xff08 Standard Template Library xff0c 标准模板库 是惠普实验室开发的一系列软件的统称 它是由Alexander Stepanov Meng Lee和David
  • 4种YOLO目标检测的C++和Python两种版本实现

    本文原创首发于极市平台公众号 xff0c 如需转载请私信作者 2020年 xff0c 新出了几个新版本的YOLO目标检测 xff0c 在微信朋友圈里转发的最多的有YOLOv4 xff0c Yolo Fastest xff0c YOLObil
  • Activity的任务栈Task以及启动模式与Intent的Flag详解

    什么是任务栈 Task 官方文档是这么解释的 任务是指在执行特定作业时与用户交互的一系列 Activity 这些 Activity 按照各自的打开顺序排列在堆栈 xff08 即 返回栈 xff09 中 其实就是以栈的结构 先进后出 将依次打
  • 什么是标记化?令牌?

    什么是标记化 xff1f 标记化就是 xff1a 将敏感数据元素 xff08 例如银行帐号 xff09 替换为非敏感替代项 xff08 称为令牌 xff09 令牌是一个随机数据字符串 xff0c 没有基本或可利用的值或含义 它是一个唯一的标
  • 如何使用c语言解析httppost请求

    头文件 ifndef UPLOAD define UPLOAD include 34 fastcgi fcgiapp h 34 include 34 sysinc h 34 ifdef WIN32 def GRCALL the callin
  • STM32F103ZET6单片机双串口互发程序设计与实现

    STM32库函数开发系列文章目录 第一篇 xff1a STM32F103ZET6单片机双串口互发程序设计与实现 文章目录 STM32库函数开发系列文章目录前言一 STM32F103ZET6单片机双串口互发程序设计与实现是什么 xff1f 二
  • STL的一些常见应用场景

    set 集合 去除重复元素并从小到大排序 平衡二叉树 xff08 红黑树 xff09 维护 span class token comment 华为机试 gt HJ3 span span class token macro property
  • Pixhawk原生固件Linux环境下编译

    Pixhawk原生固件在Linux下编译的资料网上很多 xff0c 官网 http dev px4 io starting installing linux html 也有其具体流程 xff0c 本文只是针对自己从安装ubuntu14 04
  • GNGGA 解析北斗数据获得经纬度 以及数据NMEA数据转换

    char GPS1 61 34 GNGGA 121252 000 3937 3032 N 11611 6046 E 1 05 2 0 45 9 M 5 7 M 0000 77 34 int Parse GPS char data char
  • C++ math.h函数

    include int abs int num double fabs double arg long labs long num 函数返回num的绝对值 include double acos double arg 函数返回arg的反余弦
  • 动态ip原理

    所谓动态是指每次上网时 xff0c 运营商会随机从池子中分配一个IP地址 xff0c 动态ip池子因不同服务机构质量有所不同 xff0c 透明一般是在免费代理中出现 xff0c 而不同透明度还是有相应区分 代理IP的匿名度 xff1a 匿名
  • 自建隧道代理

    隧道代理可自动变更 xff0c 免去频繁更换代理的麻烦 xff0c 仅需一次性配置一个代理IP xff0c 其它变IP工作由隧道自动完成 假设你从免费代理手上拿到一些池子 xff0c 当然你也可以用爬虫程序自己爬找出后测试筛选可用的 xff
  • socks5代理怎么用?如何使用?

    SOCKS5代理不会重写数据包的标头 xff0c 并结合了TCP和UDP协议 Sock5代理服务器是把你的网络数据请求通过一条连接你和代理服务器之间的通道 xff0c 由服务器转发到目的地 Proxifier是一款功能非常强大的socks5
  • Python代理ip代码示例

    隧道代理和其他代理ip也有共同点优势比路由器更容易配置 xff0c 可以在工作过程中生成各种记录 xff0c 工作在应用层 xff0c 可以对各种数据进行检查 xff0c 按照一定的准则 xff0c 生成各种日志 记录 除此之外 xff0c
  • python 爬虫SSL错误是怎么回事?

    今天摸鱼 xff08 划掉 xff09 看道一个问题蛮有意思的 xff0c 想来展开说说 xff1a 别急 xff0c 解决办法是有的 1 这个错误很可能是因为你正在尝试读取一个 JSON 格式的响应 xff0c 但是实际返回的却是 HTM