‘NoneType‘ object has no attribute ‘find_all‘问题解决

2023-11-12

问题描述:

Python爬虫学习过程中遇到的AttributeError: ‘NoneType’ object has no attribute ‘find_all’ 问题解决

Traceback (most recent call last):
  File "D:\Study\Python\爬虫\03数据解析\爬取小说top.py", line 29, in <module>
    parse_infos = parse_soup.find('div',class_='rankpage_box').find_all('div',class_='rank_d_list borderB_c_dsh clearfix')
AttributeError: 'NoneType' object has no attribute 'find_all'

原因分析:

‘NoneType’ object has no attribute ‘find_all’,这个错误提示告诉我们 ‘children’ 属性的对象 soup 是一个空类型,那就意味着

parse_infos=parse_soup.find('div',class_='rankpage_box').find_all('div',class_='rank_d_list borderB_c_dsh clearfix')
中parse_soup并没有得到解析出来的html页面


解决方案:

在查找资料之后发现设置headers可以避免这种情况的产生

在请求网页爬取的时候,在检查语句正确之后,结果输出错误,这就是后台服务器禁止爬取,需要通过反爬机制去解决这个问题。

headers是解决requests请求反爬的方法之一,相当于我们进去这个网页的服务器本身,假装自己本身在爬取数据。

对反爬虫网页,可以设置一些headers信息,模拟成浏览器取访问网站 。

# 另外无意中发现了一个可以快捷获得xpath的方法
# 在浏览器里面,F12 找到需要查询的标签,然后鼠标右击找到复制,复制里面有一个xpath完整路径和xpath路径
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

‘NoneType‘ object has no attribute ‘find_all‘问题解决 的相关文章

  • 手把手操作JS逆向爬虫入门(三)---Headers请求头参数加密

    知识点 1 请求头加密参数分析 2 JS base64加密的多个实现方法 目标网站 aHR0cHM6Ly93d3cub2tsaW5rLmNvbS96aC1jbi9idGMvdHgtbGlzdD9saW1pdD0yMCZwYWdlTnVtPT
  • selenium对浏览器操作、鼠标操作等总结

    1 控制浏览器 Selenium 主要提供的是操作页面上各种元素的方法 但它也提供了操作浏览器本身的方法 比如浏览器的大小以及浏览器后退 前进按钮等 1 1 控制浏览器窗口大小 在不同的浏览器大小下访问测试站点 对测试页面截图并保存 然后观
  • 直接使用POST方法登录网站

    浏览器在 POST 数据之后能够自动登录 那么我能不能在代码中直接模拟这个过程呢 于是我设定了这样的一个流程 1 设置浏览器的 headers 设置请求等 2 使用 httpfox 工具获取post data 3 将post data 写下
  • Python爬虫爬取LOL所有英雄皮肤

    import requests import os import jsonpath from urllib request import urlretrieve 获取ID def get id url https game gtimg cn
  • Python 爬虫库以及库函数总结&&踩坑

    1 Re库的基本使用 Re库介绍 Re库是Python的标准库 主要用于字符串匹配 调用方式 import re 正则表达式的表示类型 raw string类型 原生字符串类型 re库采用raw string类型表示正则表达式 表示为 r
  • Python爬虫和数据分析

    立项 通过此项目爬取天猫 京东商品数据并进行数据分析 目标 通过此项目快速通过掌握数据爬取和数据分析 Step 分析天猫商城iPhone11 销售数据 抓取天猫商城iPhone11 销售数据 抓取京东商城iPhone11 销售数据 数据清洗
  • 使用python爬取英雄联盟官方英雄皮肤图片

    前言 本文的文字及图片来源于网络 仅供学习 交流使用 不具有任何商业用途 版权归原作者所有 如有问题请及时联系我们以作处理 PS 如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 python免费学习资料以及群交流解答点击即可
  • python的itchat模块

    今天一不小心发现的python的好玩模块itchar 首先 安装 pip install itchat 1 搜索微信好友信息 import itchat itchat auto login hotReload True 登入 friends
  • 爬虫需要知道的基础

    一 爬虫概述 1 爬虫必须知道的要素 爬虫要遵循网上的爬虫机器人协议 怎样查看 在网址后面加上 robots txt来查看 可以查到哪些是允许的 哪些是不允许的 爬虫的基本步骤 找到网址 发起请求 解析页面并获得原始数据 对数据进行处理 保
  • Python爬虫(一):编写简单爬虫之新手入门

    最近学习了一下python的基础知识 大家一般对 爬虫 这个词 一听就比较熟悉 都知道是爬一些网站上的数据 然后做一些操作整理 得到人们想要的数据 但是怎么写一个爬虫程序代码呢 相信很多人是不会的 今天写一个针对新手入门想要学习爬虫的文章
  • Python爬虫教程(非常详细)从零基础入门到精通,看完这一篇就够了

    对于绝大多数想要学习Python的朋友而言 爬虫绝对是学习Python的最好的骑手和入门方式 我当时选择Python学习 也是瞄准了Python爬虫 因为爬虫思维模式固定 编程模式也相对简单 一般在细节处理上积累一些经验都可以成功 一 正确
  • JS逆向教程第一发

    JS逆向教程第一发 项目简介 本文适合爬虫新手初步接触js逆向时进行阅读 初步接触JS逆向 并不是很熟悉逆向操作的 可以以本文为参考 初步入门 如果有大佬 也欢迎批评指正 本文以企名科技这个网站为例 初步介绍JS逆向的基本操作 环境准备 此
  • 同花顺某v参数详解

    声明 本文章中所有内容仅供学习交流 抓包内容 敏感网址 数据接口均已做脱敏处理 严禁用于商业用途和非法用途 否则由此产生的一切后果均与作者无关 若有侵权 请联系我立即删除 目标站点 aHR0cDovL3EuMTBqcWthLmNvbS5jb
  • 某乎搜索接口x-zse-96参数逆向学习分析,网站:aHR0cHM6Ly93d3cuemhpaHUuY29tLw==

    目标参数 x zse 96 参数分析 全局搜索x zse 96 只有两个地方出行 打上断点后刷新网页 从图中断点地方可以看到 搞清楚u f s 的由来就解决了x zse 96 可以看到s参数是由以下几部分组成 1 101 3 2 0 固定版
  • 抓取得物数据出现验证码的解析思路

    原创来自本人的公众号 阿嚏个技术 公众号文章地址 得物采集数据出现geetest验证码的解析方式 本文仅提供反爬技术的分析思路 勿做商业用途 如有侵权 请联系删除 之前写过一篇爬得物数据的文章 毒 得物 APP历史购买数据抓取 阅读数还是挺
  • 跳过selenium检测爬取淘宝直通车

    最近 有对阿里商家端进行一些数据爬取 这次爬取的是直通车人群溢价数据 发现对selenium的检测相当厉害 然而我的回答是 你强任你强 清风拂山岗 咱人工登录怕过谁 什么cokies user agent selenium检测 token
  • Python 快速验证代理IP是否有效

    有时候 我们需要用到代理IP 比如在爬虫的时候 但是得到了IP之后 可能不知道怎么验证这些IP是不是有效的 这时候我们可以使用Python携带该IP来模拟访问某一个网站 如果多次未成功访问 则说明这个代理是无效的 代码如下 import r
  • 使用正则表达式爬虫抓取猫眼电影排行Top100

    目标站点分析 分析网址 首页 https maoyan com 点击榜单 https maoyan com board 点击Top100 https maoyan com board 4 目标站点为 https maoyan com boa
  • 初学Python到月入过万最快的兼职途径(纯干货)

    1 兼职薪资 附行哥工资单 2 兼职门槛 附学习知识清单 3 兼职途径 附入职考核过程 4 行哥的兼职感受 答应行友的第一篇赚钱干货推文来啦 行哥第一个在读书期间通过兼职赚到的10w 收入 这也是初学Python小白最快达到月入过万的途径
  • python3GUI--抖音无水印视频下载工具(附源码)

    文章目录 一 准备工作 二 预览 0 复制抖音分享短链接 1 启动 2 运行 3 结果 三 设计流程 1 总体设计 2 详细设计 四 源代码 五 说明 总结 hello 大家好啊 失踪人口回归了 捂脸 本次使用tkinter撰写一篇 抖音无

随机推荐

  • [转载]PropertyChanged 事件

    在 NET平台上 数据绑定是一项令人十分愉快的技术 利用数据绑定能减少代码 简化控制逻辑 通常 可以将某个对象的一个属性绑定到一个可视化的控件上 当属性值改变时 控件上的显示数据也随之发生变化 要实现这一功能 只需要为自定义对象实现 INo
  • Pandas 笔记 (一)

    Pandas 笔记 Pandas 提供高性能 易于使用的数据结构和数据分析工具 Pandas 可以从 CSV JSON SQL MICROSOFTEXCEL 导入数据 Pandas 可以对各种数据进行运算操作 比如归并 再形成 选择 还有数
  • vue3的一些知识点plus--4

    二十六 hooks使用 hooks 复用代码进行封装 钩子函数 和vue2中的mixins相似 将共同部分抽离出来 也有开源的库 vueUse 包含各种hooks 可以在 官网 查看 我们自己怎么编写呢 要知道hook底层就是个函数 返回p
  • 树(Tree)——(六)平衡搜索二叉树理论篇

    目录 平衡 分类 最小不平衡子树 AVL Tree AVL树的失衡调整的四种情况 1 左单旋 RR 关键代码 例 补充 2 右单旋 LL 关键代码 3 右左双旋 RL 4 左右双旋 LR 总结 平衡 影响树的平衡的因素主要有 插入顺序 删除
  • 数据结构---栈与队列

    今天是高木同学哦 栈 栈的基本概念 栈 栈是一种特殊的线性表 其只允许在固定的一端进行插入和删除元素操作 进行数据插入和删除操作的一端称为栈顶 另一端被称为栈底 栈中的数据元素遵守后进先出 LIFO 的原则 压栈 栈的插入操作叫做压栈 出栈
  • 【复变函数与积分变换】02. 解析函数

    Contents 2 解析函数 2 1 复变函数 2 2 解析函数 2 3 解析函数的充分必要条件 2 4 解析函数与调和函数的关系 2 5 初等解析函数 2 解析函数 2 1 复变函数 复变函数的定义 设 D D D 是复平面中的一个点集
  • JDK8,JDK11,JDK17,JDK21及中间版本主要更新特性

    一 版本roadmap图 官方地址 https www oracle com java technologies java se support roadmap html 从上图可以很清晰得可以看出 JDK7 JDK8 JDK11 JDK1
  • CCS8.0和XDS100V3仿真器连接目标板失败的解决办法

    对于新手 要想顺利的连接上目标板不是一个容易的事 所以我这里记录一下我这个新手为了连接目标板的折腾过程 我的开发平台 WIN10系统CCS8 0 目标板芯片 TMS320VC5509A 仿真器 研旭XDS100V3 已确定的前提条件 CCS
  • 华北水利水电大学c语言无暇素数,华北水大C语言实验报告(三)

    华北水大高级语言程序设计 C语言 实验报告 三 2014 2015学年 第二学期 2014级 专业 学号 姓名 一 实验题目 循环结构程序设计 二 实验目的 略 三 实验内容 1 程序验证 略 2 程序设计 1 找出100 900之间的无暇
  • C++中使用UDP Socket发送字节数据

    文章目录 参考 代码 结果展示 参考 这篇文章给的代码也能用 https blog csdn net qq 36437446 article details 106446172 CRC代码来自https blog csdn net huij
  • 自己实现ls-l命令

    include
  • c4d人物模型 - mixamo 网页骨骼绑定

    1 首先拿出建立好的模型 成男 全身 c4d 2 复制一份到新文件 绑定动作 c4d 把轴对齐设置到人物脚中心 然后复位psr 确认没有问题后把模型 C 掉 导出obj文件准备放到网页中进行骨骼绑定 3 登录网址 Mixamo 导入obj文
  • spring Security4 和 oauth2整合 注解+xml混合使用(授权码篇)

    Spring Security4 和 oauth2整合授权码模式 上两篇介绍了环境配置和用户密码模式 下面介绍授权码模式 git地址 https gitee com ffch OauthUmp spring Security4 和 oaut
  • kvm虚拟机读取宿主机usb设备

    1 查看usb设备 用lsusb查看宿主机usb设备信息 2 在kvm虚拟机的xml文件中添加如下
  • 代码安全审计规范 安全措施缺陷审计列表

    声明 本文是学习GB T 39412 2020 信息安全技术 代码安全审计规范 而整理的学习笔记 分享出来希望更多人受益 如果存在侵权请及时联系我们 代码安全审计规范 安全措施缺陷审计列表 数据清洗 关键状态数据外部可控 审计指标 应避免关
  • 表情识别综述2018-Deep Facial Expression Recognition: A Survey

    表情识别综述2018 Deep Facial Expression Recognition A Survey 一 该论文从4各方面 应用领域 表情数据库 识别流程和表情识别的算法 讲述了基于深度学习的表情识别在近几年的发展情况 该论文根据表
  • shell对比文件夹(文件)创建时间

    判断一个文件夹中的所有文件是否是最近5分钟内创建的 bin bash folder path path to folder current time date s five minutes ago current time 300 300秒
  • Zabbix监控系统与部署Zabbix5.0监控(系列操作完整版)

    目录 一 监控软件的作用 二 Zabbix基本介绍 1 Zabbix是什么 2 Zabbix监控原理 3 Zabbix的优点 4 Zabbix的缺点 5 Zabbix监控系统的监控对象 三 Zabbix的监控架构 1 server clie
  • springboot + mybatis手动提交事务

    Service public class MyService Autowired DataSourceTransactionManager transactionManager public ResultMap lockStockWhenN
  • ‘NoneType‘ object has no attribute ‘find_all‘问题解决

    Python爬虫 问题描述 原因分析 解决方案 问题描述 Python爬虫学习过程中遇到的AttributeError NoneType object has no attribute find all 问题解决 Traceback mos