程序员经验分享-hwhale

几个比较好用的爬虫库

2023-10-31

一、类似 Requests 的库

为什么要推荐类似 Requests 的库呢？Requests 不够好吗？

虽然 Requests 对于新手很容易上手，但它是同步的、并不是异步设计的。在 HTTP 请求的时候是需要 IO 等待的。比如说，当你使用 Requests 库进行请求，网站进行返回的时候，这时 IO 就会阻塞，程序就需要等待网站的返回，这就让爬取速度变慢了。

那么异步的好处在哪呢？（侯爵老师兴奋的停不下来，继续说着）

Python 的代码是一行行去执行。也就是说，如果哪一行是非常耗时间的，之后的所有事情都会等到它完成才执行。因此 Python 异步编程也就应运而生用来解决这个问题。异步的方式在于你写的这些代码中哪些是执行时间非常短的，那么就先执行，耗时的操作会被搁在后面，并且执行这个过程完全都由 Python 的异步库自己来进行调控。

这样的好处就是只写少量的代码也能达到不错的效率，同时在代码可读性上也变得更加直观了。

1.aiohttp

https://github.com/aio-libs/aiohttp
aiohttp 是纯粹的异步框架，同时支持 HTTP 客户端和 HTTP 服务端，可以快速实现异步爬虫。坑比其他框架少。并且 aiohttp 解决了requests 的一个痛点，aiohttp 可以轻松实现自动转码，对于中文编码就很方便了。

2.asks

https://github.com/theelous3/asks
Python 自带一个异步的标准库 asyncio，但是这个库很多人觉得不好用，甚至是 Flask 库的作者公开抱怨自己花了好长时间才理解这玩意，于是就有好事者撇开它造了两个库叫做 curio 和 trio，而这里的 ask 则是封装了 curio 和 trio 的一个 http 请求库。
用起来和 Requests 90%相似，新手也可以很快上手。

3.vibora

https://github.com/vibora-io/vibora
号称是现在最快的异步请求框架，跑分是最快的。写爬虫、写服务器响应都可以用。

但这个项目一直在重构，这谁受得了。现在页面上还挂着项目正在重构的警告，使用需谨慎啊。

二、类似 Selenium 的库

Selenium +webdriver 可以用来模拟用来模拟浏览器请求，它也是同步的、而不是异步设计的。而下面这些库不光是从效率上，还有易用性上也比 selenium 进化了不少。

1.Pyppeteer

https://github.com/miyakogi/pyppeteer
Pyppeteer 是异步无头浏览器（Headless Chrome），从跑分来看比 Selenium + webdriver 快，使用方式是最接近于浏览器的自身的设计接口的。它本身是来自 Google 维护的 puppeteer，但是按照 Python 社区的梗，作者进行了封装并且把名字中的 u 改成了 y

特点是异步的设计，接口非常浏览器化，注入 JS 也很方便。

2.Requestium

https://github.com/tryolabs/requestium
Requests 的作者 Kenneth Reitz 曾经转发称赞过这个库。
Requestium 是 Requests 和 Selenium 封装的产物，并且提供了友好的接口切换，这样就可以根据需求切换了。
值得一提的是，Requestium 有一个 Wait Until 的方便设计，它的作用是确保页面中的某一个元素出现了才会进行下面的代码，这样一来就很轻松的避免了一些诡异的错误。GitHub 页面上有一组示例，是使用 Requestium 以及使用 Requests + Selenium + lxml 的对比，可以很明显看出区别。

3.arsenic

https://github.com/HDE/arsenic
HDE 公司用在了实际生产中的项目抽离出来的框架。和 selenium 接口几乎一致，学习成本相对较低。不同在于是异步的设计。不过文档有点糟糕。

三、框架

1.Grab

https://github.com/lorien/grab
前端圈很流行说渐进式框架，那么 Grab 可以说是爬虫界的渐进式框架。想简单用时有简单的用法，想复杂使用时也有复杂的用法。封装的很好，基于生成器异步的设计。

2.botflow

https://github.com/kkyon/botflow
国人作者。概念很新颖，定位成了处理数据工作流的框架，可以用来爬虫、机器学习、量化交易等等。

3.ruia

https://github.com/howie6879/ruia
国人作者。比较接近 Scrapy 的使用方式，异步设计。作者也在知乎但是很低调 @howie

Golang 爬虫框架 colly

https://github.com/gocolly/colly
应该是 Golang 里使用量最多的爬虫框架了。Golang 语言本身就对并发支持很好。让你在使用时只考虑业务本身就可以。框架结构化、清晰、代码好读。

nodejs 爬虫框架 headless-chrome-crawler

https://github.com/yujiosaka/headless-chrome-crawler
JS 圈里的一个奇葩，整个爬虫都基于 Chrome ，并且自带一个调度队列。实际测试速度和稳定性均不俗。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

爬虫

几个比较好用的爬虫库 的相关文章

  • 【vue3】：全局搜索解决方案

    全局搜索解决方案 需求 用户通过搜索框进行全局搜索 与当前系统路由进行匹配 用户点击匹配结果 可以跳转到该路径下的页面 原理 根据用户输入内容在数据源中进行 模糊搜索 获取数据源 根据匹配结果 将其渲染到下拉框组件中 点击下拉框选项 跳转到

  • ant-design：Upload组件上传图片组件封装

    将Upload组件放入src components下成为全局组件 调用时通过子组件向父组件传值实现的 这里的子组件为全局组件下的Upload上传组件 父组件指的是调用时的路由组件 上传图片一般为是为了得到上传到服务器后的图片路径 具体配置如

  • React:阻止组件渲染

    使用return null ReactDOM render

随机推荐

  • Vue elementui中el-select获取选中label的值

    针对控件el select中的option一个是label一个是value 在控件中change方法或者v model我们只能拿到value 下面是获取到label的方法

  • 用python发邮件、添加附件

    python 发邮件 两个内置模块 smtplib email 需要了解附件以什么形式添加到邮件中 open方法 二进制 字节 什么是授权码 能够看懂邮件发送过程中的发送编码 发送成功 发送失败 垃圾邮件等编码编号 什么是smtp协议 SM

  • 本地docker注册证书docker login连接到harbor仓库、利用shell脚本将大量镜像pull、tag、push到私有harbor仓库

    1 本地docker注册证书docker login连接到harbor仓库 我们使用docker login push pull去与Harbor打交道 上传下载镜像等 但是可能会出现x509 certificate signed by un

  • 【送面试题】Linux中grep和find的区别及全面使用指南

    AI绘画关于SD MJ GPT SDXL百科全书 面试题分享点我直达 2023Python面试题 2023最新面试合集链接 2023大厂面试题PDF 面试题PDF版本 java python面试题 项目实战 AI文本 OCR识别最佳实践 A

  • 常见测试用例设计方法2---边界值划分

    目录 二 边界值的基本思想 三 边界值的作用 四 边界值点的定义 五 边界值和等价类的联系 六 上点 离点 内点的确定 1 闭区间 2 开区间 3 半开半闭区间 总结 七 常见边界值 字符 整数 八 边界值分析案例优化建议 九 开闭区间的区

  • matlab 点云粗配准(8)——RANSAC算法实现点云粗配准（方法一）

    RANSAC 一 算法原理 1 算法概述 2 实现流程 二 代码实现 三 结果展示 一 算法原理 1 算法概述 基本思想是通过随机采样一定数量的点对 计算变换矩阵 然后用该变换矩阵将源点云变换到目标点云坐标系下 计算变换后的点云与目标点云之

  • Java开发：如何将model对象与json互相转换？

    model javabean 与json相互转换 文章声明 model对象与json之间互转网上有很多方法 此处只记录一种常用的 并且比较安全便捷的转换方法 使用gson 一 model转换json 1 首先创建一个model实体类 pac

  • 详解OpenCV中的Lucas Kanade稀疏光流单应追踪器

    详解OpenCV中的Lucas Kanade稀疏光流单应追踪器 1 效果图 2 源码 参考 这篇博客将详细介绍OpenCV中的Lucas Kanade稀疏光流单应追踪器 光流是由物体或相机的运动引起的图像物体在连续两帧之间的明显运动的模式

  • 比cat更好用的命令！

    大家好 我是良许 作为程序员 大家一定对 cat 这个命令不陌生 它主要的功能就是用来显示文本文件的具体内容 但 cat 命令两个很重大的缺陷 1 不能语法高亮输出 2 文本太长的话无法翻页输出 正是这两个不足 使得 cat 只能用来查看行

  • 记录一次报错：Error, operation time out. RESULT_OPERATION_TIMEO[rplidarNode-2] process has died [pid 22745,

    当Rplidar雷达突然报错 Error operation time out RESULT OPERATION TIMEOUT rplidarNode 2 process has died pid 22745 exit code 255

  • udev原理及使用方法

    本文参考以下两篇文章结合自己的理解总结 https blog csdn net huangminilong article details 83782142 https blog csdn net chituhuan article det

  • 性能调优疑问： IO操作消耗CPU吗？

    操作系统 中的IO章节都会说 IO设备发送中断 CPU收到中断后 挂起当前的进程 然后处理中断 处理完后 回到之前的进程 如果IO都需要CPU参与 那么IO很频繁的时候 会大量占用CPU吗 https www cs uic edu jbel

  • 静态路由实验

    思科 计算机网络实验 静态路由仿真实验 实验目的 掌握静态路由的配置和使用方法 熟悉交换机端口镜像的方法以及如何用于监视端口 文章目录 思科 计算机网络实验 静态路由仿真实验 一 静态路由是什么 二 实验步骤 实验 一 总结 一 静态路由是

  • jQuery 中的 each()

    通过它 你可以遍历对象 数组的属性值并进行处理 使用说明 each函数根据参数的类型实现的效果不完全一致 1 遍历对象 有附加参数 each Object function p1 p2 this 这里的this指向每次遍历中Object的当

  • 电脑优化导致打印机无法使用的问题

    使用打印机需要一些服务和端口 我经常看到因系统优化导致无法使用打印机的问题 主要有以下两种情况 一 sploov服务被关闭 sploov服务是打印机服务 必须开启 二 139或445端口被关闭 进行文件共享和打印机共享等实际通信 Windo

  • Android安全扫描提示未使用编译器堆栈保护技术的解决方法

    前言 目前市面上不少安全扫描apk并评估的公司会针对以下这项进行扫描 防御原理和攻击原理 看最下面的参考 别人写的很好 我就没必要再累述了 未使用编译器堆栈保护技术 风险描述 为了检测栈中的溢出引入了Stack Canaries漏洞缓解技术

  • 两数相加 代码实现和思路

    两数相加 代码实现和思路 做这个题目之前必须要了解链表是什么 还有指针是什么 不然很容易看不懂代码 class Solution public ListNode addTwoNumbers ListNode l1 ListNode l2 首

  • Vue中全局事件总线使用

    Vue中全局事件总线是实现任意组件间通信的的一种方式 1 定义全局事件总线 new Vue beforeCreate Vue prototype bus this 2 使用全局事件总线 2 1 接受数据 A组件想接收数据 则在A组件中给 b

  • 问题PYQT

    def combo box change self row col text item QTableWidgetItem text self ui tableWidget setItem row col item changedata se

  • 几个比较好用的爬虫库

    一 类似 Requests 的库 为什么要推荐类似 Requests 的库呢 Requests 不够好吗 虽然 Requests 对于新手很容易上手 但它是同步的 并不是异步设计的 在 HTTP 请求的时候是需要 IO 等待的 比如说 当你

热门标签