【fake_useragent】网络爬虫获取随机User-Agent

2023-11-10

学习目标:

通过安装python的fake_useragent第三方库,使用它生成随机User-Agent请求网站,以此突破反爬。

  • 掌握fake_useragent安装与使用

目录

User-agent

安装fake_useragent库

导入模块 

生成useragent字符串

request模块使用示例:


User-agent

user-agent:检验请求者的用户代理,包含请求者的浏览器、操作系统版本和cpu等信息,以此来判断是否为机器人。

安装fake_useragent库

cmd命令行中输入以下命令进行安装:

pip install fake_useragent

导入模块 

from fake_useragent import UserAgent  

生成useragent字符串

生成随机useragent

us = UserAgent().random 

生成chrome浏览器useragent

us = UserAgent().chrome

使用示例:

us = UserAgent().chrome
print(type(us))
print(us)

 输出结果:

<class 'str'>
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2227.1 Safari/537.36

request模块使用示例:

from fake_useragent import UserAgent
url = 'https://www.baidu.com'
headers = {'User-Agent' : UserAgent().random}
res = requests.get(url, headers = headers)
print(res.status_code)

 输出:

200

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

【fake_useragent】网络爬虫获取随机User-Agent 的相关文章

随机推荐

  • 小型机 PC服务器 性能,pc服务器小型机

    pc服务器小型机 内容精选 换一换 业务测试完成后或不再需要克隆服务器 您可参考本章节删除克隆服务器 删除克隆服务器后 请到弹性云服务器Console界面检查 使用主机迁移服务迁移Windows系统的源端服务器时 要求目的端服务器的磁盘大小
  • 进程间通讯的7种方式

    1 常见的通信方式 管道pipe 管道是一种半双工的通信方式 数据只能单向流动 而且只能在具有亲缘关系的进程间使用 进程的亲缘关系通常是指父子进程关系 命名管道FIFO 有名管道也是半双工的通信方式 但是它允许无亲缘关系进程间的通信 消息队
  • [架构之路-213]- 架构 - 架构设计过程快速概览与在线画图工具

    目录 第一步 业务系统 1 收集目标系统的用户需求 2 定义用例图 第二步 领域建模 1 业务流程定义 2 业务功能分解 3 非功能性架构 支撑架构 第三步 高层架构设计 1 应用展现层 2 业务功能层 3 框架支撑层 第四部 详解架构设计
  • 如何查gmail发件人ip_如何在Gmail中阻止来自特定发件人的电子邮件

    如何查gmail发件人ip There are some email senders from which you never want to hear You can t stop them from sending you emails
  • 瞳孔特征值提取,blink frequency,fixation frequency,saccad extent, pupil diameter等

    进行的分析有 滤波分析 fft psd database py 下面展示一些 内联代码片 import pandas as pd import numpy as np def read file raw path data pd DataF
  • unity 3d 原创制作射击游戏(一)

    目录 实验一 4 1 设计如下UI界面 其中包含了canvas Panel Text Button Image RawImage等UI元素 4 2 实现点击Play按钮转换场景 点击Exit退出游戏的功能 5 3 主界面添加音量滑动杆 静音
  • Flink1.11.0 SQL与hive整合

    一 前言 此次flink sql 整合 hive 主要是能在flink sql中读写hive数据 为flink实时写数据进入hive 构建实时数仓做准备工作 flink 1 11 0 hive 2 3 4 hadoop 2 7 2 主要步骤
  • 使用Python,OpenCV制作不同风格的素描图(正常,漫画,写实风格)

    使用Python OpenCV制作不同风格的素描图 正常 漫画 写实风格 这篇博客将介绍如何使用Python OpenCV制作不同风格的素描图 正常风格 漫画风格 写实风格 1 效果图 原始图 VS 正常风格素描图 VS 漫画风格素描图 V
  • 软件测试缺陷的定义、产生原因、缺陷报告格式、缺陷报告

    软件缺陷的定义 错误 静态存在于说明文档中的表述或编码错误 缺陷 存在于代码中或硬件系统中的错误 BUG 被测对象实际表现与用户显性需求或隐性需求中的差异 功能实现错误 功能实现遗漏 功能实现多余 功能实现不好 失效 因缺陷激发后导致功能的
  • 递归求斐波那契数列

    斐波那契数列 题目描述 编写一个函数 求斐波那契数列的第n项的值 首先 对于斐波那契数列 我们是非常熟悉了 对斐波那契定义为如下 f 0 0 f 1 0 f 2 1 f n f n 1 f n 2 其中n gt 1 对于这种求斐波那契数列第
  • Mockito(三)--完整功能介绍

    强烈建议不熟悉Mockito的同学先看看我写的Mockito 一 入门篇和 二 实例篇之后再来看这篇文章 因为只有看了前两篇文章才明白mockito的本质以及该如何使用它 下面是对Mockito全部功能的介绍 1 使用mockito验证行为
  • 如何从大型模型(BART)fine tune一个小模型及代码实现

    系列文章 如何从大型模型 BART fine tune一个小模型及代码实现 文本自动摘要评价方法 金字塔方法 pytorch 使用BART模型进行中文自动摘要 目录 系列文章 摘要 自动摘要目前的问题 seq2seq 模型 BART Fin
  • VUE 路由守卫 next() / next({ ...to, replace: true }) / next(‘/‘) 说明

    最近因为 next 遇到了不少问题 在这里记录一下 首先是路由守卫 是不是感觉简简单单 beforeEach to from next gt to 要去的路由 from 当前路由 next 放行的意思 但是在看别的项目时常常能看到next
  • Linux网络编程:多路I/O转接服务器(select poll epoll)

    文章目录 一 select 1 基础API select函数 思路分析 select优缺点 2 server c 3 client c 二 poll 1 基础API poll函数 poll优缺点 read函数返回值 突破1024 文件描述符
  • linux指令的那些事

    1 将当前目录加入LD LIBRARY PATH export LD LIBRARY PATH PWD LD LIBRARY PATH 2 给show demo相应的执行权限 chmod x show demo 3 列出show demo文
  • C语言string中常用方法

    方法目录 文章目录 strlen strcat strcmp strcpy strchr strstr strlen 作用 返回字符串s中的字符数 末尾的空格除外 include
  • openwrt上wifi探针的实现----mt7620a+rt2860v2

    最新的实现在这里http blog csdn net lixuande19871015 article details 71601363 什么是wifi探针 看到探针 感觉很高大上的样子 其实就是通过wifi搜集经过这个AP范围的手机的ma
  • Hyperledger Fabric配置文件解析-core.yaml

    peer节点的主要配置文件为core yaml 接下来我们以sampleconfig core yaml为例进行注释 core yaml文件分为几大section Peer section 节 点配置 VM section 链码运行环境配置
  • SpringBoot系列---【SpringBoot在多个profiles环境中自由切换】

    SpringBoot在多个profiles环境中自由切换 1 在resource目录下新建dev prod两个目录 并分别把dev环境的配置文件和prod环境的配置文件放到对应目录下 可以在配置文件中指定激活的配置文件 也可以默认不指定 2
  • 【fake_useragent】网络爬虫获取随机User-Agent

    学习目标 通过安装python的fake useragent第三方库 使用它生成随机User Agent请求网站 以此突破反爬 掌握fake useragent安装与使用 目录 User agent 安装fake useragent库 导入