python爬虫爬取-前程无忧-岗位信息

2023-10-31

用python获取前程无忧网站的岗位信息

通过前程无忧的一个信息接口来获取搜索的相关的岗位信息

先看效果:

打开前程无忧网站,打开开发者模式,进行抓包

先刷新一遍,然后直接全局搜索关键字

找到这个文件

这些就是岗位信息

直接访问这个接口,就可以获取这些信息

点击标头

查看请求url和请求方法

url里timetamp是一个时间戳

还有请求标头

这个sign是一个加密参数

一段时间后就会更改

需要破解(但是本人还不会)

所以就直接复制下来就好了,如果失效了就再复制
 

requests库来访问

把url和请求标头写上

然后用get方法进行访问

查看返回的信息,没有问题

成功拿到信息

接下来就是把关键信息提取出来

岗位信息在列表里先把所有的列表提取出来

lis = json_data['resultbody']['job']['items']

然后再在列表里循环提取

关键信息

dit = {}
for li in lis:
    # 工作岗位
    dit['jobName'] = li['jobName']
    # 薪资
    dit['provideSalaryString'] = li['provideSalaryString']
    # 位置
    dit['jobAreaString'] = li['jobAreaString']
    # 工作经验
    dit['workYearString'] = li['workYearString']
    # 学历
    dit['degreeString'] = li['degreeString']
    # 工作标签
    dit['jobTags'] = li['jobTags']
    # 公司
    dit['companyName'] = li['companyName']
    # 公司类型
    dit['companyTypeString'] = li['companyTypeString']
    # 公司大小
    dit['companySizeString'] = li['companySizeString']
    # 行业类型
    dit['industryType1Str'] = li['industryType1Str']
    # 发布日期
    dit['confirmDateString'] = li['confirmDateString']

提取完之后再进行保存

获取数据和保存已经写完

现在实现自己输入岗位,获取相关岗信息的功能

可以看到url里有一个keyword参数,这个参数就是搜索的岗位字符串,因为是url格式,所以把字符串编码了

我们用python的一个库来把字符串也进行url编码

就可以了

导入这个包

然后用parse.urlencode( )来编码

Kw = {'keyword':input('请输入要查询的岗位:')}

keyword = parse.urlencode(Kw)

没问题

看效果

Python经验分享

学好 Python 不论是就业数据分析还是做副业赚钱都不错,但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料,给那些想学习 Python 的小伙伴们一点帮助!

Python学习路线

这里把Python常用的技术点做了整理,有各个领域的知识点汇总,可以按照上面的知识点找对应的学习资源。
在这里插入图片描述

学习软件

Python常用的开发软件,会给大家节省很多时间。
在这里插入图片描述

学习视频

编程学习一定要多多看视频,书籍和视频结合起来学习才能事半功倍。
在这里插入图片描述

100道练习题

在这里插入图片描述

实战案例

光学理论是没用的,学习编程切忌纸上谈兵,一定要动手实操,将自己学到的知识运用到实际当中。
在这里插入图片描述
最后祝大家天天进步!!

上面这份完整版的Python全套学习资料已经上传至CSDN官方,朋友如果需要可以直接微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】。

 

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

python爬虫爬取-前程无忧-岗位信息 的相关文章

随机推荐

  • 嘿!七夕节,送书30本,一份心意!

    每逢佳节时 我都会给读者来一波送书福利 今天是七夕情人节 我这里给大家送波书 书单如下 书单1 深度学习入门 x 1 Python3网络爬虫开发实战 x 1 第一行代码 Android 第2版 x 1 未来世界的幸存者 x 1 奔跑吧 程序
  • 联合索引在B+树上的结构

    前言 最近在学习MySQL的存储引擎和索引的知识 看了许多篇介绍MyISAM和InnoDB的索引的例子 都能理解 像这张索引图 PS 该图来自大神张洋的 MySQL索引背后的数据结构及算法原理 一文 但许多文章讲述的都是单列索引 我很好奇联
  • matlab程序设计

    1 掌握建立和执行M文件的方法 2 熟练掌握M文件的结构 3 熟练掌握MATLAB程序流程控制结构 4 掌握各流程控制语句的用法 1 使用程序流程控制 Fibonacci数列的各元素为 1 1 2 5 8 满足以下关系 F1 1 F2 1
  • HTML+JS实现列表循环滚动信息展示

  • 机器学习——线性回归、房价预测案例【正规方案与梯度下降】

    coding utf 8 1 获取数据集 2 数据基本处理 2 1 数据划分 3 特征工程 标准化 4 机器学习 线性回归 5 模型评估 from sklearn datasets import load boston 1 获取数据集 所使
  • 代码自动化审核操作详解(svnchecker+checkstyle)

    一 概述 1 1 使用范围 本规范仅使用于代码服务器为SVN的场景 1 2 代码提交预校验 在代码提交SVN的时候 插件自动做一些静态代码规范的校验 对不符合规范的代码在提交时 会提示对应代码的错误信息 使用关键组件包括 VisualSVN
  • 【论文阅读】Multi-scale Single Image Dehazing using Perceptual Pyramid Deep Network

    论文 Multi scale Single Image Dehazing using Perceptual Pyramid Deep Network 作者 He Zhang 年份 2018年 期刊 IEEE CVF Conference o
  • angular-cli中配置proxy代理

    1 先在angular cli目录下新建 proxy config json 文件 文件内容如下 其中 我请求的接口URL 是 http 172 20 1 26 8082 api back common getVerifyCode back
  • ARouter 源码分析

    概述 arouter annotation ARouter路由框架所使用的全部注解 及其相关类 arouter compiler 注解编译处理器 引入 arouter annotation 在编译期完成了 构造路由表逻辑的创建 aroute
  • 【华为OD统一考试B卷

    在线OJ 已购买本专栏用户 请私信博主开通账号 在线刷题 运行出现 Runtime Error 0Aborted 请忽略 华为OD统一考试A卷 B卷 新题库说明 2023年5月份 华为官方已经将的 2022 0223Q 1 2 3 4 统一
  • 跟着我学 AI丨ChatGPT 详解

    随着人工智能的发展 聊天机器人成为了一个备受关注的领域 而ChatGPT作为其中的佼佼者 其功能和技术水平也越来越受到人们的关注 那么 什么是ChatGPT 它又有哪些优点和限制呢 ChatGPT是一款基于自然语言处理技术开发的聊天机器人
  • 2022年的有关语义分割的论文,含CVPR、ECCV、ICLR、AAAI

    TransRAC Encoding Multi scale Temporal Correlation with Transformers for Repetitive Action Counting CVPR 2022 Oral 论文 ht
  • 定时器的一些使用

    TIM TimeBaseStructure TIM Period 5000 设置在下一个更新事件装入活动的自动重装载寄存器周期的值 计数到5000为500ms TIM TimeBaseStructure TIM Prescaler 7200
  • 输入一个二进制表示的正整数,转换成十进制输出

    我们想一想咋实现这个算法 input 输入一个二进制字符串 不能是其他类型的字符 只能为0和1 所以在这里要做出限制 略去非0和1的字符后 把二进制字符串逐个输入进行计算 二进制转化为十进制方法为 例子 110 0 2 1 2 2 1 2
  • 基于RFID技术在服装智慧门店中的应用-rfid服装盘点

    一 项目背景 相较于RFID服装智慧门店应用 传统的服装门店 普遍存在以下管理瓶颈 1 条码管理 费时费力 条码作为智能化的方式 虽然其智能化程度比以前大大提高 但仍需要耗费大量人力物力 2 服装查找耗时长 对顾客特殊要求的服装 在门店成千
  • 你所了解的Vim是什么样的,如何打造一款高级的Vim编辑器

    vim简介 vim是linux上一个比较实用的文本编辑器 它在代码补全 编译及错误跳转等方便编程的功能上特别丰富 在程序员中被广泛使用 vim安装 如果你还没有安装vim可以使用下面命令安装 ubuntu环境安装 如果是centosd的话使
  • Spring IoC实现及原理

    文章目录 一 IoC 1 Spring Ioc 的由来 2 IoC思想 3 IoC的实现 3 1 实现原理 3 2 实现过程 3 2 1 xml方式 3 2 2 注解方式 二 DI 1 DI含义 2 注入依赖的方式 2 1 构造方法注入 2
  • Lyapunov稳定性判定总结及PI滑膜悬架仿真

    目录 前言 1 PD PSD ND NSD概念 2 Stable asymptotic stability Globalasymptotic stability 3 线性定常系统的稳定性分析 4 滑模变结构的拉塞尔 Lasalle 不变性原
  • java语言数据库课程设计_数据库课程设计 人事管理系统 (一)

    一 JAVA与数据库的合作此次开发语言为Java 所用的数据库驱动是mysql connector java 5 1 8 bin jar第一步 用Java连接MySQL数据库 驱动下载 https dev mysql com downloa
  • python爬虫爬取-前程无忧-岗位信息

    用python获取前程无忧网站的岗位信息 通过前程无忧的一个信息接口来获取搜索的相关的岗位信息 先看效果 打开前程无忧网站 打开开发者模式 进行抓包 先刷新一遍 然后直接全局搜索关键字 找到这个文件 这些就是岗位信息 直接访问这个接口 就可