Python3爬虫---抓取英雄联盟的所有英雄皮肤

2023-10-29

#!/usr/bin/env python
# -*- coding:utf-8 -*-
#@author:Chris iven
#Python version 3.6




#1.分析LOL官网行为!
#发现这个网页的所有数据都是经过js生成的!意思就是说 他的数据全部不在该网页里面,而是在一个JS文件里面!
#所以我们只需要获取JS数据.


"""
抓取步骤及思路:


1.获取英雄的js数据,访问并且下载.然后转换为JSON格式的数据.


2.对数据进行解析,我们这边的函数式get_hero_data!
这个函数会对下载的json数据进行解析,提取出LOL中的英雄英文名字和id值!


3.访问并且下载:
    对于获取的数据进行拼接,尤其是对图片的链接进行拼接.然后进行下载!
    
github 源文件: https://github.com/ivcr/PythonSpider/blob/master/LOL/LOL_Spider

 

源码:

#!/usr/bin/env python
# -*- coding:utf-8 -*-
#@author:Chris iven
#Python version 3.6


#1.分析LOL官网行为!
#发现这个网页的所有数据都是经过js生成的!意思就是说 他的数据全部不在该网页里面,而是在一个JS文件里面!
#所以我们获取JS文件即可!

import requests
import json,re,os
class LOL_Spider(object):
    def __init__(self,url):
        self.url &
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Python3爬虫---抓取英雄联盟的所有英雄皮肤 的相关文章

随机推荐

  • Redis里的key过期了,为什么内存没有释放

    1 Redis过期策略定期删除和惰性删除 定期删除 Redis会每隔一段时间执行一次定期删除 但并不保证所有过期的key会被立即清理掉 惰性删除 当一个key被访问时 Redis会监测key是否过期 过期则删除并释放相应内存空间 2 解答
  • 什么是乐观锁,什么是悲观锁?

    在互联网公司面试中 很多小伙伴都被问到关于锁的理解 今天 我给小伙伴们来聊一聊我对锁的理解 不管我们互斥锁 自旋锁 重入锁 读写锁 行锁 表锁等等等等这些概念 我把他们都归纳为两种类型 乐观锁和悲观锁 彻底讲明白Java中眼花缭乱的各种并发
  • Bun v0.8.0 正式发布,Zig 编写的 JavaScript 运行时

    Bun 是采用 Zig 语言编写的高性能 全家桶 JavaScript 运行时 官方称其为 all in one JavaScript runtime 所谓 all in one 是因为 Bun 提供了打包 转译 安装和运行 JavaScr
  • 【推荐系统->统计学】辛普森悖论(Simpson‘s paradox)

    辛普森悖论 辛普森悖论 Simpson s paradox 也有其他名称 是概率和统计中的一种现象 即一种趋势出现在几组数据中 但当这些组组合在一起时 趋势就会消失或逆转 这个结果在社会科学和医学科学统计中经常遇到 并且当频率数据被过度地给
  • Zookeeper应用场景和底层设计

    一 什么是zookeeper Zookeeper是一个开源的分布式协调服务框架 它是服务于其它集群式框架的框架 简言之 有一个服务A 以集群的方式提供服务 只需要A专注于它提供的服务就可以 至于它如何以多台服务器协同完成任务的事情 交给Zo
  • eventEmitter.addListener与eventEmitter.on有什么区别

    eventEmitter addListener与eventEmitter on有什么区别 在 Node js 中 eventEmitter addListener 和 eventEmitter on 是等效的方法 它们都用于为事件注册监听
  • 面试官问“为什么应聘这个岗位”,应该如何回答?

    面试的时候 我们经常会被问到一个问题 为什么要来应聘这个职位 这是很多同学 不管是在校招还是社招里面都会碰到的一个场景 出现这种问题 一般来说有两种情况 一种是大学专业 或之前的实习经验 工作经验 跟这个职位的相关度不大 第二种情况是 跨越
  • mysql 可以承受多少人_mysql每秒最多能插入多少条数据 ? 死磕性能压测

    前段时间搞优化 最后瓶颈发现都在数据库单点上 问DBA 给我的写入答案是在1W 机械硬盘 左右 联想起前几天infoQ上一篇文章说他们最好的硬件写入速度在2W后也无法提高 SSD硬盘 但这东西感觉从来没证实过 故一时兴起 弄台虚拟机压测起来
  • HDLBits 系列(6)——Sequential Logic(Latches and Flip-Flops)

    目录 3 2 Sequential Logic 3 2 1 Latches and Flip Flops 1 D flip flop 2 D flip flops 3 DFF with reset 4 DFF with reset valu
  • AOP常用的几种增强方式,各自的特点(代码辅助)?

    1 前置增强 又称前置通知 前置增强使用 Befor注解标识 增强方法优先于目标方法执行 前置增强方法 Before execution int mul int int 执行方法之前执行下面的方法 public void before Jo
  • vue使用vant的list组件使用

    模板代码
  • 性能测试—性能测试方案设计思路总结

    一 需求分析 1 测试目的 为什么测 目的在于测试系统相关性能能否满足业务需求 通常分以下两种情况 1 新项目上线 2 老项目优化 如果是老项目优化 可考虑是否存有历史测试方案 如果有可以参考 或许可以省事很多 2 测试对象 要测啥 测试对
  • RK开发板的USB连接(Ubuntu)

    一 安装连接工具 sudo apt get install putty 二 启动putty工具 sudo putty 三 连接usb 并查看相关的信息 查看接入的是否有usb ls dev tty 显示如下 含有usb接口 dev ttyU
  • JVM的GC ROOTS有哪些?

    jvm垃圾回收是根据可达性分析算法来判断堆里面的对象是否有用 可达性分析算法是从GC ROOTS扫描对象引用链 来筛选出有用的对象 扫面完成后 回收掉无用的对象 jvm的GC ROOTS有哪几个地方呢 1 虚拟机栈 局部变量表中引用的对象
  • 寒假训练 第三节 数据结构基础 总结

    栈 基本操作 1 判断栈空 2 判断栈满 3 进栈 4 出栈 判断栈空 操作 s gt top 1 当栈顶指向 1时说明该栈为空 判断栈满 操作 s gt top MAXEN 1 当栈顶为栈长减一时说明栈为满 进栈 s gt top s g
  • react-native之ART绘图详解

    背景 在移动应用的开发过程中 绘制基本的二维图形或动画是必不可少的 然而 考虑到Android和iOS均有一套各自的API方案 因此采用一种更普遍接受的技术方案 更有利于代码的双平台兼容 art是一个旨在多浏览器兼容的Node style
  • PF_INET AF_INET

    http blog csdn net csdn zc article details 7656445 在写网络程序的时候 建立TCP socket sock socket PF INET SOCK STREAM 0 然后再绑定本地地址或连接
  • 【C语言】简易登录注册系统(登录、注册、改密、文件操作)

    概述 本登录注册系统通过使用C语言中的结构体 函数 文件操作以及指针等 设计与实现了一个小型用户登录注册系统的登录 注册 修改密码等基本功能 本系统全部功能基本运行良好 用户界面友好 操作简单 使用方便 但系统仍然有不完善之处 例如在隐藏用
  • 【零基础学爬虫】用python爬取小说

    文章目录 前言 一 先上效果图 二 bs4学习 1 原理 2 运用 3 数据解析 4 属性定位 5 获取标签之间的文本数据 6 获取标签中的属性值 三 开始爬小说 一般步骤 1 获取url 2 UA伪装 3 获取cookie 4 请求网站
  • Python3爬虫---抓取英雄联盟的所有英雄皮肤

    usr bin env python coding utf 8 author Chris iven Python version 3 6 1 分析LOL官网行为 发现这个网页的所有数据都是经过js生成的 意思就是说 他的数据全部不在该网页里