程序员经验分享-hwhale

python---js逆向-----为了理想爬到想要的数据,我们怎能放过它

2023-11-20

目录

这是我的gitee仓库:https://gitee.com/qin-laoda/python-exercises

有兴趣的小可爱们可以点进去看看,

_________________________________

下面我们来按照爬虫思路找一下我们要爬的网页,并获取数据

下面我以https://ggzyfw.fujian.gov.cn/business/list/来爬取想要的数据

首先我们进去找到该网页,打开开发者工具找到如下所示:

图中我们没有搜索到想要的内容,那我们就查看源代码看看,如图:

可以看出也没有找到我们想要的数据,那就有可能是被加密了,下面我们就找到对应的接口其看看

如下图:

 当我们随机点击一个看看就会发现,返回的是一堆看不懂的数据,其实这就是js加密后返回来的数据,下面我们就来进入正题

js是什么

  • JavaScript 是世界上最流行的语言之一，是一种运行在客户端的脚本语言 （Script 是脚本的意思）

  • 脚本语言：不需要编译，运行过程中由 js 解释器( js 引擎）逐行来进行解释并执行

  • 现在也可以基于 Node.js 技术进行服务器端编程

___________________________

下面我来说一些思路:

python代码跑爬虫,js代码去做参数加密

例如:

from:en

to:zh

query:hello

transtype:realtime

simple_means_flag:3

sign:54706.276099

token:12cb0bfe4bc476dc010333cfb8148927

domain:common

ts:1686129751591

sign是通过js加密的!   !   !  !,要去找到网站的sign加密的位置,然后把这段js代码扣下来,放到js文件里面执行,执行的结果要和网页的一样 ,比如网页的sign:54706.276099,我们执行的结果也要是这样的

总结一小下:就是通过python代码运行js文件,js文件返回结果给python,然后python再利用

来发送请求

js文件的查找和扣代码

下面我来讲解怎么找到页面的js文件

以百度翻译为例https://fanyi.baidu.com/translate?aldtype=16047&query=hello%0D%0A%0D%0A&keyfrom=baidu&smartresult=dict&lang=auto2zh#en/zh/hello

第一步:

 第二步:

 第三步:

第四步:

 第五步(找到含有对应内容的就是文件,然后打一个标记,再继续找直到找完全部): 

第六步让js代码运行到断点那里就慢慢那调试

 第七步:

我们要好好分析一下

 第八步点击进去会有一下的提示

 第九步:

 第十步:找到对应的js代码:

function n(t, e) {
    for (var n = 0; n < e.length - 2; n += 3) {
        var r = e.charAt(n + 2);
        r = "a" <= r ? r.charCodeAt(0) - 87 : Number(r),
            r = "+" === e.charAt(n + 1) ? t >>> r : t << r,
            t = "+" === e.charAt(n) ? t + r & 4294967295 : t ^ r
    }
    return t
}
function arr(t) {
    var o, i = t.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
    if (null === i) {
        var a = t.length;
        a > 30 && (t = "".concat(t.substr(0, 10)).concat(t.substr(Math.floor(a / 2) - 5, 10)).concat(t.substr(-10, 10)))
    } else {
        for (var s = t.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), c = 0, l = s.length, u = []; c < l; c++)
            "" !== s[c] && u.push.apply(u, function(t) {
                if (Array.isArray(t))
                    return e(t)
            }(o = s[c].split("")) || function(t) {
                if ("undefined" != typeof Symbol && null != t[Symbol.iterator] || null != t["@@iterator"])
                    return Array.from(t)
            }(o) || function(t, n) {
                if (t) {
                    if ("string" == typeof t)
                        return e(t, n);
                    var r = Object.prototype.toString.call(t).slice(8, -1);
                    return "Object" === r && t.constructor && (r = t.constructor.name),
                        "Map" === r || "Set" === r ? Array.from(t) : "Arguments" === r || /^(?:Ui|I)nt(?:8|16|32)(?:Clamped)?Array$/.test(r) ? e(t, n) : void 0
                }
            }(o) || function() {
                throw new TypeError("Invalid attempt to spread non-iterable instance.\nIn order to be iterable, non-array objects must have a [Symbol.iterator]() method.")
            }()),
            c !== l - 1 && u.push(i[c]);
        var p = u.length;
        p > 30 && (t = u.slice(0, 10).join("") + u.slice(Math.floor(p / 2) - 5, Math.floor(p / 2) + 5).join("") + u.slice(-10).join(""))
    }
    r='320305.131321201'
    for (var d = "".concat(String.fromCharCode(103)).concat(String.fromCharCode(116)).concat(String.fromCharCode(107)), h = (null !== r ? r : (r = window[d] || "") || "").split("."), f = Number(h[0]) || 0, m = Number(h[1]) || 0, g = [], y = 0, v = 0; v < t.length; v++) {
        var _ = t.charCodeAt(v);
        _ < 128 ? g[y++] = _ : (_ < 2048 ? g[y++] = _ >> 6 | 192 : (55296 == (64512 & _) && v + 1 < t.length && 56320 == (64512 & t.charCodeAt(v + 1)) ? (_ = 65536 + ((1023 & _) << 10) + (1023 & t.charCodeAt(++v)),
            g[y++] = _ >> 18 | 240,
            g[y++] = _ >> 12 & 63 | 128) : g[y++] = _ >> 12 | 224,
            g[y++] = _ >> 6 & 63 | 128),
            g[y++] = 63 & _ | 128)
    }
    for (var b = f, w = "".concat(String.fromCharCode(43)).concat(String.fromCharCode(45)).concat(String.fromCharCode(97)) + "".concat(String.fromCharCode(94)).concat(String.fromCharCode(43)).concat(String.fromCharCode(54)), k = "".concat(String.fromCharCode(43)).concat(String.fromCharCode(45)).concat(String.fromCharCode(51)) + "".concat(String.fromCharCode(94)).concat(String.fromCharCode(43)).concat(String.fromCharCode(98)) + "".concat(String.fromCharCode(43)).concat(String.fromCharCode(45)).concat(String.fromCharCode(102)), x = 0; x < g.length; x++)
        b = n(b += g[x], w);
    return b = n(b, k),
    (b ^= m) < 0 && (b = 2147483648 + (2147483647 & b)),
        "".concat((b %= 1e6).toString(), ".").concat(b ^ f)
}



console.log(arr("你好"));

结果:

 这里我们不要高兴得太早,因为我们只完成了js,还有python代码没完成

利用python代码执行js

安装python模块PyExecjs

pip install PyExecJS

js文件:

function n(t, e) {
    for (var n = 0; n < e.length - 2; n += 3) {
        var r = e.charAt(n + 2);
        r = "a" <= r ? r.charCodeAt(0) - 87 : Number(r),
            r = "+" === e.charAt(n + 1) ? t >>> r : t << r,
            t = "+" === e.charAt(n) ? t + r & 4294967295 : t ^ r
    }
    return t
}
function arr(t) {
    var o, i = t.match(/[\uD800-\uDBFF][\uDC00-\uDFFF]/g);
    if (null === i) {
        var a = t.length;
        a > 30 && (t = "".concat(t.substr(0, 10)).concat(t.substr(Math.floor(a / 2) - 5, 10)).concat(t.substr(-10, 10)))
    } else {
        for (var s = t.split(/[\uD800-\uDBFF][\uDC00-\uDFFF]/), c = 0, l = s.length, u = []; c < l; c++)
            "" !== s[c] && u.push.apply(u, function(t) {
                if (Array.isArray(t))
                    return e(t)
            }(o = s[c].split("")) || function(t) {
                if ("undefined" != typeof Symbol && null != t[Symbol.iterator] || null != t["@@iterator"])
                    return Array.from(t)
            }(o) || function(t, n) {
                if (t) {
                    if ("string" == typeof t)
                        return e(t, n);
                    var r = Object.prototype.toString.call(t).slice(8, -1);
                    return "Object" === r && t.constructor && (r = t.constructor.name),
                        "Map" === r || "Set" === r ? Array.from(t) : "Arguments" === r || /^(?:Ui|I)nt(?:8|16|32)(?:Clamped)?Array$/.test(r) ? e(t, n) : void 0
                }
            }(o) || function() {
                throw new TypeError("Invalid attempt to spread non-iterable instance.\nIn order to be iterable, non-array objects must have a [Symbol.iterator]() method.")
            }()),
            c !== l - 1 && u.push(i[c]);
        var p = u.length;
        p > 30 && (t = u.slice(0, 10).join("") + u.slice(Math.floor(p / 2) - 5, Math.floor(p / 2) + 5).join("") + u.slice(-10).join(""))
    }
    r='320305.131321201'
    for (var d = "".concat(String.fromCharCode(103)).concat(String.fromCharCode(116)).concat(String.fromCharCode(107)), h = (null !== r ? r : (r = window[d] || "") || "").split("."), f = Number(h[0]) || 0, m = Number(h[1]) || 0, g = [], y = 0, v = 0; v < t.length; v++) {
        var _ = t.charCodeAt(v);
        _ < 128 ? g[y++] = _ : (_ < 2048 ? g[y++] = _ >> 6 | 192 : (55296 == (64512 & _) && v + 1 < t.length && 56320 == (64512 & t.charCodeAt(v + 1)) ? (_ = 65536 + ((1023 & _) << 10) + (1023 & t.charCodeAt(++v)),
            g[y++] = _ >> 18 | 240,
            g[y++] = _ >> 12 & 63 | 128) : g[y++] = _ >> 12 | 224,
            g[y++] = _ >> 6 & 63 | 128),
            g[y++] = 63 & _ | 128)
    }
    for (var b = f, w = "".concat(String.fromCharCode(43)).concat(String.fromCharCode(45)).concat(String.fromCharCode(97)) + "".concat(String.fromCharCode(94)).concat(String.fromCharCode(43)).concat(String.fromCharCode(54)), k = "".concat(String.fromCharCode(43)).concat(String.fromCharCode(45)).concat(String.fromCharCode(51)) + "".concat(String.fromCharCode(94)).concat(String.fromCharCode(43)).concat(String.fromCharCode(98)) + "".concat(String.fromCharCode(43)).concat(String.fromCharCode(45)).concat(String.fromCharCode(102)), x = 0; x < g.length; x++)
        b = n(b += g[x], w);
    return b = n(b, k),
    (b ^= m) < 0 && (b = 2147483648 + (2147483647 & b)),
        "".concat((b %= 1e6).toString(), ".").concat(b ^ f)
}

py文件:

ef get_js_function(js_path,js_function,js_args=None):
    with open(js_path,"r",encoding="utf-8")as f:
        js=f.read()
        #编译js文件
        ret=execjs.compile(js)
        #执行js中的函数
        dem=ret.call(js_function,js_args)
        print(dem)
    return dem

# get_js_function("./demo.js","arr","你好")

execjs.compile(js)可以理解为创建一个对象

call(js的函数名,传入js函数的参数)

下面我再来一个例子:

https://ggzyfw.fujian.gov.cn/business/list/

由于前面我已经讲过了,小可爱可以套用,我们直接来到js加密

 

 可以看出来这里加密的不是sign,而是response返回的数据进行了加密,

如果细心的小可爱也发现了,

 

 这两个不一样,会造成我们访问失败,所以我们在遇见有Data的时候,post 请求就用data来接收,遇见Request就用json接收例如:requests.post(url,headers=header,json=data)

下面我写了一些代码爬取加密文件的:

 请求头加密了

返回结果加密了

思路:加密发送请求头,解密获取数据

python文件:

import requests
import execjs
import time
from jsonpath import jsonpath



def main():
    """主要的业务逻辑"""

    # url
    url="https://ggzyfw.fujian.gov.cn/FwPortalApi/Trade/TradeInfo"

    data={
        'AREACODE':"",
        'BeginTime':"2022-12-07 00:00:00",
        'EndTime':"2023-06-07 23:59:59",
       'GGTYPE':"1",
        'KIND':"GCJS",
        'M_PROJECT_TYPE':"",
        'PROTYPE':"",
        'createTime':[],
        'pageNo':3,
        'pageSize':20,
        'timeType':"6",
        'total':3537,
        'ts':int(time.time()*1000)
    }


    def js_parth(js_path, js_function, js_args=None):
        with open(js_path, "r", encoding="utf-8")as f:
            js = f.read()
            # 编译js文件
            js_pa = execjs.compile(js,cwd=r"C:\Users\32288\WebstormProjects\untitled\node_modules\crypto-js")
            # 运行js的函数
            resuit = js_pa.call(js_function, js_args)
        return resuit

    ps = js_parth("./02.js", "d", data)
    header = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36",
        "Host": "ggzyfw.fujian.gov.cn",
        "Origin": "https://ggzyfw.fujian.gov.cn",
        "Referer": "https://ggzyfw.fujian.gov.cn/business/list/",
        "Portal-Sign":ps,
        "Content-Type": "application/json;charset=UTF-8",
        "Accept": "application/json, text/plain, */*"

    }
    response=requests.post(url,headers=header,json=data)
    # print(response.json())

    # 创建一个json对象
    path=jsonpath(response.json(),"$..Data")[0]
    print(path)
    data_html=js_parth("./jiemi.js","b",path)
    print(data_html)
    # 发送请求获取响应
    # 数据的提取
    # 保存

if __name__ == '__main__':
    main()

js文件(加密版):

//导入
const CrypyoJS=require("crypto-js");
// import CryptoJS from "crypto-js";





data={
    'AREACODE':"",
    'BeginTime':"2022-12-07 00:00:00",
    'EndTime':"2023-06-07 23:59:59",
    'GGTYPE':"1",
    'KIND':"GCJS",
    'M_PROJECT_TYPE':"",
    'PROTYPE':"",
    'createTime':[],
    'pageNo':3,
    'pageSize':20,
    'timeType':"6",
    'total':3537,
    'ts':new Date().getTime()//时间戳
}
//57e776a8c23455410734cca06cd62a38
//0f3aa7843dfec2c0ac67e2c66d1d6418
//4ff85b173651722cc354ce032b2de64d
// 7ca9c7f6af67a6c3585984c61c49b0a1
function u(t, e) {
    return t.toString().toUpperCase() > e.toString().toUpperCase() ? 1 : t.toString().toUpperCase() == e.toString().toUpperCase() ? 0 : -1
}

function l(t) {
    for (var e = Object.keys(t).sort(u), n = "", a = 0; a < e.length; a++)
        if (void 0 !== t[e[a]])
            if (t[e[a]] && t[e[a]]instanceof Object || t[e[a]]instanceof Array) {
                var i = JSON.stringify(t[e[a]]);
                n += e[a] + i
            } else
                n += e[a] + t[e[a]];
    return n
}

function d(t) {
    for (var e in t)
        "" !== t[e] && void 0 !== t[e] || delete t[e];
    var n = '3637CB36B2E54A72A7002978D0506CDF'+ l(t);
    return CrypyoJS.MD5(n).toString()
}
// console.log(d(data))

js解密版:


const CryptoJS=require("crypto-js")

function b(t) {
    var e = CryptoJS.enc.Utf8.parse('BE45D593014E4A4EB4449737660876CE')
        , n =CryptoJS.enc.Utf8.parse('A8909931867B0425')
        , a = CryptoJS.AES.decrypt(t, e, {
        iv: n,
        mode:CryptoJS.mode.CBC,
        padding: CryptoJS.pad.Pkcs7
    });
    return a.toString(CryptoJS.enc.Utf8)
}

运行最终结果:

 下面我来讲解一下问题所在:

1.当我们发送请求时如果没有响应,一般都会增加发送请求头的数量,在python文件中可以看出加了许多的请求头

2.execjs.complied(js,cwd=js文件中导入的模块的下载的文件路径)

3.要学会打断点

4.要知道页面的js文件有AES等字眼的一般都是加密算法,需要我们寻找对应的加密和解密

5.js的导入为:const CrypyoJS=require("crypto-js");
// import CryptoJS from "crypto-js";

这两个的其中一个

6.js时间戳的写法:

new Date().getTime()

7.还有一个python文件执行的js的老问题就是编码问题

以上就是我的介绍js逆向的内容了,

总结:我们懂得JS逆向的思路,js执行js代码进行加密和解密(这个过程需要我们一步步找问题,解决问题,),利用python代码运行js文件,利用返回的结果进行发送请求或者提取数据进行保存

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

javascript

开发语言

ECMAScript

python

python---js逆向-----为了理想爬到想要的数据,我们怎能放过它 的相关文章

随机推荐

  • ruoyi(若依)分离版框架，FluentMybatis封装后，导入功能的前后端实现

    我这里使用的是车辆来作为示例 首先是前端 导入按钮 点击导入按钮后的对话框 导入的一系列方法 下面是后端 Controller层 我们使用了FluentMybatis进行了封装 mapper层被封装了 但会有一些封装好的方法 我们只要 利用

  • vue 项目中使用高德地图

    官方文档 高德地图API官网 高德地图2 0参考手册 高德地图JS API 2 0 示例 在项目中使用 vue amap 高德地图JSAPI在Vue框架下使用 高德地图在线 JS API 示例 一 账号准备 首先 需要注册并登录高德地图开放

  • uni-app 之 表格设置

    uni app 之 表格设置 image png

  • QT connect()连接函数

    函数重载 连接函数后多种重载方法 常用的有 函数4个参数 发射信号的对象 发射的信号 接受信号的对象 要执行的槽 按键单击信号连接到按键槽函数 方法1 connect ui gt pushButton SIGNAL clicked bool

  • java与C++之间的区别

    前言 研究生期间主要使用的是C 语言 因工作的要求 现在需要学习java语言 在学习的这段时间里 发现两种语言之间有着很多相似的地方 但又有一些区别 下面说一下java和c 中比较显著的区别 适用于有c 基础的读者 一 在数据类型 关键字方

  • 销售人员的月工资数量（月工资=基本工资+提成，提成=商品数*1.5）

    include

  • mfc窗口创建的create与oncreate

    在view类中 create 是虚函数由框架调用 是用来 生成一个窗口的子窗口 oncreate 消息响应函数 是用来 表示一个窗口正在生成 某个CWnd的Create函数由当前CWnd的Owner调用 而在CWnd Create中 又会调

  • JDBC乱码解决方法

    JDBC操作数据库出现中文乱码解决方案 学习JDBC的时候 我不止一次碰到过数据库中文乱码问题 解决方法其实很简单 在配置文件的url中加入如下语句就ok了 useUnicode true characterEncoding utf8 出现

  • MySQL幻读：大家好，我是幻读，我今天又被解决了

    什么是幻读 幻读的定义我这里还得补充一句 幻读仅专指 新插入的行 中途通过 update 更新数据而出现同一个事务前后两次查询的 结果集合 不一样 这种不算幻读 然后前几天有位读者跟我说 这个幻读例子不是已经被 可重复读 隔离级别解决了吗

  • localStorage和sessionStorage和Cookie的区别

    localStorage和sessionStorage和Cookie是前端开发中三种常见的临时存储客户端会话信息或者数据的方法 它们都存储在客户端中 区别 一 三者存储的有效时期不同 1 Cookie存储的有效时期可以设置 一般在浏览器关闭

  • 实战wxPython：042 - 高级控件之选项卡Notebook

    在wxPython中 book控件允许用户在各种面板之间切换 最常见的例子是带有选项卡界面的浏览器和系统选项对话框 选项卡wx Notebook提供了一个选项卡栏和一个 页面区域 该页面区域用于显示与每个选项卡相关的页面 默认情况下 选项卡

  • Anaconda下载速度慢，用清华镜像

    Anaconda在官网下载速度慢 关键是下载到一半就没了 清华镜像相对还是要好一点 以下网址持续更新 https mirrors tuna tsinghua edu cn anaconda archive

  • 获取openwrt wan口ip方法

    2020年7月30日14点39分 更新 之前写的方法 获取的是wan口的ip和网关 使用过程发现 以有线上网模式为例 获取wan口网关时 若网关中出现连续的1 1 会获取失败 表明该正则表达式是有问题的 即下面这个grep oE 之后的内容

  • linux c/c++ 面试题目整理(一)

    1 求下面函数的返回值 int func x int countx 0 while x countx x x x 1 return countx 问 假定x是9999 那么返回多少 答 返回的是8 解题思路是将x转化为二进制 看含有多少个1

  • 7-7 12-24小时制 (15分)

    7 7 12 24小时制 15分 编写一个程序 要求用户输入24小时制的时间 然后显示12小时制的时间 输入格式 输入在一行中给出带有中间的 符号 半角的冒号 的24小时制的时间 如12 34表示12点34分 当小时或分钟数小于10时 均没

  • Springboot项目中注入bean失败的问题排查

    这是一个Spring常见的问题 下面我们从测试方法和普通方法出问题两个角度来下如何解决 测试方法 先查看目录是否有误 测试类的包名一定要和启动类的包名一致 这里盗用一张图 为了避免这个错误我的测试方法大多都是Alt insert自动生成大体

  • 【工具使用】STM32CubeMX-基础定时器配置

    一 概述 无论是新手还是大佬 基于STM32单片机的开发 使用STM32CubeMX都是可以极大提升开发效率的 并且其界面化的开发 也大大降低了新手对STM32单片机的开发门槛 本文主要讲述STM32芯片的定时器的配置及其相关知识 二 软件

  • 域服务器同步用户所有文件,ad域服务器同步客户端文件

    ad域服务器同步客户端文件 内容精选 换一换 当服务器A和服务器B同时挂载同一文件系统C时 在服务器A上传文件 服务器B同步此文件时存在延时 而单独上传至服务器B则没有延时 需要在两个服务器的挂载参数中增加参数noac noac表示禁止缓存

  • gitlab 的介绍与安装

    系统 CentOS7 5X64 下载gitlab 最新版 https packages gitlab com gitlab gitlab ce 3 2 安装环境初始化 yum install curl policycoreutils ope

  • python---js逆向-----为了理想爬到想要的数据,我们怎能放过它

    目录 这是我的gitee仓库 https gitee com qin laoda python exercises 有兴趣的小可爱们可以点进去看看 下面我们来按照爬虫思路找一下我们要爬的网页 并获取数据 下面我以https ggzyfw f

热门标签