首先随便点开一个版本，这里点的是娱乐，抓包看看结果。
可以很清晰地看到首页html源码里面并没有上图中的关键字"古巨基"，可以初步判断是异步加载的数据，所以接着往后面找找接口。
不难找到这个接口，可以看到data里面的数据就是网页上所展示的了，所以可以确定这个接口就是用来拿数据的了，然后看看里面post的参数，除了as,sp,_signature以外，其他的都是固定值，as,sp这里先不做分析，因为实际上测试之后发现不带这个参数也无所谓。
# -*- coding: utf-8 -*-
import urllib
import requests
def get_json():
url = "https://www.toutiao.com/api/pc/feed/"
headers = {
"content-type": "application/x-www-form-urlencoded",
"user-agent": "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.131 Safari/537.36",
"referer": "https://www.toutiao.com/ch/news_tech/",
}
params = {
"category": "news_tech",
"utm_source": "toutiao",
"widen": "1",
"max_behot_time": "0",
"max_behot_time_tmp": "0",
"tadrequire": "true",
"as": "",
"cp": "",
}
decode_url = url + "?" + urllib.parse.urlencode(params)
decode_url = decode_url.replace("com/", "com/toutiao/")
data = {
"url": urllib.parse.quote(decode_url)
}
_signature = requests.post('http://121.40.96.182:4007/get_sign', data=data).json()['_signature']
print("计算_signature值为：", _signature)
params["_signature"] = _signature
resp = requests.get(url, headers=headers, params=params)
print(resp.json())
if __name__ == '__main__':
get_json()
window.byted_acrawler.init({
aid: 24,
dfp: true
})
