无论如何,我可以让 python 单击一个链接(例如 bit.ly 链接),然后抓取生成的链接吗?当我抓取某个页面时,我唯一可以抓取的链接是重定向的链接,它重定向到的位置就是我需要的信息所在的位置。
重定向有 3 种类型
-
HTTP
- 作为响应标头中的信息(带有代码301 https://en.wikipedia.org/wiki/HTTP_301, 302 https://en.wikipedia.org/wiki/HTTP_302, 3xx)
-
HTML
- 作为标签<meta>
在 HTML 中(维基百科:元刷新 https://en.wikipedia.org/wiki/Meta_refresh)
-
JavaScript
- 就像代码一样window.location = new_url
requests
执行HTTP
重定向并保留所有网址r.history
import requests
r = requests.get('http://' + 'bit.ly/english-4-it')
print(r.history)
print(r.url)
result:
[<Response [301]>, <Response [301]>]
http://helion.pl/ksiazki/english-4-it-praktyczny-kurs-jezyka-angielskiego-dla-specjalistow-it-i-nie-tylko-beata-blaszczyk,anginf.htm
BTW:所以不允许在文本中放置位链接,所以我使用了串联。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)