无论如何要抓取重定向的链接吗?

2024-05-16

无论如何,我可以让 python 单击一个链接(例如 bit.ly 链接),然后抓取生成的链接吗?当我抓取某个页面时,我唯一可以抓取的链接是重定向的链接,它重定向到的位置就是我需要的信息所在的位置。


重定向有 3 种类型

  • HTTP- 作为响应标头中的信息(带有代码301 https://en.wikipedia.org/wiki/HTTP_301, 302 https://en.wikipedia.org/wiki/HTTP_302, 3xx)
  • HTML- 作为标签<meta>在 HTML 中(维基百科:元刷新 https://en.wikipedia.org/wiki/Meta_refresh)
  • JavaScript- 就像代码一样window.location = new_url

requests执行HTTP重定向并保留所有网址r.history

import requests

r = requests.get('http://' + 'bit.ly/english-4-it')

print(r.history)
print(r.url)

result:

[<Response [301]>, <Response [301]>]
http://helion.pl/ksiazki/english-4-it-praktyczny-kurs-jezyka-angielskiego-dla-specjalistow-it-i-nie-tylko-beata-blaszczyk,anginf.htm

BTW:所以不允许在文本中放置位链接,所以我使用了串联。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

无论如何要抓取重定向的链接吗? 的相关文章

随机推荐