我有一个 python 函数,它使用 requests 库和 BeautifulSoup 来抓取特定用户的推文。
import requests
from bs4 import BeautifulSoup
contents = requests.get("https://twitter.com/user")
soup = BeautifulSoup(contents.text, "html.parser")
当 requests 库访问 Twitter 时,它使用 Twitter 的旧版本。然而,由于 Twitter 最近放弃了对其旧版本的支持,请求库不再工作并返回 html 代码,表明该版本的 Twitter 已过时。
有没有办法让requests库访问新版本的Twitter?
无法直接回答(并且没有足够的观点来评论),但遇到同样的问题我确实找到了一些新工具。https://github.com/bisguzar/twitter-scraper https://github.com/bisguzar/twitter-scraper使用 requests_html 获取推文(请参阅他们的 tweets.py 模块)。和https://github.com/Mottl/GetOldTweets3/ https://github.com/Mottl/GetOldTweets3/是另一个用于抓取推文的强大 Python 工具。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)