已达到速率限制。睡觉的目的:

2023-11-22

我正在收集推文以及来自 Twitter 的 API 的回复来构建数据集,并且我正在使用 python 中的 tweepy 库来实现这一点,但问题是我经常收到此错误(已达到速率限制。休眠:(任意数量的秒))这耽误了我,我必须在最短的时间内收集尽可能多的数据

我读到 Twitter 的速率限制是每 15 分钟 15 个请求或类似的东西,但就我的情况而言,我只能收集一两条推文,直到它再次停止,有时它会停止 15 分钟,然后再次停止15分钟不给我给我时间,我不知道是什么导致了问题,是否是我的代码?

# Import the necessary package to process data in JSON format
try:
    import json
except ImportError:
    import simplejson as json

# Import the tweepy library
import tweepy
import sys

# Variables that contains the user credentials to access Twitter API 
ACCESS_TOKEN = '-'
ACCESS_SECRET = '-'
CONSUMER_KEY = '-'
CONSUMER_SECRET = '-'

# Setup tweepy to authenticate with Twitter credentials:

auth = tweepy.OAuthHandler(CONSUMER_KEY, CONSUMER_SECRET)
auth.set_access_token(ACCESS_TOKEN, ACCESS_SECRET)

# Create the api to connect to twitter with your creadentials
api = tweepy.API(auth, wait_on_rate_limit=True, wait_on_rate_limit_notify=True, compression=True)



file2 = open('replies.csv','w', encoding='utf-8-sig') 

replies=[]   
non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd)  
for full_tweets in tweepy.Cursor(api.search,q='#عربي',timeout=999999,tweet_mode='extended').items():
    if (not full_tweets.retweeted) and ('RT @' not in full_tweets.full_text):
        for tweet in tweepy.Cursor(api.search,q='to:'+full_tweets.user.screen_name,result_type='recent',timeout=999999,tweet_mode='extended').items(1000):
            if hasattr(tweet, 'in_reply_to_status_id_str'):
                if (tweet.in_reply_to_status_id_str==full_tweets.id_str):
                    replies.append(tweet.full_text)
        print(full_tweets._json)
        file2.write("{ 'id' : "+ full_tweets.id_str + "," +"'Replies' : ")  
        for elements in replies:
                file2.write(elements.strip('\n')+" , ")      
        file2.write("}\n")
        replies.clear()
 
    
 
file2.close()

$ python code.py > file.csv

Rate limit reached. Sleeping for: 262 

Rate limit reached. Sleeping for: 853

希望这会有所帮助

api = tweepy.API(auth, wait_on_rate_limit=True, wait_on_rate_limit_notify=False, compression=True)
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

已达到速率限制。睡觉的目的: 的相关文章

  • 翠儿。让流永远运行

    我对 tweepy python 库比较陌生 我想确保我的流 python 脚本始终在远程服务器上运行 因此 如果有人能够分享如何实现这一目标的最佳实践 那就太好了 现在我正在这样做 if name main while True try
  • 将tensorflow 2.0 BatchDataset转换为numpy数组

    我有这个代码 train images test images tf keras datasets mnist load data train dataset tf data Dataset from tensor slices train
  • 在 Python 中使用 Selenium 处理“接受 Cookie”弹出窗口

    我一直在尝试用硒抓取这个房地产网站的一些信息 但是 当我访问该网站时 我需要接受 cookie 才能继续 这仅在机器人访问网站时发生 而不是在我手动执行时发生 当我尝试通过 xpath 或 id 查找相应的元素时 正如我在手动检查页面时找到
  • 从正在运行的 python 脚本检测优化标志是否为 -O 或 -OO

    有时我想生成一个子进程 其优化标志与启动父进程时使用的优 化标志相同 我可以使用类似的东西 optimize not debug 但这样我就可以匹配两者 O and OO flags 是否有一些 python 内部状态包含该信息 经过一番深
  • 行未从树视图复制

    该行未在树视图中复制 我在按行并复制并粘贴到未粘贴的任何地方后制作了弹出复制 The code popup tk Menu tree opportunity tearoff 0 def row copy item tree opportun
  • 在 Numpy 中切片后确定结果数组的形状

    我很难理解在 numpy 中切片后如何确定结果数组的形状 例如 我使用以下简单代码 import numpy as np array np arange 27 reshape 3 3 3 slice1 array 1 2 1 slice2
  • python 中分割字符串以获得一个值?

    需要帮助 假设我在名为 input 的变量中有一个字符串 Sam Person name kind input split 通过执行上述操作 我得到两个具有不同字符串 Sam 和 Person 的变量 有没有办法只获取第一个值 name S
  • 如何限制Django CreateView中ForeignKey字段的选择?

    我有一个沿着这些思路的模型结构 models py class Foo models Model class Bar models Model foo models ForeignKey Foo class Baz models Model
  • “char”/“character”类型的类型提示

    char 或 character 没有内置的原始类型 因此显然必须使用长度为 1 的字符串 但是为了暗示这一点并暗示它应该被视为一个字符 如何通过类型提示来实现这一点 grade chr A 一种方法可能是使用内置的 chr 函数来表示这一
  • 无法打开 Python。错误 0xc000007b

    我最近一直在学习 Python 3 我在我的上网本 32 位 Windows 7 上创建简单的小程序没有任何问题 当我将它安装在我的上网本上时 我没有遇到任何问题 但现在我已经开始使用它了 我想将它安装在我的台式机上 并且我有一个 我的桌面
  • 如何在python中检索aws批处理参数值?

    流程 Dynamo DB gt Lambda gt 批处理 如果将角色 arn 插入动态数据库 它是从 lambda 事件中检索的 然后使用submit job角色 arn 的 API 被传递为 parameters role arn ar
  • 更改 pandas 中多个日期时间列的时区信息

    有没有一种简单的方法可以将数据帧中的所有时间戳列转换为本地 任何时区 不是逐列进行吗 您可以有选择地将转换应用于所有日期时间列 首先 选择它们select dtypes https pandas pydata org pandas docs
  • 如何在Python和Selenium中通过标签名称或id获取元素[重复]

    这个问题在这里已经有答案了 我正在尝试使用 Python 和 Selenium 获取输入 但它向我显示错误 我该如何解决这个错误 inputElement send keys getStock getStocklFunc 0 Error i
  • 将 Pandas 列中的列表拆分为单独的列

    这是我在 pandas 数据框中的 特征 列 Feature Cricket 82379 Kabaddi 255 Reality 4751 Cricket 15640 Wildlife 730 LiveTV 13 Football 4129
  • select() 可以在 Windows 下使用 Python 中的文件吗?

    我正在尝试在 Windows 下运行以下 python 服务器 An echo server that uses select to handle multiple clients at a time Entering any line o
  • Airflow Python 单元测试?

    我想为我们的 DAG 添加一些单元测试 但找不到任何单元测试 有 DAG 单元测试框架吗 有一个端到端的测试框架存在 但我猜它已经死了 https issues apache org jira browse AIRFLOW 79 https
  • 为什么实现 __iter__ 的对象不被识别为可迭代的?

    假设您使用包装对象 class IterOrNotIter def init self self f open tmp toto txt def getattr self item try return self getattribute
  • 如何禁止 celery 中的 pickle 序列化

    Celery 默认使用 pickle 作为任务的序列化方法 如中所述FAQ http ask github com celery faq html isn t using pickle a security concern 这代表一个安全漏
  • 在 Python 模块中使用 InstaLoader

    我正在尝试使用 Instaloader 下载与主题标签相关的照片以进行图像分析 我在GitHub存储库中找到了一个全面的方法 如何在终端中执行它 但是 我需要将脚本集成到Python笔记本中 这是脚本 instaloader no vide
  • Django South - 将 null=True 字段转换为 null=False 字段

    我的问题是 转变的最佳做法是什么null True场变成null False使用 Django South 的字段 具体来说 我正在与ForeignKey 你应该先写一个数据迁移 http south aeracode org docs t

随机推荐

  • 找不到类型或命名空间“TextFieldParser”

    我正在尝试使用在其中找到的 TextfieldParser使用 C 读取 CSV 文件 我正在使用 VS 2010 并在 C 中执行此操作 我不断收到 找不到类型或命名空间 TextFieldParser 当我尝试添加 using 行时 它
  • PostgreSQL - 安装 JDBC 驱动程序

    我很难弄清楚应该如何在我的 debian 6 0 服务器上安装 PostgreSQL 的 JDBC 驱动程序 我已将驱动程序 jar 移至以下目录 usr local pgsql share java postgresql jar 然后教程
  • 在正则表达式中,“懒惰”和“贪婪”是什么意思?

    这两个术语是什么 贪婪的人会尽可能地消耗 从http www regular expressions info repeat html我们看到尝试将 HTML 标签与 lt gt 假设您有以下内容 em Hello World em 你可能
  • 如何让我的 Flash 对象聚焦于加载?

    我一直在尝试为我的 Flash 游戏设置此测试页面 但它拒绝关注负载 我读了一堆论坛条目 但没有让它做任何事情 我真的不敢相信这会这么难 这是我所拥有的
  • 在单个查询中使用不同值更新多行 - MySQL

    我是 MySQL 新手 我使用它在单个查询中更新具有不同值的多行 UPDATE categories SET order CASE id WHEN 1 THEN 3 WHEN 2 THEN 4 WHEN 3 THEN 5 END title
  • 如何获取进程使用的所有内存地址空间?

    我需要知道进程使用的所有内存地址空间 稍后将扫描内存空间以定位进程内的值并识别它们的位置 地址 我当前的处理过程是通过其 基地址 内存大小 获取每个模块的基地址 我正在一个已知地址处具有已知值的进程上对此进行测试 当我查找该特定地址时 我得
  • 为 RecyclerView 项目添加波纹效果

    我正在尝试将波纹效果添加到 RecyclerView 的项目中 我在网上查了一下 但找不到我需要的东西 我认为它必须是自定义效果 我已经尝试了 RecyclerView 本身的 android background 属性并将其设置为 and
  • C中的双精度等于0问题

    我正在用 C 实现一种计算自然对数的算法 double taylor ln int z double sum 0 0 double tmp 1 0 int i 1 while tmp 0 0 tmp 1 0 i pow z 1 0 z 1
  • Cobol 的优点是什么? [关闭]

    就目前情况而言 这个问题不太适合我们的问答形式 我们希望答案得到事实 参考资料或专业知识的支持 但这个问题可能会引发辩论 争论 民意调查或扩展讨论 如果您觉得这个问题可以改进并可能重新开放 访问帮助中心以获得指导 我喜欢花时间研究语言的酷功
  • 如何使用 pdfbox 将 PDPage 插入另一个 PDPage

    我使用不同的工具 例如处理 来创建矢量图 这些图被写成单页或多页 pdf 我想使用 pdfbox 将这些图包含在一个类似报告的 pdf 中 我当前的工作流程包括这些 pdf 作为图像 并具有以下伪代码 PDDocument inFile P
  • 带有张量流的鼻子测试:大量调试输出,如何禁用

    当我使用nosetests通过 TensorFlow 的一些测试脚本 我从 TensorFlow 获得了大量调试输出 az azmacbookpro P crnn gt nosetests tests test TFUtil py Leve
  • d3 Sankey - 突出显示从开始到结束的所有连接路径

    我试图突出显示所有连接的链接及其目标节点的链接 直到布局结束 第一级突出显示可以轻松实现 如下所示 单击节点时 调用highlight paths 1 function highlight paths stroke opacity retu
  • R - Excel VLOOKUP 等效项 - 查找、替换 [重复]

    这个问题在这里已经有答案了 我几乎到处都找遍了 但找不到答案 R 相当于 Excel 上的 VLOOKUP VLOOKUP 允许我在整个列中查找特定值并将其应用到数据框的每一行 在本例中 我想找到特定城市所在的国家 地区 从数据库中 并在新
  • Rails 使用 select2 (和 simple_form)充当可标记的角色

    我想要一个 select2 标签下拉菜单 我可以在其中选择多个现有标签并添加新标签 我尝试了很多不同的方法 但要么 select2 框不起作用 要么只传递一个值 最后一个 这是我得到的最接近的 通过最后一个值 正如我之前提到的 普通的 se
  • 呈现具有透明度和动画的视图控制器

    我正在设置self window rootViewController modalPresentationStyle UIModalPresentationCurrentContext 在我的应用程序委托中 以便我可以呈现视图控制器并使视图
  • 使用 selenium 时如何禁用 Firefox 中的附加组件

    我在我的 Rails 项目 在 Ubuntu 10 04 系统上 中使用 Capybara selenium 现在我刚刚升级了 Firefox 当我运行我的测试时 Firefox 会加载 但它现在已经安装了所有附加组件 并且会等待我设置每个
  • 如何使用 sass 在 Bootstrap 4 中创建一组新的颜色样式

    我开始浏览精彩的 Bootstrap 4 我想知道如何向 custom scss 添加一组全新的元素颜色 示例 现在您有 btn danger text danger 等 如何创建 例如 使用随机名称 crisp 集 这样您将拥有 btn
  • ASP.Net MVC 将多个参数传递给视图

    在 ASP Net MVC 中 我想根据 renderview 查询字符串参数呈现不同的部分视图 因此 为用户提供了选择通过缩略图或详细信息查看产品的便利 我可以访问控制器中选定的参数 但我不知道如何操作 或者是否应该将其与产品列表一起传递
  • 将 Vec 或 Vec 转换为 &str

    我正在进入 Rust 编程来实现一个小程序 但我在字符串转换方面有点迷失 在我的程序中 我有一个向量如下 let mut name Vec
  • 已达到速率限制。睡觉的目的:

    我正在收集推文以及来自 Twitter 的 API 的回复来构建数据集 并且我正在使用 python 中的 tweepy 库来实现这一点 但问题是我经常收到此错误 已达到速率限制 休眠 任意数量的秒 这耽误了我 我必须在最短的时间内收集尽可