支持作业批处理的排队系统(例如,一名工人同时处理多个作业)

2024-02-24

我正在寻找一个可以支持以下场景的排队系统:

  • 客户端添加一个作业 - 检查某个特定 url (URL1) 有多少 Facebook 点赞;
  • 客户端添加了另一个作业 - 检查 URL2 的相同信息;
  • [....]

  • 一名工作人员从队列中选取 1 到 50 个工作(网址)(例如,如果只有 5 个,则选取 5 个,如果有 60 个,则选取 50 个,将其他工作留给另一个工作人员),并向 Facebook 发出请求API(允许每个请求使用多个 url)。如果成功,所有作业都会从队列中取出,如果失败 - 所有作业都会保留。

我正在使用 PHP 并且我已经研究过Gearman http://gearman.org/, 豆茎 http://kr.github.com/beanstalkd/,但没有找到类似的功能。是否有任何(免费)排队系统支持这种“批量出队”?

或者,也许有人可以提出解决此类问题的替代方法?我考虑过在排队系统之外保留一个“要检查”的 url 列表,然后将它们添加到最多包含 N 个项目的捆绑包中,并使用每个 X 周期运行的 cron 作业。但这有点建立你自己的队列,这违背了整个目的,不是吗?


我使用 Beanstalkd 一次获取 100 个 Twitter 名称,然后使用它们调用 API。当我完成后,我删除了它们 - 但如果我愿意,我可以选择不删除一些(或全部)。

这是一个简单的循环,用于保留最初的 100 个(一次一个),然后我将结果(作业 ID 和返回的数据)放入一个数组中。当我处理完有效负载(在本例中是 Twitter 屏幕名称)时,我删除了它们 - 但我可以轻松地将它们释放回队列中。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

支持作业批处理的排队系统(例如,一名工人同时处理多个作业) 的相关文章

  • Facebook API 注销我的应用程序,但不注销 Facebook

    如何使用 Facebook 的 api 进行注销 让我退出我的应用程序 网站 但保持登录 facebook com 的状态 这让我登录正常 window fbAsyncInit function FB init appId status t
  • WooCommerce:在未登录用户的结帐页面中默认设置国家/地区

    如何将国家 地区设为常规 未注册用户 的默认国家 地区 但如果买家有个人账户并进入该国 他在结帐时不会被拖欠吗 我尝试过使用WooCommerce 在结帐页面中默认设置国家 地区 https stackoverflow com questi
  • 在数据库中存储差异的最紧凑方式是什么?

    我想实现类似于维基媒体的修订历史的东西 最好使用的 PHP 函数 库 扩展 算法是什么 我希望差异尽可能紧凑 但我很高兴只能显示每个修订版与其同级修订版之间的差异 并且一次只能回滚一个修订版 在某些情况下 只有几个字符可能会发生变化 而在其
  • 运行 shell 命令并将输出发送到文件?

    我需要能够通过 php 脚本修改我的 openvpn 身份验证文件 我已将我的 http 用户设置为免通 sudoer 因为这台机器仅在我的家庭网络中可用 我目前有以下命令 echo shell exec sudo echo usernam
  • 如何使用 facebook 用户登录我的网站?

    我想知道 facebook 如何让用户登录我们的网站 我的意思是用户需要注册到我的网站才能发表评论 我如何通过我的 php 代码检查它是否是登录用户 我听说你只能用javascript检查它是否是登录用户 感谢您的任何解释 您可以使用脸书
  • localhost/test.php 不返回任何内容

    我正在遵循教程构建一个网络应用程序 我创建了一个简单的test php网络空间中的文件 var www html 问题是当我输入localhost test php在浏览器地址窗口中 它返回一个空页面 我试过localhost php in
  • PHP exec rm -Rf 不适用于子目录

    我试图删除特定文件夹中的所有内容 但它似乎不会影响子文件夹 但它应该 因为 bash 命令是从控制台执行的 system rm Rf some dir 该命令中不需要星号 如果要与文件一起删除目录 请同时删除斜杠 留下斜杠将删除文件 但保留
  • 使用 chr + rand 生成随机字符 (A-Z)

    我使用以下命令生成 A Z 的随机字符 但它偶尔会生成 符号 知道如何防止这种情况吗 也许字符范围不正确 letter chr 64 rand 0 26 用这个就更方便了 大写 letter chr rand 65 90 小写 letter
  • 如何在 php 中访问名为变量的对象属性?

    以 JSON 编码的 Google API 返回一个如下所示的对象 updated gt stdClass Object t gt 2010 08 18T19 17 42 026Z 任何人都知道我如何访问 t value object gt
  • 如何获取共同好友列表

    你好 我想知道如何才能找到共同的朋友 我目前在思考这个问题时遇到问题 我有一个名为 users 的表 它是这样的 id name 1 Kenny 2 Jack 3 Jimmy 4 Chris 5 Meg 6 Jake 7 Micheal 8
  • PHP session_destroy() 警告会话对象销毁失败[重复]

    这个问题在这里已经有答案了 我有这个 php 脚本 但在破坏会话时遇到问题 我收到这个警告 警告 session destroy 会话对象销毁失败 第 6 行 C xampp htdocs template nota finalizare
  • 如何在 Symfony 和 Doctrine 中实现 ManyToMany 和 OneToMany?

    我发现该文档在解释实体之间关系的创建方面非常糟糕 因此 我必须向我的 StackExchangers 同胞寻求帮助 所以 我正在尝试构建以下案例 Case 1 A User属于一个或多个Group and a Group可以有很多Permi
  • WooCommerce:检查商品是否已在购物车中

    我从中发现了这个很棒的片段website https joebuckle me quickie woocommerce check if item already in cart 以下是检查购物车中是否存在特定产品的函数 function
  • 找时间通过 PHP 执行 MySQL 查询

    我在互联网上看到过这个问题 here http www phpbuilder com board showthread php t 2100256 and here http answers yahoo com question index
  • CodeIgniter 控制器构造函数

    我对 codeigniter 很陌生 我想知道控制器中构造函数的含义是什么 我在 codeigniter 教程中看到以下代码 class upload extends CI Controller function construct par
  • PHP-向某些浏览器显示消息

    我已经搜索过这个 我发现的一切都超出了我的需要 我以前用 JavaScript 做过这个 但我真的更喜欢使用 PHP 我将如何根据访问者使用的浏览器向他们显示消息 Example IE 用户会看到 您正在使用 Internet Explor
  • PHP $_SERVER['REMOTE_HOST'] 返回 ::1 [重复]

    这个问题在这里已经有答案了 可能的重复 应该 ip SERVER REMOTE ADDR 在 mamp 本地主机上返回 1 https stackoverflow com questions 3699454 should ip server
  • https 重定向 laravel .htaccess 之后删除 /public

    我有一个 Laravel 页面部署在共享主机中 当我强制 http 请求重定向到 https 时 url 包含 public 我的根 htaccess 是 RewriteEngine on RewriteCond REQUEST URI p
  • 为什么 count 比 $count 差

    我只是在查看不同问题的答案以了解更多信息 我看到一个answer https stackoverflow com a 4891402 429850这表明在 php 中编写这样的做法是不好的做法 for i 0 i
  • Apache LOG:子进程 pid xxxx 退出信号分段错误 (11)

    Apache PHP Mysql Linux 注意 子进程 pid 23145 退出信号分段错误 11 tmp 中可能存在 coredump 但 tmp下没有找到任何东西 我怎样才能找到错误 PHP 代码中函数的无限循环导致了此错误

随机推荐

  • iPad 应用程序 - 以编程方式更改语言

    我有一个需要两种语言的应用程序 英语和法语 我已经在各自的 en lproj 和 fr lproj 文件夹中设置了 Localized strings 文件 当我更改 iPad 的语言 在本机设置应用程序中 然后启动我的应用程序时 它确实如
  • 如何选择包含特殊字符的id?

    我正在处理无法修改的 HTML 片段 文档中的 ID 之一是 div div 这是完全有效的HTML5 id 语法 https www w3 org TR html5 dom html the id attribute 但是 不可能在 CS
  • 使用 jquery 旋转后其他元素的错误行为

    我编写了一些用于文本旋转 调整大小和文本拖动的代码 一开始一切都工作正常 请看这段代码 new div draggable containment bord create function new div css width auto dr
  • 抱歉,Instagram API 发生错误:此端点已停用 [重复]

    这个问题已经存在了 我正在使用带有网格插件的 WordPress 网站 昨天该插件工作得很好 我添加了新的访问令牌 今天它开始向我显示此错误 抱歉 Instagram API 发生错误 此端点已停用 Insatagram 的另一项突然变化是
  • 仅在特定片段上禁用右侧抽屉

    I have Activity with DrawerLayout 其中包含左抽屉和右抽屉 我想知道是否可以禁用特定片段的右侧抽屉 我读过关于mDrawerLayout setDrawerLockMode DrawerLayout LOCK
  • 使用 splrep 平滑轨迹

    从视频记录中可以提取出物体的轨迹head行人穿过瓶颈的情景 因为 行人在移动轨迹时摇摆包含我想消除的令人讨厌的振荡 平滑算法与这个问题无关 结果显示在此figure http postimage org image mt83l9lu3 因此
  • Scrum 和 Fogbugz [关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 有人同时使用 Fogbugz 和 Scrum 吗 我们广泛使用 Fogbugz 并且我正在寻找任何可能将其用作 Scrum 一部分的人的想法 我
  • += 到底做了什么?

    我需要知道什么 在 Python 中是这样的 就是这么简单 我也希望链接到 Python 中其他速记工具的定义 在Python中 是糖衣 iadd 特殊方法 或 add or radd if iadd 不存在 这 iadd 类的方法可以做任
  • mixin 是否应该对其包含类做出假设?

    我找到了一个 mixin 的示例 它对包含类具有哪些实例变量进行假设 像这样的事情 module Fooable def calculate val one val two end end class Bar attr accessor v
  • 如何从mysql数据库在arraylist中添加超过50,000,000条记录[关闭]

    Closed 这个问题需要细节或清晰度 help closed questions 目前不接受答案 将数据库中超过 50 000 000 条记录添加到数组列表中 我添加了 30 000 000 条记录 它显示堆内存不足错误 看看这里 增加
  • 在 Android 中获取麦克风音频。音频上下文

    由于某种原因我无法得到这个问题的答案 你好 我需要访问 Android 麦克风 我使用这个在网络上制作了一个调谐器应用程序 https github com cwilso PitchDetect https github com cwils
  • .kube/config 中没有访问令牌

    在 GKE 中升级集群后 仪表板将不再接受证书身份验证 我的同事说 没问题 kube config 中有一个可用的令牌 user auth provider config access token REDACTED cmd args con
  • 玩笑测试失败:TypeError:window.matchMedia 不是函数

    这是我第一次前端测试经历 在这个项目中 我使用 Jest 快照测试并收到错误TypeError window matchMedia is not a function在我的组件内 我浏览了 Jest 文档 找到了 手动模拟 部分 但我还不知
  • 如何使用纯 CSS 自动调整图像大小以实现响应式设计?

    我尝试使用 CSS 属性自动调整图像大小max width 但它在 IE7 和 IE8 中不起作用 有没有办法在 IE7 和 IE8 中使用纯 CSS 自动调整图像大小 Use width inherit 使其能够在 IE8 中使用纯 CS
  • 检查环境变量是否已设置[重复]

    这个问题在这里已经有答案了 我正在编写一个shell脚本 我必须检查是否设置了环境变量 如果没有设置则必须设置它 有什么方法可以检查 shell 脚本是否已经设置了环境变量 有条件地分配变量 无论是否在环境中 的标准解决方案是 VAR fo
  • 在以下情况下最终会发生什么情况?

    如果我有以下代码 try some code catch Exception e some code finally 在以下情况下 finally 块会发生什么情况 如果发生任何已检查的异常 如果 System exit 被调用 如果发生任
  • 从 C 读取串行数据 (OSX /dev/tty)

    我正在尝试使用 C 从蓝牙条形码扫描仪 KDC300 读取数据 这是我到目前为止的代码 并且该程序成功建立了与扫描仪的蓝牙连接 但是当扫描条形码时 上没有显示任何输入屏幕 最终将用数据完成更多工作 但我们必须首先让它工作 对吧 这是程序 i
  • 如何使用 POI 解析 Excel 文件中的 UTF-8 字符

    我一直在使用 POI 成功解析 XLS 和 XLSX 文件 但是 我无法从 Excel 电子表格中正确提取特殊字符 例如中文或日文等 UTF 8 编码字符 我已经弄清楚如何从 UTF 8 编码的 csv 或制表符分隔文件中提取数据 但对 E
  • Twitter Bootstrap 嵌套网格放置列

    这可以在 Twitter Bootstrap 中使用相同的标记通过操作行 列类来完成吗 我已经为不同的尺寸设置了单独的标记 理想情况下 我想要一个标记 并使其针对较小的屏幕适当折叠 大视野 Two One
  • 支持作业批处理的排队系统(例如,一名工人同时处理多个作业)

    我正在寻找一个可以支持以下场景的排队系统 客户端添加一个作业 检查某个特定 url URL1 有多少 Facebook 点赞 客户端添加了另一个作业 检查 URL2 的相同信息 一名工作人员从队列中选取 1 到 50 个工作 网址 例如 如