带队列的长时间运行的 REST API

2024-01-24

我们正在实现一个 REST API,它将启动多个长时间运行的后端任务。我一直在阅读 RESTful Web Services Cookbook,建议返回 HTTP 202 / Accepted,并带有指向正在处理的任务的 Content-Location 标头。 (例如。http://www.example.org/orders/tasks/1234 http://www.example.org/orders/tasks/1234),并让客户端轮询此 URI 以获取长时间运行任务的更新。

这个想法是让 REST API 立即将消息发布到队列,后台工作角色从队列中拾取消息并启动多个后端任务(也使用队列)。我发现这种方法的问题是如何为任务分配唯一的 ID,然后让客户端通过向 Content-Location URI 发出 GET 来请求任务的状态。

如果 REST API 立即发布到队列,那么它可以生成一个 GUID 并将其作为属性附加到要添加到队列的消息上,但获取请求的状态会变得很尴尬。

另一种选择是让 REST API 立即向数据库添加一个条目(比方说一个带有新订单 ID 的订单),并具有初始状态,然后将一条消息放入队列中以启动后台任务,随后将更新该数据库记录。 API 将在 Content-Location 标头的 URI 中返回这个新订单 ID,供客户端在检查任务状态时使用。

不知何故,首先添加数据库条目,然后将消息添加到队列似乎是倒退的,但仅将请求添加到队列使得很难跟踪进度。

推荐的方法是什么?

非常感谢您的见解。


我假设您的系统如下所示。您有一个 REST 服务,它接收来自客户端的请求。它将请求转换为业务逻辑可以理解的命令。您将这些命令放入队列中。您有一个或多个工作线程可以处理这些命令并从队列中删除这些命令,并将结果发送到 REST 服务,该服务可以响应客户端。

您的问题是,由于长时间运行的任务,客户端连接超时,因此您无法发送响应。因此,您可以做的就是在将命令放入队列并添加轮询链接后发送 202 Accepted,以便客户端能够轮询更改。您的任务有多个子任务,因此有进度,而不仅仅是待处理和完成的状态更改。

  1. 如果您想坚持轮询,则应该创建一个新的 REST 资源,其中包含长期运行任务的实际状态和进度。这意味着您必须将此信息存储在数据库中,以便 REST 服务能够响应如下请求GET /tasks/23461/status。这意味着您的工作人员在完成子任务或整个任务时必须更新数据库。
  2. 如果您的 REST 服务作为守护进程运行,那么您可以通过进度通知它,因此将任务状态存储在数据库中将不是工作人员的责任。这种REST服务也可以将信息存储在内存中。
  3. 如果您决定使用 websockets 来通知客户端,那么您可以创建一个通知服务。通过 REST,您必须使用任务 ID 进行响应。之后,您在 websocket 连接上发回此任务 id,以便通知服务知道哪个 websocket 连接订阅了某个任务的事件。之后就不需要REST服务了,只要客户端不关闭连接就可以通过websocket连接发送进度。
  4. 您可以通过以下方式组合这些解决方案。您让 REST 服务创建任务资源,以便您能够使用轮询链接访问进度。之后,您发送回一个带有 202 的标识符,您可以通过 websockets 连接发送回该标识符。所以你可以使用通知服务来通知客户端。随着进度,您的工作人员将通知 REST 服务,该服务将创建一个类似的链接GET /tasks/23461/status并通过通知服务将该链接发送给客户端。之后客户端可以使用该链接来更新其状态。

我认为如果您的 REST 服务作为守护进程运行,最后一个是最好的解决方案。这是因为您可以将通知职责转移到专用的通知服务,该服务可以使用 websockets、轮询、SSE,无论您想要什么。它可以在不终止 REST 服务的情况下崩溃,因此 REST 服务将保持稳定和快速。如果您也使用 202 发回手动更新链接,则客户端可以进行手动更新(假设是人工控制的客户端),因此如果通知服务不可用,您将遇到类似优雅降级的情况。您不必维护通知服务,因为它不知道有关任务的任何信息,它只会将数据发送到客户端。您的工作人员无需了解有关如何发送通知以及如何创建超链接的任何信息。维护客户端代码也会更容易,因为它几乎是一个纯粹的 REST 客户端。唯一的额外功能是通知链接的订阅,该链接不会经常更改。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

带队列的长时间运行的 REST API 的相关文章

  • 如何获取 tokio-io 的 async_read 文件句柄

    我想从文件句柄中流式传输行 但我不知道如何满足File has async read use std fs File use std io BufReader BufRead use tokio core reactor Handle us
  • Alamofire 仅在 GET 请求上出现请求错误

    我正在努力将我的项目从 AFNetworking 转移到 Alamofire 真的很喜欢这个项目 POST 请求工作得很好 但是 我在尝试发出 GET 请求时收到此错误 这是一些示例代码 class func listCloudCrednt
  • 如何在 Restful Web 服务中指定一系列数据或多个实体

    要访问 Restful Web 服务中的 User 实例 URL 的结构如下面的curl 请求所示 curl v X GET s BASE URL User customer id json 如果我想指定所有用户实体或对一系列用户实体进行分
  • 如何使用 Azure DevOps REST API 创建新的构建管道?

    我正在尝试以编程方式创建新的构建管道 我正在寻找用于此操作的 Azure DevOps REST API 我没有获得使用 REST API 创建管道的正确示例 请指教 如何使用 Azure DevOps REST API 创建新的构建管道
  • AMQP延迟传递并防止重复消息

    我有一个会偶尔生成消息的系统 我只想每 5 分钟提交零条或一条消息 如果没有生成消息 队列消费者将不会处理任何内容 如果 5 分钟内生成一百条相同的消息 我只希望从队列中使用其中一条 我正在使用AMQP RabbitMQ 有没有办法在rab
  • FOSUserBundle & REST Api 调用:如何使用自定义 FormType?

    我在我的 Symfony2 网站上使用 FOSUserBundle 现在我正在开发一个 API 以允许通过 REST API 调用进行注册 我已经覆盖了 FOSUserBundle 的 RegistrationController ApiR
  • 如何在 Jersey RESTful Web 服务中放置 cookie?

    我想通过 Jersey API 将 cookie 从 PUT webservice result 放置到 POST webservice 这是我的代码 WebResource service1 client resource http te
  • 如何将 yii2 Restful api 中两个表的关系数据显示为 json 格式

    我遇到了将两个表中的数据显示为 JSON 格式并在 yii2 Restful api 上工作的问题 这是我的结构数据库 TABLE volunteer volunteer id int 11 NOT NULL auto increment
  • 角度 2 ngIf 与可观察?

    我有一个非常简单的服务 它的工作是从 api authenticate url 获取 200 或 401 auth service ts Injectable export class AuthService constructor pri
  • Spring:使用 ResponseEntity 返回空 HTTP 响应不起作用

    我们正在使用 Spring 4 1 1 实现 REST API 对于某些 HTTP 请求 我们希望返回一个没有正文的头部作为响应 然而 使用ResponseEntity
  • 有什么方法可以处理 ASP.Net MVC 中的 Put 和 Delete 动词吗?

    只是想知道是否有人知道真正宁静的 Put delete 实现 asp net mvc Preview 5 最好 查看 mvccontrib 项目 http www mvccontrib org http www mvccontrib org
  • PHP + MySQL 队列

    我需要一个充当队列的简单表 我的 MySQL 服务器限制是我不能使用 InnoDB 表 只能使用 MyISAM 客户 工人将同时工作 他们每次都需要接受不同的工作 我的想法是执行以下操作 伪代码 job lt SELECT FROM que
  • 析构函数中的异步操作

    尝试在类析构函数中运行异步操作失败 这是代码 public class Executor public static void Main var c1 new Class1 c1 DoSomething public class Class
  • 如何在 asp.net C# 4.0 中调用异步方法?

    我知道 net 4 5 中有await async 关键字 可以轻松调用异步方法 我目前正在研究如何在 C 4 0 中进行异步调用 我想要的一个例子是在数据网格正在进行数据绑定的情况下进行异步调用 如果您能为我提供一些链接 我将非常感激 看
  • 如何从 REstAssured 中的 Json 数组获取 JSON 对象

    任何人都可以帮我解决这个场景 我是新来的RestAssured和处理JSON在我们的自动化脚本中 我有一个API谁的回应是JSONArray i e id 1002 entity testcase fieldName TextName di
  • 如何从Windows服务公开restful接口?

    我编写了一个公开restful接口的wcf服务 现在我使用iis作为wcf服务主机 除了暴露其余部分之外 我还需要对我的应用程序执行一些操作 为此 我必须将我的应用程序作为 Windows 服务运行 但是使用iis作为主机不会使我的wcf服
  • 如何给Servant中的所有端点添加前缀?

    我在 Haskell 仆人中有一个 hello world 应用程序 这是其中的一部分 type API my items gt Get JSON MyItem lt gt my items gt Capture id Int gt Get
  • AsyncResponse 和 Java 8 并行流问题

    我正在使用 Spring BootJersey rest api POST Path test Produces MediaType APPLICATION JSON Consumes MediaType APPLICATION JSON
  • Android异步服务调用策略

    这是场景 客户端对服务进行远程调用 返回 void 并提供 回调对象 服务在后台线程上执行一些长时间运行的逻辑 然后使用回调对象来触发以太成功或失败 因为这些操作视觉元素 执行 Activity runOnUiThread 块 该场景运行良
  • Outlook Rest 调用表单 angularjs

    使用 Outlook 我正在尝试创建事件 当我使用 POSTMAN 发送请求时 它工作正常 但 Angularjs 中的相同代码却不起作用 代码有什么问题 请帮忙 scope createEvents function var url ht

随机推荐

  • rollup 是否将node_modules 捆绑到bundle.js 中?

    我正在试驾rollupjs https rollupjs org using rollup with npm将节点应用程序打包成bundle js我很困惑 rollup 是否支持捆绑全节点应用程序 包括node modules 或者只是项目
  • Kubernetes 中 Docker 容器内的互联网连接

    我有一个基于 jenkins slave 容器的 Kubernetes pod 我在特权模式下安装了 docker 套接字和 docker 二进制文件以及必要的内核模块 在该 pod 内 我构建了 Docker 镜像 并在该镜像上运行 do
  • 使用 xlrd 在 Python 3 中将 xls 转换为 csv

    我使用带有 xlrd 和 csv 模块的 Python 3 3 将 xls 文件转换为 csv 这是我的代码 import xlrd import csv def csv from excel wb xlrd open workbook M
  • 如何以树(多维数组)的形式存储和检索 Apache Solr 字段?

    我需要将结果存储和检索为多维树 而不是平面 键 gt 值 对 让我用一个例子来解释 我有很多类别的产品 每个类别都有一个优先级值 样本结构 name Sample Product categories category Category 1
  • NOT IN 查询不起作用,SQL Server 2008

    之前查询的第一部分not in运行并给我一个包含 100 条记录的列表 第二个查询运行并给出 75 条记录的列表 我正在尝试编写的查询not in是获取一个结果集中的记录 而不是另一个结果集中的记录 我得到的错误是incorrect syn
  • 如何查找我的系统中安装了哪个版本的 TensorFlow?

    我需要找到我安装的 TensorFlow 版本 我正在使用 Ubuntu 16 04 长期支持 这取决于您安装 TensorFlow 的方式 我将使用与TensorFlow的安装说明 https www tensorflow org ver
  • SharePoint Designer 工作流程 - 提示和资源?

    我正在努力修改一些现有的 SPD WF 并努力解决一些概念 包括为什么 2 个看起来相似的 WF 不会产生相同的输出 你们中是否有人使用过 SharePoint Designer 工作流并知道任何好的资源 比 MSDN 介绍更详细 或有关此
  • 如何隐藏 UIImagepickercontroller 中的状态栏?

    我是 iOS 开发新手 我试图隐藏状态栏UIImagePickerController 每当我单击 拍照 时 就会出现状态栏 它并不隐藏 我希望状态栏仅隐藏在UIImagePickerController 这是我的代码 IBAction t
  • 在机器对机器场景中使用 MSAL 作为 CSP

    我正在尝试使用官方 nuget 库来使用 GraphAPI https github com microsoftgraph msgraph sdk dotnet https github com microsoftgraph msgraph
  • 播放框架WS url空间

    我在 play 框架 2 3 3 中调用 WS url 时遇到问题 其中 url 包含空格 所有其他字符均自动进行 url 编码 但空格除外 当我尝试将所有空格更改为 20 时 WS 由于 字符而将其转换为 2520 对于空格 我得到了 j
  • 为什么锁定 std::mutex 两次“未定义行为”?

    按照这个article http www devx com SpecialReports Article 38883 1954 如果您尝试从同一线程两次锁定非递归互斥锁 而中间没有解锁 则会出现未定义的行为 我非常天真的想法告诉我为什么他们
  • Neo4j 2.0 双类型转储

    在 Neo4j 2 0 社区 上 当我转储包含一些具有 Double 类型属性的节点的数据库时 我获得一个具有科学记数法值的文件 ex 1 43524185E8 导入此文件时 neo4j shell 失败并出现以下错误 Invalid in
  • 在 Eclipse (App Engine) 项目中包含 JAR 文件

    我今天和昨天几个小时都在寻找这个问题的解决方案 所以我决定在这里解决它 尽管这似乎是一个愚蠢的问题 情况 我在 Eclipse Java EE 中设置了一个 Google AppEngine 项目 它已经存在了好几个星期 一切都运行良好 我
  • Linux 上的共享库有哪些好的做法?

    我最近阅读了很多有关 Linux 上共享库的内容 以下是我学到的内容 共享库应该嵌入一个soname包括其主要版本号 就像是 libfoo so 1 其真实文件名还应包含次要版本号 就像是 libfoo so 1 0 当库文件被复制到时 比
  • 如何动态重新加载 Oracle APEX 5.0 树

    当触发事件 例如单击按钮 时 我需要使用新参数重新加载完整树 设置项目值并且需要在 Tree SQL 中使用新项目值 当我尝试使用 刷新 操作刷新树区域时 树节点不刷新 树小部件支持一整套高级操作 问题是 apex 团队从未向开发人员公开过
  • 时间轴值在某些 ggplot 图中不正确,但在其他图中则不然

    Forum 这是我的数据的样子 gt data cvg Source local data frame 938 x 5 Date Day Time Parameter Value time fctr time chr dbl 1 2016
  • 什么 Java 方法接受 int 并返回 +1 或 -1?

    什么 Java 方法需要一个int并返回 1或 1 其判断标准是是否int是正的还是负的 我浏览了文档 但我不擅长阅读它 所以找不到它 我知道我在某处见过它 Integer signum int i http java sun com ja
  • 将参数传递给BAT文件并双击运行

    我想将两个文件路径 对于 Windows 作为命令行参数传递给脚本 在 Windows 中 如果我们右键单击一个文件 我们可以看到 属性 选项 并且在 常规 选项卡下显示像 test bat 这样的文件名 我们可以从那里传递参数吗 实际上我
  • 了解Elasticsearch的write_consistency和quorum规则

    根据elasticsearch文档 write consistency级别仲裁的规则是 法定人数 gt 副本 2 1 使用 ES 0 19 10 在具有 16 个分片 3 个副本的设置中 我们将得到 16 个主分片 48 个复制品 运行 2
  • 带队列的长时间运行的 REST API

    我们正在实现一个 REST API 它将启动多个长时间运行的后端任务 我一直在阅读 RESTful Web Services Cookbook 建议返回 HTTP 202 Accepted 并带有指向正在处理的任务的 Content Loc