程序员经验分享-hwhale

Oracle 行争用导致高吞吐量 JMS 应用程序中的死锁错误

2024-01-04

Summary:

我有兴趣了解高吞吐量应用程序的最佳实践是什么，这些应用程序具有批量消息试图更新同一行并出现 Oracle 死锁错误的情况。我知道您无法避免这些错误，但是如何优雅地从这些错误中恢复，而不被一次又一次发生的此类死锁错误所困扰。

Details:

我们正在构建一个高吞吐量的 JMS 消息传递应用程序。生产环境将是两个 weblogic 11g 节点（每个节点运行 6 个 MDB 侦听器实例）。当我们收到大约 1000 条消息都试图更新 Oracle 数据库中的同一行时，我们遇到了 Oracle 死锁错误 (ORA-00060)。在标准 java 线程 API 中，跨节点的 Java 同步是不可能的（除非没有其他解决方案，我们不想使用任何第三方解决方案，如 terracotta 等）。

我们希望 Oracle“select for update WAIT n secs”语句会有所帮助，因为这实际上会使竞争线程（同一行）在第一个线程（首先获得该行锁的线程）完成操作之前等待几秒钟。

“SELECT FOR UPDATE WAIT n”的第一个问题是它不允许使用毫秒作为等待时间。这开始对我们的应用程序的吞吐量产生负面影响，因为放置 1 秒 WAIT（最少等待时间）会导致消息延迟。

第二件事是我们摆弄 weblogic 队列重新传递延迟参数（在我们的例子中是 30 秒）。每当一个线程因为死锁错误而反弹时，它会等待 30 秒然后重新尝试。

根据我们的经验，1000 条竞争消息在很多情况下都需要很长时间才能得到处理，因为死锁不断发生。

我知道，在当前的架构中，无论如何我们都应该会遇到死锁错误（在 1000 个竞争消息的情况下），但应用程序应该具有足够的弹性，能够在重试循环消息后从这些错误中恢复。

知道我们在这里缺少什么吗？以前处理过类似问题的人吗？

我正在寻找一些设计思想，可以使这项工作具有弹性，以便它从这种死锁情况中恢复，并最终在合理的时间内处理所有消息，而无需使用太多额外的硬件。

计算细节：这 1000 条消息将分别创建 4 个不同位置类型的 4 个对象，每个对象都有一个与其关联的数量。这些数量必须合并到这 4 个不同的槽位中（取决于仓位类型）。当每个单独的线程更新这 4 个单独的槽时，就会发生死锁。在应用于数据库行之前，我们已经按特定顺序对这些单独的更新进行了排序，以避免任何可能的竞争条件。


死锁意味着每个线程都尝试在单个事务中更新多行，并且这些更新在线程之间以不同的顺序完成。因此，最简单的可能答案是修改代码，以便按某种定义的顺序（即按主键的顺序）应用同一事务中的消息。这将确保您永远不会遇到死锁，尽管当一个线程等待另一个线程提交其事务时您仍然会获得阻塞锁。

不过，退一步说，当您无法预测更新的顺序时，您似乎不太可能真正希望许多线程更新表中的同一行。这似乎很可能会导致大量更新丢失和一些相当不可预测的行为。您的应用程序究竟在做什么才能使这种事情变得有意义？您是否正在执行类似在将行插入详细表后更新聚合表之类的操作（即，除了记录有关特定视图的信息之外，还要更新帖子的视图数计数）？如果是这样，这些操作真的需要同步吗？或者您可以通过聚合过去 N 秒的视图来定期在另一个线程中更新视图计数吗？

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Multithreading

oracle11g

JMS

contention

rowlocking

Oracle 行争用导致高吞吐量 JMS 应用程序中的死锁错误 的相关文章

  • MySQL：插入被外键引用行的更新阻止

    让我用一个 SQL 示例来开始我的问题 这是表设置 创建表x and y With y x指的是x id 插入一行到x id 1 START TRANSACTION CREATE TABLE x id INT 11 NOT NULL AUT

  • 使用 perf 查找线程瓶颈并优化挂机时间

    对 cpu 周期进行采样perf record如果核心利用率大致恒定 则对于寻找优化候选非常有用 但对于具有并行性不同的多个阶段的代码 计算 cpu 周期将重点强调并行阶段 而低估影响挂机时间的顺序或有限并行阶段 简而言之 天真的 perf

  • C#中为什么需要锁和对象？

    这是我一直不明白的事情 创建一个虚拟对象几乎看起来像是一个黑客locked 就像例子一样 class Account decimal balance private Object thisLock new Object public voi

  • 调用“DisplayManagerGlobal.getDisplayInfo()”会导致应用程序中的应用程序无响应 (ANR)

    显然 应用程序中的某些内容从不同线程 主线程和绑定器线程 调用该方法 这会导致内部 ANR 它经常发生 我不知道它发生在哪里 因为我无法在模拟器或我拥有的测试设备上重现它 该应用程序的作用 它是一个应用程序储物柜应用程序 它在应用程序覆盖层

  • Python多线程模型

    我已经研究 python 中的多线程有一段时间了 但是我对一些问题感到困惑 首先 python线程库创建的线程是用户级线程还是内核级线程 书上说用户级线程必须映射到内核线程并且 操作系统仅创建和维护内核级线程 python中将使用哪种线程模

  • 使用多线程的套接字服务器或文件服务器实现：概念不清楚

    请帮我理清这个概念 假设我们有一个使用线程实现的套接字端口服务器 套接字服务器侦听套接字端口 并在消息到达时创建一个线程来服务该请求 客户端代码向服务器发送给定数量的消息 该客户端代码也可以由多个用户在不同的计算机上运行 我知道客户端代码作

  • C# - 如何检测 SQLite DB 是否被锁定？

    我正在开发一个使用 SQLite 的多线程 C 程序 我遇到一个问题 有时运行 SQLiteCommand ExecuteNonQuery 来更新某些行会抱怨 SQLite 错误 5 数据库已锁定 我知道发生这种情况是因为数据库在插入或更新

  • LegacyUnhandledExceptionPolicy 不允许捕获（并吞下）ThreadAbortException？

    我正在使用 NET 1 1 兼容模式来处理未处理的异常 问题是 当 LegacyUnhandledExceptionPolicy 设置为 1 这就是我想要的 时 我无法捕获并吞下 ThreadAbortException 示例代码 应用程序

  • 从 STL 容器并行读取

    从多个并行线程读取 STL 容器是安全的 然而 表现却很糟糕 为什么 我创建了一个小对象 将一些数据存储在多重集中 这使得构造函数相当昂贵 在我的机器上大约为 5 usecs 我将数十万个小对象存储在一个大型多重集中 处理这些对象是一项独立

  • java：使用2个线程打印奇偶数

    我正在尝试交替使用 2 个不同的线程打印奇数和偶数 我能够使用等待 通知和同步块来实现它 但现在我想评估我们是否可以在不使用等待 通知和同步的情况下实现它 以下是我的代码 但它不起作用 public class OddEvenUsingAt

  • C# 多线程 - 在线程之间移动对象

    我正在使用一个 winforms 控件 它既是一个 GUI 元素 又执行一些尚未向开发人员公开的内部处理 当这个组件被实例化时 可能需要 5 到 15 秒的时间才能准备好 所以我想做的就是将它放在另一个线程上 完成后将其带回 gui 线程并

  • 同步不经常更新的哈希图的最佳方式

    我有一个在应用程序中使用的 HashMap 数据是在应用程序初始加载期间从数据库填充的 然后它始终只是读取并且从不更新 会有多个线程不断地读取数据 由于数据永远不会更新 因此我们目前不使用任何同步 仅使用 HashMap 我们现在定义的方式

  • 如何在 C# 中从工作线程发布 UI 消息

    我正在用 C 编写一个简单的 winforms 应用程序 我创建了一个工作线程 我希望主窗口响应线程完成其工作 只需更改文本字段中的一些文本 testField Text Ready 我尝试了事件和回调 但它们都在调用线程的上下文中执行 并

  • 访问 Linux 线程（pthreads）的本地堆栈

    我目前正在实现一个使用多线程但对总内存消耗有要求的应用程序 我希望有一个主线程执行 I O 并有几个工作线程执行计算 目前 我在主堆栈上有几个可供工作人员访问的数据结构 我使用 OpenMP 进行工作分配 由于主 工作者模式不能很好地与 O

  • 跨线程操作无效 VB.NET

    我浏览了该网站 发现与该主题相关的问题是针对 C 的 我正在维护的应用程序是用 VB NET 编写的 因此 如果我忽略了一个问题 我深表歉意 这是我调用我的线程的地方 Private Sub saveBtn Click ByVal send

  • Ruby IMAP IDLE 并发 - 如何解决？

    我正在尝试构建一个 目前是私有的 Web 应用程序 该应用程序将利用 IMAP IDLE 连接在人们到达时显示电子邮件 我很难弄清楚如何将其组合在一起 以及它如何与我的 Heroku RoR 服务器结合在一起 我编写了一个用于连接到 IMA

  • 在多个不同线程之间共享变量

    我想在多个线程之间共享一个变量 如下所示 boolean flag true T1 main new T1 T2 help new T2 main start help start 我想分享flag在主线程和帮助线程之间 这是我创建的两个不

  • 如何使用 Handler.Post() 通知工作线程 UI 被修改？

    我有一个工作线程 偶尔我会使用以下命令向 UI 线程发送更新Handler Post 在某些情况下 我需要工作线程等待Handler Post 在 UI 线程上执行and视图被修改并且afterUI线程被修改 通知worker线程继续 这是

  • WaitForSingleObject 是否充当内存屏障？

    昨天一个关于双重检查锁定的问题引发了一系列的想法 让我对一个简单的情况感到不确定 在下面的代码中 是否可以点击printf 不再同步 在这个简单的示例中 这些值可能位于同一缓存行上 因此我认为这种可能性较小 假设一开始可能性 gt 0 如果

  • 从 C 线程调用 Python 代码

    我对从 C 或 C 线程调用 Python 代码时如何确保线程安全感到非常困惑 The Python 文档 http docs python org c api init html non python created threads似乎是

随机推荐

  • 尝试在 MatLab 中编译 C mex 文件

    嘿 我试图在 MatLab 中编译一个 C 文件 但我收到了这个错误 我正在尝试理解它 非常感谢任何和所有指导 gt gt mex BDS unpack mex5 c xcrun error SDK macosx10 7 cannot be

  • Python IndexError：列表索引超出范围

    我试图让 Python 用 500 只股票的收盘价填充列表 虽然该代码似乎只适用于少数股票 但数量过多就会带来问题 Python 不断给我以下错误 OneClose append Data i 4 IndexError list index

  • 将数据从 C++ 传递到 PHP

    我需要将一个值从 PHP 传递到 C 我想我可以用 PHP 来做passthru 功能 然后我希望 C 对该值执行某些操作并将结果返回给 PHP 这是我无法解决的问题 有谁知道如何将数据从 C 传递到 PHP 我不想使用中间文件 因为我认为

  • 如何使用VBA截取网页截图？

    如何在Excel中使用VBA截取网页截图 问题是 屏幕截图只能通过按键盘的 F6 键来进行 因为 Screenhunter 就是用于此目的的 打印屏幕键被禁用 我使用了以下代码 但意识到无法使用sendkey函数 sub test appl

  • Numpy n 个奇数根（包括负值）

    我想在Python中计算一些数字的n次奇根 Numpy 作为立方根函数 使用该函数我可以计算 x 1 3 x np linspace 100 100 100 np cbrt x gt gt gt array 4 64158883 4 268

  • 如何设置 CultureInfo.InvariantCulture 默认值？

    当我在 C 中有这样一段代码时 double a 0 003 Console WriteLine a 它打印 0 003 如果我还有另一段代码 double a 0 003 Console WriteLine a ToString Cult

  • Mathematica：如何清除符号的缓存，即取消设置无模式的 DownValues

    我是一个糟糕的缓存器 有时 当没有人在看时 我会缓存结果而不包含完整的上下文 如下所示 f x f x x a a 2 f 1 DownValues f Out 2 HoldPattern f 1 gt 3 HoldPattern f x

  • InnoDB Write Log效率太高超过100%（1953.15%）？

    我的服务器上有 MariaDB 具有 16 32 个 CPU 核心 运行 mysqltuner 时一切似乎都正常 除了InnoDB写日志效率 采取1953 15 想知道这正常吗 或者有什么解决方案可以解决这个问题吗 感谢您的建议 InnoD

  • C++——如何重载运算符+=？

    鉴于以下代码片段 class Num public Num int iNumber 0 m iNumber iNumber Num operator const Num rhs this gt m iNumber this gt m iNu

  • 带图像的 Xamarin Forms ListView |文字|时间

    我目前正在使用 xamarin 表单构建一个混合应用程序 我正在尝试构建一个列表视图 显示带有图标和时间戳的错误 这是我想重新制作成 xamarin 形式的概念设计 我用了一个ImageCell尝试让带有一些文本的图标正常工作 但现在我想在

  • MongoDB 中复合 _id 的预期行为？

    我有一个包含 3 个数字属性的复合 id id KeyA 0 KeyBOARD 0 Key 0 相关数据库的 KeyA 有 200 万个相同值 KeyB 有 50 万个相同值的集群 我的理解是 我可以使用以下命令有效地查询 KeyA 和 K

  • 如何在 JupyterLab 中拆分和合并单元格

    In Jupyter实验室 https jupyterlab readthedocs io en latest 给定以下代码单元格 如何将其拆分为多个单元格 同样 给定以下单元格 如何将它们组合成单个单元格 直接使用 JupyterLab

  • opencv颜色检测

    使用opencv 可以在图像或视频帧中检测某种颜色 在一定范围的rgb值之间 吗 您需要定义 RGB 阈值 并处理图像中适合定义的像素 希望不是整个图像 而是较小的感兴趣区域 可能是移动的前景形状 与所讨论的内容类似here http ww

  • Symfony2：验证因第一个错误而停止

    看来 validator gt validate class Symfony2 的验证服务 http symfony com doc current book validation html在 if 返回之前运行所有验证检查 error班级

  • 尽管 rasterized=True，为什么 matplotlib 图文件大小很大？

    一个简单的例子 from matplotlib pyplot import plot savefig from numpy random import randn plot randn 100 randn 100 500 k alpha 0

  • 智能生成String排列组合的方法

    String database a b c 我想根据给定生成以下字符串序列database a b c aa ab ac ba bb bc ca cb cc aaa 我只能想到一个相当 虚拟 的解决方案 public class JavaA

  • 为什么 findstr 不能正确处理大小写（在某些情况下）？

    在 cmd exe 中编写最近的一些脚本时 我需要使用findstr使用正则表达式 客户需要标准 cmd exe 命令 无 GnuWin32 Cygwin VBS 或 Powershell 我只是想知道变量是否包含任何大写字符并尝试使用 g

  • 在 C# 中绘制到新“层”

    构建一个小绘画程序并尝试合并图层的概念 我使用 PictureBox 控件来显示图像 并从 PictureBox 显示的图像中获取 Graphics 对象并绘制到该对象 我的问题是我试图弄清楚如何绘制覆盖在图片框顶部的新 Graphics

  • 我可以以纵向模式播放视频吗？

    谁能解释一下如何在 iPhone 设备上以纵向模式播放视频 如果您提供一些示例代码以供参考 将会非常有帮助 提前致谢 如果您想使用 MPMoviePlayerController 以纵向模式显示电影 那就更好 让您的视频旋转 90 度 以便

  • Oracle 行争用导致高吞吐量 JMS 应用程序中的死锁错误

    Summary 我有兴趣了解高吞吐量应用程序的最佳实践是什么 这些应用程序具有批量消息试图更新同一行并出现 Oracle 死锁错误的情况 我知道您无法避免这些错误 但是如何优雅地从这些错误中恢复 而不被一次又一次发生的此类死锁错误所困扰 D

热门标签