无法获取连接,池错误 在 PutSQL 中等待空闲对象超时?

2023-12-22

我已将 PutSQL 处理器的并发任务增加到“10”。

此时它显示以下错误,但没有数据丢失。

failed to process due to org.apache.nifi.processor.exception.ProcessException: org.apache.commons.dbcp.SQLNestedException: Cannot get a connection, pool error Timeout waiting for idle object; rolling back session: 

如果我删除了并发任务,那么它就可以正常工作,没有这些例外

当谷歌搜索这个异常时,我在下面的链接中找到了答案

当我尝试在 Web 应用程序中创建超过 250 个线程时,出现 Cannot get a connection, pool error Timeout waiting foridle object https://stackoverflow.com/questions/11734808/i-am-getting-cannot-get-a-connection-pool-error-timeout-waiting-for-idle-object

但我不知道如何在 NiFi putSQL 中避免这个问题。

谁能帮我解决这个问题?


当池管理器无法与等待的请求者建立可行的连接并且 maxWait 已过从而触发超时时,就会发生此异常。 原因有多种,但通常分为两大类:

  • 数据库已关闭或无法访问。
  • 连接池(最大活动设置为 100)没有连接。

nifi 中的 DBCPConnectionPool 控制器服务默认有 8 个最大连接,最大等待时间为 500 毫秒。当 PutSQL 处理器占用 DBCP 池中的 8 个连接并且请求第 9 个连接或超过最大连接限制时,它将抛出“无法获取连接”异常。

您可以尝试两件事来避免此异常:

  1. 您可以增加 DBCPConnectionPool 控制器中的“最大等待时间”
    服务配置。
  2. 您可以增加“最大总连接数”限制 DBCPConnectionPool 控制器服务配置。

请找到下面的屏幕截图,您需要在其中进行更改。

它可能会解决您的问题。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

无法获取连接,池错误 在 PutSQL 中等待空闲对象超时? 的相关文章

  • 使用 Apache NiFi 将 CSV 文件转换为 JSON

    我正在尝试从本地文件系统读取 csv 并使用 Apache Nifi 将内容转换为 JSON 格式 并将 JSON 格式文件放入本地系统中 我已成功转换 csv 文件的第一行 但未成功转换其他行 我缺少什么 Input 1 aaa loc1
  • 使用 nifi 使用 invokehttp 将多个文件发布到 API

    我有 3 个文件需要发布到 API 端 我正在使用 FetchHDFS 进程获取 3 个文件 我想将它们传递给 API 我怎样才能通过他们 Input 3 files in HDFS Content Type multipart form
  • Nifi:nifi 中的线程

    我想知道线程在 nifi 中如何工作 我的意思是一个处理器有一个线程还是它们在一个主线程中 也许我想从处理器获取一个文件 然后我想更新它 如何防止多个处理器同时获取文件数据 除了使用 keep file false 操作 是否可以在执行脚本
  • Nifi PutSQL Timestamp/Datetime错误无法转换错误

    我尝试了建议的解决方案 通过使用 UpdateAttribute 处理器来消除时间戳格式转换错误 即 将JSON转换为SQL gt UpdateAttribute gt PutSQL 在 UpdateAttribute 中我使用了 Prop
  • 删除NiFi中的空属性

    因为这个问题仍未解决 我有一个EvaluateJsonPath有时输出带有空字符串的属性的处理器 是否有直接的方法从流程文件中删除属性 我尝试使用UpdateAttributes处理器 但它只能根据匹配属性名称进行删除 我需要匹配属性的值
  • Nifi 中并行和顺序处理的等待通知

    我有一个要求 我需要并行执行 4 个作业 并且当在所有 4 个处理器中并行完成相同的项目作业时 然后触发下一个处理器 为此我使用了等待通知 流程就像 4个并行作业 gt notify 释放信号标识符 itemid 信号计数器名称 proce
  • 动态 Jolt 规范用于处理 JSON 内的嵌套数组是否具有单个元素、多个元素或嵌套数组不存在

    动态 Jolt 规范用于处理 JSON 内的子数组是否包含单个元素 多个元素或子数组不存在 如果我们在 JSON 中嵌套数组有多个元素 那么我的 jolt 规范工作得很好 但是如果他们发送没有嵌套数组或有 1 个元素的嵌套数组的 JSON
  • Nifi 无法使用 POI API 将 CSV 转换为 Excel

    我想使用 groovy 脚本 POI API 将 csv 流文件内容转换为 XLS 文件 我正在使用 ivy 来获取 POI 依赖项 看起来效果很好 请在下面找到更多详细信息 这是我的 Nifi 流程 这是我的脚本 Grapes Grab
  • ExecuteSQL 和 ExecuteSQLRecord 之间的区别

    我想了解两个处理器之间的区别ExecuteSQL and ExecuteSQLRecord V1 8 及以上 后者是否提供了额外的东西 ExecuteSQL不是吗 我已经看到的一件事是执行 SQL 不维护 状态 做ExecuteSQLRec
  • Apache Nifi解压

    我是 Apache NIFI 的新手 正在尝试构建一个 POC 流程 我也需要你的指导 我有一个名为 sample gz 的压缩 gz 文件 其中包含一个名为 sample file 的文件 我需要解压缩sample gz 文件并将 sam
  • 使用 NiFi 更新 CSV 内字段中的值

    我想实现一个简单的用例 使用 NiFi 将 CSV 内字段中的多个字符串 文本值更新为整数值 例如 我的 CSV 文件如下所示 输入 CSV 文件 字段 1 字段 2 美国 苹果 美国 苹果 印度 葡萄 中国城 奥兰治 澳大利亚民族 桃子
  • 为时间戳记录创建正确的 avro 架构

    我想知道对于这种格式的 json 到 avro 转换 正确的 avro 模式是什么 entryDate 2018 01 26T12 00 40 930 我的架构 type record name schema fields name ent
  • 有 JOLT 文档吗? &、@等运算符的含义是什么? (NiFi、JoltTransformJSON)

    是的 有 我提出这个问题是为了分享我的知识 问答风格 因为我自己很难找到它 谢谢https stackoverflow com a 67821482 1561441 https stackoverflow com a 67821482 15
  • Apache Nifi:使用更新记录处理器替换列中的值

    我有一个 csv 看起来像这样 name code age Himsara 9877 12 John 9437721 16 Razor 232 45 我必须更换色谱柱code根据一些正则表达式 我的逻辑如下面的 Scala 代码所示 if
  • Apache NiFi - OutOfMemory 错误:SplitText 处理器上超出了 GC 开销限制

    我正在尝试使用 NiFi 使用 HDF 1 2 处理大型 CSV 文件 每个文件可能有数十亿条记录 我已经实现了我的流程 对于小文件来说一切正常 问题是 如果我尝试将文件大小增加到 100MB 1M 记录 我会得到一个java lang O
  • NiFi:ExtractText 中的正则表达式获取 CSV 标头而不是数据

    我正在开发一个获取 CSV 文件的流程 我想根据 CSV 记录中的第一个字段将记录放入不同的目录中 例如 CSV 文件看起来像这样 country firstname lastname ssn mob num US xxxx xxxxx x
  • Apache NiFi ExecuteScript:通过映射文件替换 Json 值的 Groovy 脚本

    我正在 Groovy 脚本上使用 Apache NiFi 0 5 1 以将传入的 Json 值替换为映射文件中包含的值 映射文件如下所示 它是一个简单的 txt Header1 Header2 Header3 A some text A2
  • 通过 REST 发布 NIFI 模板?

    我有多个 nifi 服务器 我希望能够通过脚本的 REST 接口将模板发布到这些服务器 The controller templates endpoint appears to be the proper REST endpoint to
  • Windows 上的 Nifi 命令

    在我当前的项目中 我一直在Windows操作系统上使用apache nifi 我已经提取了nifi 0 7 0 bin zip文件输入C 现在 当我跑步时 bin run nifi bat as 管理员我在命令行上看到以下消息 但无法运行
  • 如何根据文件名中的时间戳对 NiFi 中的文件进行排序?

    我列出目录中的文件 然后从文件名中解析时间戳 然后我需要按顺序处理文件 我尝试使用 EnforceOrder 处理器 但它的设计目的不是为了在元素之间存在较大数字差距 就像时间戳中那样 时强制执行顺序 优先级属性优先级排序器还有其他问题 它

随机推荐