Nifi DistributedCache查找问题

2024-03-19

我配置了一个流程如下:

  1. GetFile
  2. SplitText-> 分割成流文件
  3. ExtractText-> 使用两个键添加属性
  4. PutDistributedMapCache-> 缓存条目标识符是 ${Key1}_${Key2}

现在我配置了一个示例GenerateFlowFile它生成一个样本记录,然后进入LookupRecord ( concat(/Key1,'_',/Key2))它在缓存中查找相同的键。

我在缓存流程中发现了一个问题,因为当我配置GenerateFlowFile来缓存相同的记录时,我能够进行查找

此流程无法查找。请帮忙

Flow is: enter image description here

PutDistributedMapCache

提取文本

查找流程

查找记录配置

我总共添加了四个键,因为这是我的业务用例。

我有一个包含 53 条记录的 csv 文件,我使用 Splitfile 来拆分每条记录并添加属性,这些属性充当我存储在 PutDistributedMapcache 中的密钥。现在我有一个不同的流程,我从GenerateFlowFile开始,它生成如下记录:

因此,我希望我的 LookupKeyRecord 具有 jsonreader 和 jsonwriter 来读取此记录,使用分布式缓存中的键进行查找并填充我的记录中的 /Feedback 字段。

这无法查找记录,并且记录显示为“不匹配”。

现在的问题是,假设我删除了 GetFile 并使用具有此配置的GenerateFlowFile 来缓存:

所以我的查找使用键 9_9_9_9。但是当我添加另一组具有不同键的记录时,我的查找失败。


我发现,我的 DistributedMapCache 服务器的最大缓存条目默认配置为 1。我增加了它,它现在可以工作了:)

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Nifi DistributedCache查找问题 的相关文章

  • NiFi - 如何在 ExecuteStreamCommand 中引用 flowFile?

    我需要执行类似的操作 sed 1d simple tsv gt noHeader tsv 这将从我的大流文件 gt 1 GB 中删除第一行 问题是 我需要在我的流程文件上执行它 所以它是 sed 1d myFlowFile gt myFlo
  • 如何在NiFi中调用远程REST服务

    是否可以在NIFI处理器中使用xmlHttpRequest来调用远程休息服务 就我而言ExecuteScript处理器 使用Javascript 无法评估XMLHttpRequest 有没有类似的解决方案可以用来获取响应数据 var Out
  • 使用 Apache NiFi 将 CSV 文件转换为 JSON

    我正在尝试从本地文件系统读取 csv 并使用 Apache Nifi 将内容转换为 JSON 格式 并将 JSON 格式文件放入本地系统中 我已成功转换 csv 文件的第一行 但未成功转换其他行 我缺少什么 Input 1 aaa loc1
  • Nifi:如何编写自定义处理器

    我想写nifi处理器 可以从hdfs目录读取xml文件 然后将其数据提取到flowfile属性中 如果有两个 nifi 处理器可以获取该文件并读取数据或向其中写入内容的情况我怎样才能进行文件锁定这样一次只有一个处理器可以使用它 您能给我推荐
  • 如何将nif流文件从1.12版本迁移到1.16.3

    我有一个在 NiFi 1 12 0 中运行的数据流 此安装的相关属性如下 nifi sensitive props key nifi sensitive props key protected nifi sensitive props al
  • 删除NiFi中的空属性

    因为这个问题仍未解决 我有一个EvaluateJsonPath有时输出带有空字符串的属性的处理器 是否有直接的方法从流程文件中删除属性 我尝试使用UpdateAttributes处理器 但它只能根据匹配属性名称进行删除 我需要匹配属性的值
  • 如何在Nifi getMongo查询字段中获取ISO字符串

    我正在尝试使用表达式语言使用以下查询在 Nifi getMongo 查询字段中生成 ISO 字符串 remindmeDate gte now format yyyy MM dd T HH mm ss SSS Z GMT lte now to
  • 使用 ExecuteStreamCommand 的 Python 脚本

    在尽我所能找到以前的问题和与此问题相关的示例后 仍然没有找到我正在寻找的答案 我想我会自己提交一个问题 由于以下原因 ExecuteStreamCommand 对我来说似乎是完美的处理器 我能够执行任何 Python 脚本并避免使用 Jyt
  • Apache Nifi解压

    我是 Apache NIFI 的新手 正在尝试构建一个 POC 流程 我也需要你的指导 我有一个名为 sample gz 的压缩 gz 文件 其中包含一个名为 sample file 的文件 我需要解压缩sample gz 文件并将 sam
  • 如何动态更新Nifi中的variable.registry.properties?

    变量注册表属性是 Nifi 添加的一项功能 旨在促进软件开发生命周期 这意味着您可以在单独的开发环境中开发流程 并利用 nifi variable registry properties 属性中指定的自定义属性文件以及表达式语言来使用处理器
  • SQL Server 的 DBCPConnectionPool 控制器服务,jdbc 异常

    NiFi 1 1 1 在 Windows 7 和 RHEL 7 上进行了测试 后台线程是here https stackoverflow com questions 42765471 jdbc failing in custom proce
  • NiFi GetFile 处理器中文件过滤器属性的正则表达式失败

    我有一个要复制到 HDFS 的文件列表 文件名如下 样品 11072016 样品 11082016 样品 11062016 样品 11062016 Denodo 09082016 Denodo 09122016 Denodo 1108201
  • 在我的流程中了解 NIFI 中的通知和等待流程

    我是 NIFI 流程的新手 在我当前的工作中 我有通知和等待流程 有人可以帮助我理解这个流程吗 On what basis the Notify work in my case we have 4 schema files process
  • Apache Nifi:使用更新记录处理器替换列中的值

    我有一个 csv 看起来像这样 name code age Himsara 9877 12 John 9437721 16 Razor 232 45 我必须更换色谱柱code根据一些正则表达式 我的逻辑如下面的 Scala 代码所示 if
  • 有没有办法更改 Nifi 中 PublishJMS 处理器的交付模式?

    我使用 Nifi PublishJMS 处理器向 IBM MQ 发送消息 消息在 MQ 中具有持久性 持久性 我想将其更改为非持久性 Nifi PublishJms 处理器中是否有属性可以纠正此问题 或者是从MQ端完成的 我无权访问 MQ
  • Nifi DistributedCache查找问题

    我配置了一个流程如下 GetFile SplitText gt 分割成流文件 ExtractText gt 使用两个键添加属性 PutDistributedMapCache gt 缓存条目标识符是 Key1 Key2 现在我配置了一个示例G
  • nifi 中的 JSON 数组到多个 JSON 对象

    我想在 Nifi 中实现以下请求响应场景 我的目标是在更多不同的处理器中使用每个值作为数组 对象键 1 对象键 2 因此 如果我可以将其转换为多个 JSON 那么使用拆分 JSON 我可以稍后使用多个值 请为此提出各种解决方案 输入 JSO
  • NiFi:ExtractText 中的正则表达式获取 CSV 标头而不是数据

    我正在开发一个获取 CSV 文件的流程 我想根据 CSV 记录中的第一个字段将记录放入不同的目录中 例如 CSV 文件看起来像这样 country firstname lastname ssn mob num US xxxx xxxxx x
  • 在 Nifi 中使用“DBCPConnectionPoolLookup”服务时出现异常“无法获取连接,池错误超时等待空闲对象”

    我正在尝试使用 ExecuteGroovyScript 中的 DBCPConnectionPoolLookup 服务根据输入流文件中的 database name 参数动态查询所需的数据库 处理器能够成功获取相应的 DBCPConnecti
  • 通过 REST 发布 NIFI 模板?

    我有多个 nifi 服务器 我希望能够通过脚本的 REST 接口将模板发布到这些服务器 The controller templates endpoint appears to be the proper REST endpoint to

随机推荐