程序员经验分享-hwhale

PutSql - 日期格式错误

2023-12-10

我正在尝试从“Teradata”读取数据并将其填充到“Oracle”数据库。请在下面找到我的流程，

'ExecuteSQL' -> 'SplitAvro' -> 'ConvertAvroToJSON' -> 'ConvertJSONToSQL' -> 'PutSQL'

错误信息： 无法更新 StandardFlowFileRecord 的数据库 由于org.apache.nifi.processor.exception.ProcessException：sql.args.7.value的值为'2999-12'，无法转换为时间戳；路由到失败：org.apache.nifi.processor.exception.ProcessException：sql.args.7.value的值为'2999-12'，无法转换为时间戳

看来我需要先格式化日期字段，然后再将其填充到 Oracle 中。您能否解释一下哪个处理器应包含此日期格式化逻辑？

进一步的分析表明，特定值被“ConvertJSONToSQL”处理器截断。 “ConvertJSONToSQL”处理器的输入值 - “2002-02-04” 处理值 - “2002-02”


看来您可能会遇到NIFI-2625。在即将发布的 NiFi 版本中（由于NIFI-3430），您可以通过在属性中指定日期格式来解决此问题，但这可能无法修复您看到的截断值。

如果您知道包含时间戳值的字段名称（或 JSON 数组的索引，例如上面的“7”，实际上是 JSON 数组中的索引 6），则可以使用评估JsonPath在 ConvertJSONToSQL 之前，确保保留正确的原始值（假设您调用属性sql.args.7.original）。然后在 ConvertJSONToSQL 之后你可以使用更新属性将不正确/截断的值替换为正确的原始值，也许可以通过设置属性sql.args.7.value to ${sql.args.7.original}.

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

apachenifi

PutSql - 日期格式错误 的相关文章

  • 配置来自 Nifi 的 HTTP POST 请求

    我正在尝试从 REST 客户端访问 WCF 服务 我正在从 REST 客户端向 WCF 服务发送 POST 请求 详细如下 供大家参考 The 服务合同定义如下 ServiceContract public interface IBZTso

  • 使用 Apache NiFi 将 CSV 文件转换为 JSON

    我正在尝试从本地文件系统读取 csv 并使用 Apache Nifi 将内容转换为 JSON 格式 并将 JSON 格式文件放入本地系统中 我已成功转换 csv 文件的第一行 但未成功转换其他行 我缺少什么 Input 1 aaa loc1

  • 将 NiFi 中同一列中的字符串值替换为整数值

    我想更换一个 字符串值 并将该值输入为整数值使用 Nifi ReplaceText 我不知道如何在 NiFi 中实现这一点 所以我的场景如下 我将有一个 CSV 文件 其中包含几个带有整数的字段和几个作为字符串总值的字段 对于具有字符串值的

  • 在 Nifi 中从 Avro Schema 创建 Postgresql 表

    使用 InferAvroSchema 我获得了文件的 Avro 架构 我想使用此 Avro 架构在 PostregSql 中创建一个表 我必须使用哪个处理器 我使用 GetFile gt InferAvroSchema gt 我想从此架构创

  • 如何将nif流文件从1.12版本迁移到1.16.3

    我有一个在 NiFi 1 12 0 中运行的数据流 此安装的相关属性如下 nifi sensitive props key nifi sensitive props key protected nifi sensitive props al

  • Nifi：nifi 中的线程

    我想知道线程在 nifi 中如何工作 我的意思是一个处理器有一个线程还是它们在一个主线程中 也许我想从处理器获取一个文件 然后我想更新它 如何防止多个处理器同时获取文件数据 除了使用 keep file false 操作 是否可以在执行脚本

  • 删除NiFi中的空属性

    因为这个问题仍未解决 我有一个EvaluateJsonPath有时输出带有空字符串的属性的处理器 是否有直接的方法从流程文件中删除属性 我尝试使用UpdateAttributes处理器 但它只能根据匹配属性名称进行删除 我需要匹配属性的值

  • 如何在“ExecuteGroovyScript”处理器中使用“DBCPConnectionPoolLookup”？

    我想在 ExecuteGroovyScript 处理器中使用 DBCPConnectionPoolLookup 控制器服务 我设置 数据库名称 但我收到这个错误 这是 ExecuteGroovyScript 配置 I found someo

  • 动态 Jolt 规范用于处理 JSON 内的嵌套数组是否具有单个元素、多个元素或嵌套数组不存在

    动态 Jolt 规范用于处理 JSON 内的子数组是否包含单个元素 多个元素或子数组不存在 如果我们在 JSON 中嵌套数组有多个元素 那么我的 jolt 规范工作得很好 但是如果他们发送没有嵌套数组或有 1 个元素的嵌套数组的 JSON

  • 如何清除NiFi队列？

    我们正在 NiFi 中创建一些流 在某些情况下可能会建立队列 但由于某种原因 流无法按预期工作 在一天结束时 我想清除队列并以某种方式实现自动化 问题是我们如何从后端删除队列 我们有什么办法可以实现这一目标吗 除了 Bryan 提到的明确的

  • 使用 ExecuteStreamCommand 的 Python 脚本

    在尽我所能找到以前的问题和与此问题相关的示例后 仍然没有找到我正在寻找的答案 我想我会自己提交一个问题 由于以下原因 ExecuteStreamCommand 对我来说似乎是完美的处理器 我能够执行任何 Python 脚本并避免使用 Jyt

  • SQL Server 的自定义处理器 + DBCPConnectionPool：未加载驱动程序 jar

    I have created a controller service to connect to a test db 我有一个自定义处理器 可以从 SQL Server 读取数据 模拟测试 构建和部署到 NiFi 都成功 处理器遇到错误

  • 如何动态更新Nifi中的variable.registry.properties？

    变量注册表属性是 Nifi 添加的一项功能 旨在促进软件开发生命周期 这意味着您可以在单独的开发环境中开发流程 并利用 nifi variable registry properties 属性中指定的自定义属性文件以及表达式语言来使用处理器

  • NiFi GetFile 处理器中文件过滤器属性的正则表达式失败

    我有一个要复制到 HDFS 的文件列表 文件名如下 样品 11072016 样品 11082016 样品 11062016 样品 11062016 Denodo 09082016 Denodo 09122016 Denodo 1108201

  • 通过 Apache Knox 网关访问 Apache NIFI REST API (jwt)

    我正在寻找配置 Apache 的资源KNOXTOKEN访问 Apache NIFI REST API 的服务 我已经有了KNOXSSO已配置 并且能够通过它访问 NIFI UI 但是 我找不到资源来通过 Curl 和 JWT 安全地访问 N

  • 如何使用 NiFi 将字符串转换为 JSON 数组

    在 NiFi 中 我正在处理包含以下属性的流文件 Key my array Value u firstElement u secondElement 我想在此数组上拆分 flowFile 以单独处理每个元素 然后合并 我尝试使用SplitJ

  • 在 NiFi 处理器“InvokeHTTP”中，您在哪里编写 POST 请求的正文？

    在发布有关 Apache NiFi InvokeHTTP 的问题之前 我已经浏览了所有其他问题及其答案 但我仍然不确定我应该拥有的最佳流程 我的情况如下 1 从 Apache Kafka 我获取原始元数据 2 使用EvaluateJSONP

  • Apache Nifi：使用更新记录处理器替换列中的值

    我有一个 csv 看起来像这样 name code age Himsara 9877 12 John 9437721 16 Razor 232 45 我必须更换色谱柱code根据一些正则表达式 我的逻辑如下面的 Scala 代码所示 if

  • Apache NIFI Jon 不会自动终止

    我是 Apache NIFI 工具的新手 我正在尝试从 mongo db 导入数据并将该数据放入 HDFS 中 我创建了 2 个处理器 第一个用于 MongoDB 第二个用于 HDFS 并且我正确配置了它们 该作业正在成功运行并将数据存储到

  • Apache NiFi ExecuteScript：通过映射文件替换 Json 值的 Groovy 脚本

    我正在 Groovy 脚本上使用 Apache NiFi 0 5 1 以将传入的 Json 值替换为映射文件中包含的值 映射文件如下所示 它是一个简单的 txt Header1 Header2 Header3 A some text A2

随机推荐

  • {}.toString() 未捕获的语法错误：意外的标记

    当我在 chrome 开发工具中尝试时 它显示Uncaught SyntaxError Unexpected token 但是 如果当它分配给a var a toString a object Object 是什么造成了这种差异 是什么造成

  • CoffeeScript 的存在运算符如何工作？

    Coffeescript 使用存在运算符来确定变量何时存在 并且在咖啡脚本文档它表明something 将编译为something undefined something null但是我注意到我的咖啡脚本版本只是将其编译为something

  • 如何使用 Prolog 删除列表中的偶数

    我需要删除第一个列表中的所有偶数并将其余的保存到第二个列表中 我的第一个非工作方法是 remove even remove even H1 T1 H2 T2 H1 mod 2 0 remove even T1 remove even H1

  • 在SQL中批量插入.txt文件

    我正在尝试将 txt 文件导入高级查询工具 我使用的 SQL 客户端 到目前为止 我有 CREATE TABLE tb test id INTEGER name varchar 10 dob date city char 20 state

  • 使用 C# .NET 中的 XDocument 库删除内部节点，但不删除 xml 中的值

    我有以下 XML 文件 p span class screenitems Add span p 我要删除它 span 节点但是Add存在 所以最后看起来如下 p Add p 有没有好的 简单的方法来做到这一点 Use ReplaceWith

  • VS 2015许可证已过期

    我昨天 2015年7月21日 从我的MSDN帐户下载了VS 2015 enterprise 发布版 并将其安装在全新的W8 1 pro机器上 是的 遗憾的是 我无法将Win8 1 Pro升级到Enterprise https superus

  • “索引包失败”

    在克隆 git 存储库时 我收到一条我不太明白的错误消息 git clone email protected group07 Initialized empty Git repository in cygdrive C Users Mart

  • 拉取全局环境中具有特定属性的所有对象

    假设我有一个全局环境中的对象列表 我如何只提取那些具有特定属性集的内容 x1 lt 1 10 x2 lt 1 10 x3 lt 1 10 x4 lt 1 10 x5 lt 1 10 attr x1 foo lt bar attr x5 fo

  • 每次导入 Tensorflow 时都会发出警告 - “未找到 cudart64_101.dll”。有没有办法只消除这个警告？

    2021 01 26 17 13 35 314383 W tensorflow stream executor platform default dso loader cc 55 Could not load dynamic library

  • 使用迭代参数的 SSRS 创建报告

    我正在修改现有的报告 该报告设置为让您查看每个销售代表的统计信息 您可以通过更改参数来完成此操作sales rep在报告视图中 我需要修改报告 以便它可以为每个销售代表显示一个页面 然后 该数据将导出到 Excel 每个销售代表的统计数据将

  • 无法在 R 上加载 rJava

    我希望在 R x64 3 1 2 中加载 rJava 操作系统 Windows 8 1 64 位 虽然安装似乎工作正常 gt install packages rJava Installing package into C Users so

  • 使用 Rails 多态性进行嵌套注释

    我需要在 Rails 3 应用程序中构建一个嵌套评论系统 允许对许多模型 文章 帖子等 进行评论 并且正在讨论按照以下方式滚动我自己的解决方案这个帖子 有可用的宝石 例如acts as commentable with threading

  • 访问远程 bean 时 CORBA 内部出现异常

    在装有 Glassfish 4 0 和 JDK 1 7 55 的 Windows Server 上 我收到 NoClassDefFoundError 和 ClassNotFoundException 然后调用远程 bean 方法 Stand

  • Xpath：查找类包含空格的元素

    所以我有看起来像这样的元素 li class attribute li note the space li class attribute li 使用 xpath li class attribute 将获得第二个元素但不是第一个 如何获得

  • 数据表 - 数据表外部的搜索框

    我正在使用数据表 数据表网 并且我希望我的搜索框位于表格之外 例如在我的标题 div 中 这可能吗 您可以使用 DataTables api 来过滤表 因此 您所需要的只是您自己的输入字段 其中包含一个 keyup 事件 该事件会触发 Da

  • 使用 R 计算时间序列中的间隙大小

    假设我有一个包含时间序列的数据框 如下所示 Date value 2000 01 01 00 00 00 4 6 2000 01 01 01 00 00 N A 2000 01 01 02 00 00 5 3 2000 01 01 03 0

  • 本地部署和从应用商店部署时的不同应用行为

    从 Windows 应用商店 测试版 部署应用程序时 我遇到奇怪的问题 该应用程序被编写为 Windows Phone 8 1 RunTime 我有一个用 C C 编写的小型 Windows 运行时组件 用于检查文件是否存在 bool Fi

  • 如何在golang中将变量id传递给statement.Query()？

    我在 postgres 中有这个查询 它根据传递的参数查询 1 或 n 个用户 select name phone from clients where id in id1 id2 现在 当我尝试在 golang 中使用它时 我在如何将这种

  • 二元决策树（CART）的分裂和根节点

    如何在回归树中找到分割和根节点 我从多个向量制作了回归树 现在我必须提取多个向量的 rpart 的根节点 文件包含多个向量的数值A B C D E F G H前任 向量包含 4 3 6 7 2 4 5 等等类似的其他 B C D E F G

  • PutSql - 日期格式错误

    我正在尝试从 Teradata 读取数据并将其填充到 Oracle 数据库 请在下面找到我的流程 ExecuteSQL gt SplitAvro gt ConvertAvroToJSON gt ConvertJSONToSQL gt Put

热门标签