程序员经验分享-hwhale

在nifi中将JSON转换为CSV

2024-04-17

我想在 nifi 中将 JSON 文件转换为 CSV。我们可以用 Python 和其他编程语言来实现这一点，并且有多篇文章介绍它。我有多个 JSON 文件，每个文件都有不同的架构（一个特定文件只有一个架构）。我可以看到有一些模板可以将 CSV 转换为 JSON 以及其他转换。但我没有看到任何将 JSON 数据转换为 CSV 的模板。我已经浏览了这篇文章https://community.hortonworks.com/articles/64069/converting-a-large-json-file-into-csv.html https://community.hortonworks.com/articles/64069/converting-a-large-json-file-into-csv.html，但是这里我们对模式进行硬编码。由于我有多个文件，并且每个文件都有不同的架构，因此我无法对架构进行硬编码。有什么建议请。


格式之间的转换通常是通过 ConvertRecord 插入适当的记录读取器和记录写入器（在本例中为 JSON 读取器和 CSV 写入器）来完成。

要使用记录处理器，您需要为数据定义 Avro 模式并将其放入模式注册表中，NiFi 提供了本地模式注册表。

有很多关于记录内容的示例和帖子，此幻灯片展示了 CSV 到 JSON 的示例，但很容易扭转您的场景的情况：

https://www.slideshare.net/BryanBende/apache-nifi-record-processing https://www.slideshare.net/BryanBende/apache-nifi-record-processing

这篇文章还有一些其他信息：https://bryanbende.com/development/2017/06/20/apache-nifi-records-and-schema-registries https://bryanbende.com/development/2017/06/20/apache-nifi-records-and-schema-registries

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

json

csv

apachenifi

hortonworksdataflow

在nifi中将JSON转换为CSV 的相关文章

随机推荐

  • 如何使用 Selenium 处理 Firefox 中的安全警报

    我使用 selenium webdriver 和 ruby 来编写自动化测试 Chrome 和 chromedriver 二进制文件工作得很好 但我在 Firefox 上遇到了一个与浏览器配置相关的问题 这导致我的测试失败 而 Chrome

  • 有没有办法消除 MVC 4 中对实体框架的默认依赖？

    有没有办法删除 ASP NET MVC 4 项目中对实体框架的默认依赖关系 并将其替换为其他类似的技术 例如Dapper https code google com p dapper dot net 如果您创建一个新的 ASP NET MV

  • 从 UIActionSheet 弹出窗口中删除填充

    我正在创建一个 UIActionSheet 以允许用户拍摄或选择照片 谁能告诉我为什么它的显示与苹果的不一样 这是针对 iPad 的 所以我没有声明取消按钮 UIActionSheet actionSheet UIActionSheet a

  • 尝试使用 pytest 在 python 3.10 上执行测试时出错

    如果我尝试使用执行测试pytest使用 python 3 10 我收到以下错误 TypeError required field lineno missing from alias 谷歌说这是一个已知问题 但我找不到解决的方法 如果我用 3

  • 机器人通道注册：“Microsoft.AppRegPortal.Providers.Graph.GraphException”类型的异常

    在 Azure 机器人通道注册上创建机器人通道并尝试在 apps dev microsoft com 上添加 Microsoft Graph 规则后 出现异常 机器人通道注册 引发 Microsoft AppRegPortal Provid

  • 使用帧缓冲区将深度缓冲区渲染为纹理

    我正在使用 JOGL 但这个问题通常适用于 OpenGL 似乎也有类似的问题 但它们要么是针对 GLSL 代码 与复制帧缓冲区的内容有关 要么是一般建议 使用帧缓冲区对象而不是glCopyTexSubImage2D Question 我正在

  • NVARCHAR 使用的大小重要吗？

    每次我创建一个表时 我都会想是否有任何性能差异 是否我说nvarchar 100 or nvarchar 1000 假设实际字符串大小将小于100 那么有吗 根据文档 http msdn microsoft com en us librar

  • java android 取消静音按钮的问题

    我正在创建一个简单的点击计数器 Android 应用程序 单击按钮时会播放声音 并且在离开计数屏幕然后返回时也会保存计数 我遇到了静音按钮的问题 当我单击它时 它会静音整个应用程序 而不仅仅是特定的 GUI 屏幕 活动 第一个问题是静音按钮

  • 如何在 Spark/PySpark 中对数据框中包含空值的两列求和？ [复制]

    这个问题在这里已经有答案了 我有以下格式的数据框 Col1 cnt Test1 cnt Test2 Stud1 null 2 Stud2 3 4 Stud3 1 null 我想通过聚合 cnt Test1 和 cnt Test2 来创建一个

  • 500 内部服务器错误，适用于 php 文件而不是 html [重复]

    这个问题在这里已经有答案了 我的网站只有 4 5 个静态页面 索引 html 索引 php两者都在那里 index html 工作正常 如果我更改为index php 它会给出500 Internal Server Error 我不知道我的

  • Jekyll 的本地邮政资产

    我想知道其他人在使用 Jekyll 时如何组织个人帖子的资源 例如 如果帖子有图像 您是否只需将其转储到共享图像文件夹中 我真的不喜欢这样做的想法 这意味着图像与帖子完全分离 而我认为它们应该配对 我编写了一个插件 让我可以轻松地组织子目录

  • StringBuilder 是否比 String 连接使用更多内存？

    我知道在 C 中使用 StringBuilder 具有明显的性能优势 但是内存差异如何 StringBuilder 使用更多内存吗 顺便说一句 字符串生成器本质上做了什么不同的事情 使其速度如此之快 简短回答 StringBuilder适用

  • c 和 c++ 中将大小数组作为函数参数的目的是什么？

    考虑以下函数 void func1 int unsized array void func2 int sized array 10 void func3 int pointer 根据结果 std cout lt lt std is same

  • 静态方法与非静态方法

    下面是静态方法和非静态方法的php类代码示例 示例1 class A None Static method function foo if isset this echo this is defined echo get class thi

  • ASP.NET GridView：如何编辑和删除数据记录

    嗨 我已经使用 gridview 创建了一个表 有没有办法实现编辑和删除 我以前用PHP做过 我想使用的方法是在表中再创建两列 每行上都有编辑和删除按钮 然后 当单击按钮时 它会通过 URL 传递 id 并能够编辑或删除 不太确定如何在 A

  • 如何使用 Multer 中间件上传图像数组

    我正在尝试使用 Multer 上传一组图像 在客户端 我有一个名为图片的 FormData 图片数组 来自react native image picker const pictures setPictures useState const

  • 将图像添加到 html 块中

    我在 Blocks 内容中添加了一些 html 代码并启用了完整 HTML 过滤器 我对图像使用了相对路径 例如 sites all themes zen zen image png 我想这是不正确的 因为我需要根据我在主页或 node i

  • 使用 Json.NET 将 JSON 转换为数据集

    希望有人可以伸出援手 我正在尝试使用下面的示例将 JSON 转换为数据集 但遇到了问题 我已经验证 JSON 是正确的 使用了 Kent 建议的方法 感谢您的时间和帮助 以下是我的 JSON jsonData item1 one item2

  • Xcode 7 在创建新文件时崩溃

    我有 El Capitan GM 并且我已将 Xcode 更新为 Xcode 7 GM 现在我无法创建新类 Xcode 崩溃并显示消息 UNCAUGHT EXCEPTION NSInvalidArgumentException NSOpen

  • 在nifi中将JSON转换为CSV

    我想在 nifi 中将 JSON 文件转换为 CSV 我们可以用 Python 和其他编程语言来实现这一点 并且有多篇文章介绍它 我有多个 JSON 文件 每个文件都有不同的架构 一个特定文件只有一个架构 我可以看到有一些模板可以将 CSV

热门标签