自动化 NIFI 模板部署

2024-02-27

我是 nifi 的新手,我试图了解(因为它看起来很多基于 GUI)是否有一种方法可以在 Nifi 上自动扩展和缩减,以及如何采用 xml Nifi 模板并将其部署到集群。

本质上,我们想做的是使用 Nifi 从 kafka 服务器收集 JMX 和日志文件,因为它们以自动方式出现,因此日志记录和 JMX 计数器开始流向 Elasticsearch 集群。

例如,现在我们已经使用 Ansible 自动部署 kafka 服务器,因此希望在集群部署的同时配置和部署 Nifi xml 团队板,这样就不需要手动干预来收集 kafka jmx 计数器和日志文件。

如何在 Nifi 中自动执行此操作?


有许多工具和技术可用于自动部署模板,包括:

  • 卷曲,见SO:通过 REST 发布 NIFI 模板? https://stackoverflow.com/questions/38446620/post-a-nifi-template-via-rest?rq=1- 最基本的API模板部署。
  • nifi-api-部署 https://github.com/aperepel/nifi-api-deploy- 执行模板部署以及一些迁移任务。
  • nifi 部署进程组 https://github.com/ijokarumawak/nifi-deploy-process-group- 执行进程组迁移。

困难的部分是从现有流迁移到新流,特别是在现有流可能具有排队流文件并且来源历史引用现有流的情况下。但如果您要自动化 NiFi 集群的整个部署并将模板部署到空画布,这可能不是问题。

您可以阅读有关所涉及问题和未来计划的完整处理流程配置管理 https://cwiki.apache.org/confluence/display/NIFI/Configuration+Management+of+Flows.

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

自动化 NIFI 模板部署 的相关文章

随机推荐