程序员经验分享-hwhale

Logstash 与 Kafka 有何不同

2024-06-22

Log stash 与 Kafka 有何不同？ 如果两者相同，哪个更好？如何？

我发现这两个管道都可以将数据推送到进一步处理。


Kafka 比 Logstash 强大得多。为了将 PostgreSQL 等数据同步到 ElasticSearch，Kafka 连接器可以使用 Logstash 完成类似的工作。

一个关键区别是：Kafka 是一个集群，而 Logstash 基本上是单个实例。您可以运行多个 Logstash 实例。但这些 Logstash 实例并不知道彼此。例如，如果一个实例出现故障，其他实例将不会接管其工作。 Kafka 会自动处理节点故障。如果您将 Kafka 连接器设置为在分布式模式下工作，其他连接器可以接管下行连接器的工作。

Kafka 和 Logstash 也可以一起工作。例如，在每个节点上运行一个Logstash实例来收集日志，并将日志发送到Kafka。然后您可以编写 Kafka 消费者代码来执行您想要的任何处理。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

ApacheKafka

DevOps

ElasticStack

Logstash 与 Kafka 有何不同 的相关文章

随机推荐

  • C# 自定义列表视图

    有人有关于创建 绘制自定义 ListView 对象的任何信息吗 目前我正在从事一个需要在应用程序中定制外观和感觉的项目 我使用的是标准 Windows Forms ListView 它与 GUI 的其余部分的风格不同 我们没有使用自定义控件

  • java中的四舍五入值

    我将如何圆 1 1 5 怎么样 double rounded Math ceil number 2 2 Since Math ceil 已经返回双精度值 无需除以2 0d这里 只要您在可以表示为双精度数的整数范围内而不丢失精度 这就可以正常

  • 近4季度数据

    我想获取最后 4 个季度的数据 包括当前季度的数据 假设如果我运行查询30 MAR 2019然后我想要来自的数据01 APR 2018 to 31 MAR 2019如果我运行查询01 apr 2019然后我想要之间的数据01 JUL 201

  • 将 Serilog 配置代码行转换为 json 配置时遇到问题

    我发现一篇博文解释了如何按 LogEvent 级别过滤到单独的文件以进行 Serilog 配置 我正在 appsettings json 中进行所有 Serilog 配置 这在 json 配置中看起来怎么样 我似乎不知道如何 json la

  • Java Webstart 无法脱机工作（NoRouteToHostException/UnknownHostException）

    我想配置我的 webstart app jnlp 以便如果没有可用的互联网连接 它将从缓存启动 然而 当我断开与互联网的连接时 尽管配置如下 但我总是收到 NoRouteToHostException 或 UnknownHostExcept

  • 交错行二维 Numpy 数组

    我有一个 2D numpy 数组 如下所示 array x1 x2 x3 x4 x2 x3 x4 x5 x3 x4 x5 x6 y1 y2 y3 y4 y2 y3 y4 y5 y3 y4 y5 y6 我想交错行 使数组看起来像这样 arra

  • 使用查找函数未找到值的错误消息

    我使用此代码来检查条形码是否在数据库中 但每次条形码不在列表中时 它都会提示一条错误消息 运行时错误 91 未设置对象变量或 With 块变量 是否有一行我可以像消息框一样添加 表明输入的条形码无效 我知道这就是我所需要的 但显然 我不知道

  • rabbitmq的兑换次数有限制吗？

    在文档或谷歌上找不到任何关于此的信息 除了它应该绑定到服务器的可用资源 有人有在工作环境中一次进行大量交换的经验吗 仅创建交换不应成为问题 直到达到内存限制为止 而是在具有高消息吞吐量且主要是动态交换创建 删除的工作项目中使用它 考虑到 R

  • 为什么不允许使用 lock()，但允许使用 Monitor.Enter()？

    对于以下代码 我收到编译时错误 int 不是引用类型 lock 语句所要求的 int i 0 lock i 但没有错误 int i 0 Monitor Enter i 据我所知 由于装箱引起的复杂性 值类型不应该用于锁定 但是 那为什么它可

  • 如何将依赖包引用到 Android 库（如 .aar 文件）中？

    我有一个 android library 插件 它使用多个作为 jar 文件包含的 android 库 并直接从我的 build gradle 文件引用 compile fileTree dir libs include jar 然后我会发

  • C# 如何读取值并将其放入数组中

    我今天开始发现 C 如你所知 有一些困难 using System using System Collections Generic using System Linq using System Text namespace Console

  • 了解函数类型

    我在尝试理解 Haskell 如何确定函数类型时感到有点困惑 这是一个例子 boolFcn x y x 3 y 4 当我检查上述函数的类型时 它给出了结果 Num a1 Num a Eq a1 Eq a gt a gt a1 gt Bool

  • Realm.open 与新 Realm

    在 React Native 应用程序的上下文中 仅在本地使用 Realm 因此目前没有领域对象服务器 使用打开领域有什么区别Realm open schema Car Person 并创建一个新的 Realm 实例new Realm sc

  • 通常只允许每个套接字地址（协议/网络地址/端口）使用一次

    过去几周 我们在使用 Azure 搜索 SDK 1 1 1 1 1 2 并执行搜索时遇到了此错误消息 我们从内部 API 部署为 Azure Web 应用程序 使用搜索 SDK 这些 API 根据流量进行扩展 因此可能有超过 1 个 API

  • MvcMiniProfiler 是否需要 Web 应用程序才能工作，或者可以在纯库中使用，例如在单元测试中？

    我真的很喜欢我所看到的MvcMiniProfiler http code google com p mvc mini profiler 我很想在非 Web 应用程序 Windows 服务 单元测试等 上使用 SQL 监控功能 这可能吗 还是

  • JavaBean 和 ManagedBean 有什么区别

    我在读JSF MVC 框架中的 MVC 是什么组件 https stackoverflow com questions 5104094 what components are mvc in jsf mvc framework 在总体架构图中

  • 将 R 数据集中的数据写入 Redshift

    我使用 RPostgreSQL 包将 R 连接到 amazon Redshift 我可以连接 创建和删除表 查询数据库 将数据保存到 R 数据框架中并手动插入值 我不能做的是将数据插入直接从 R 数据帧读取的 Redshift 中 并且由于

  • 关于布局充气机 - 附加到根的澄清？

    我阅读了答案为什么 LayoutInflater 忽略我指定的layout width 和layout height 布局参数 https stackoverflow com questions 5026926 making sense o

  • jQuery 缓动与 SlideUp 缓动功能

    我刚刚读过这个StackExchange 的问答 https stackoverflow com questions 4427843 jquery easing problem 但该解决方案对我不起作用 这不起作用 top slide sl

  • Logstash 与 Kafka 有何不同

    Log stash 与 Kafka 有何不同 如果两者相同 哪个更好 如何 我发现这两个管道都可以将数据推送到进一步处理 Kafka 比 Logstash 强大得多 为了将 PostgreSQL 等数据同步到 ElasticSearch K

热门标签