程序员经验分享-hwhale

Logstash：是否可以将文档保存在内存中？

2023-12-20

我正在尝试将数据保存在内存中，以便能够在过滤器部分中快速检索。事实上，当我收到新文档时，我想检索以前的相关文档以计算一些新指标。

谁能告诉我这是否可能，如果是，我怎样才能实现这一目标？

非常感谢。

Joe


实现这一目标最接近的方法是使用elasticsearch filter https://www.elastic.co/guide/en/logstash/current/plugins-filters-elasticsearch.html为了在 ES 集群中查询某些文档或非官方的memcached filter https://github.com/coolacid/logstash-filter-cache-memcached考虑到 memcached 的功能，这可能更适合该任务。

我不知道有任何官方/非官方的redis or hazelcast虽然过滤器，但这也是一种选择，因为它们都是缓存技术。

您还应该看看现有的metrics filter https://www.elastic.co/guide/en/logstash/current/plugins-filters-metrics.html根据您的用例，这也可能有一些帮助，顺便说一句，如果您需要更精确的帮助，您应该详细说明一下。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Logstash

inmemory

Logstash：是否可以将文档保存在内存中？ 的相关文章

  • Logstash 文件输入插件

    目前 我正在使用文件输入插件来检查我的日志存档 但文件输入插件对我来说不是正确的解决方案 因为文件输入插件本质上期望该文件是事件流而不是静态文件 现在 这给我带来了很大的问题 因为我的日志存档有 100 000 多个日志文件 而我的 Log

  • Logstash：是否可以将文档保存在内存中？

    我正在尝试将数据保存在内存中 以便能够在过滤器部分中快速检索 事实上 当我收到新文档时 我想检索以前的相关文档以计算一些新指标 谁能告诉我这是否可能 如果是 我怎样才能实现这一目标 非常感谢 Joe 实现这一目标最接近的方法是使用elast

  • Logstash mutate 添加 json 中的所有字段

    我正在使用 Logstash 插件 logstash input rethinkdb 该插件获取数据库中的所有编辑并输出包含以下结构的 json 对象 db itjobs table countries old val null new v

  • Logstash 不读取文件输入

    我在使用 Logstash 时遇到了一个奇怪的问题 我提供一个日志文件作为logstash 的输入 配置如下 input file type gt apache access path gt C Users spanguluri Downl

  • 将内存中的 H2 数据库保存到磁盘

    如何以二进制模式将完整的嵌入式 h2 内存数据库保存 加载到某个文件或目录以加快加载速度 我想用它来缓存数据 这样我就不必每次都运行创建表 插入子句的所有行 您可以使用常规 持久 数据库 而不是使用内存数据库 即使这样 您仍然可以使用内存表

  • Logstash 无法使用多个文件通配符路径

    Logstash 似乎无法读取带有通配符的路径 这是我的配置文件 input file path gt C logs app log type gt MyType filter output elasticsearch 我通过用斜杠替换反斜

  • Logstash：如何将文件名添加为字段？

    我使用 Logstash Elasticsearch Kibana 来概览我的 Tomcat 日志文件 对于每个日志条目 我需要知道它来自的文件的名称 我想将其添加为字段 有办法做到吗 我用谷歌搜索了一下 只发现这个问题 https sta

  • 使用 Logstash CSV 过滤器不起作用

    我试图在 Logstash 上使用 CSV 过滤器 但它可以上传我的文件的值 我正在使用 Ubuntu Server 14 04 kibana 4 logstash 1 4 2 和 elasticsearch 1 4 4 接下来 我将展示我

  • 如何保持 Logstash 运行以便将数据从 RDBMS 同步到 ES？

    我是 ELK 堆栈的新手 所以请原谅我的无知 我已经能够让 Logstash 将数据从我的数据库发送到 Elasticsearch 但传输完成后它就会退出 我如何保持它运行以使它们保持同步 谢谢 您需要指定一个schedule https

  • Logstash 配置错误 - amazon_es

    我正在尝试第一次配置我的logstash conf 文件并输出到amazon es 我的整个Logstash conf文件在这里 input jdbc jdbc connection string gt jdbc mysql localho

  • Logstash 配置，“如果字符串包含...”

    因此 我们假设我有一部分日志行 如下所示 GET restAPI callMethod1 8675309 GET 匹配一个 http 方法 并且 get 被提取 其余部分匹配一个 URI 并且也被提取 现在在logstash配置中 假设我想

  • Logstash：Mutate { gsub ... } 不起作用

    mutate add field gt eee gt 2016 uaie gsub gt eee 2016 2015 这确实会创建一个字段 eee 但 gsub 会not更新它 为什么 add field 在底层过滤器成功时运行 在您的情况

  • 如何使用 Kibana 3 创建价值随时间变化的图表？

    我使用 Logstash 来存储包含车辆随时间变化的速度的日志文件 在 Kibana 3 中 如何生成一个显示随时间变化的值的面板 即 x 轴显示时间 y 轴显示相关值 例如车辆速度 我发现的大多数面板都会计算给定时间范围内事件的发生次数并

  • 删除包含哈希字符的日志行

    在我的 Logstash 发货程序中 我想过滤掉用哈希字符注释的行 This log row should be dropped But one this should not 我能够使用grep过滤器 但由于不鼓励 即将退役 我试图获得一

  • 如何向 Elasticsearch 客户端通知新的索引文档？

    我正在使用 Elasticsearch 并且正在构建一个客户端 使用 Java 客户端 API 来导出通过 Logstash 索引的日志 我希望能够在新文档被索引 已添加新日志行 时收到通知 通过在某处添加侦听器 而不是查询最后 X 个文档

  • 测试完成后如何自动终止logstash代理？

    我有一个 Logstash 代理来监视我们的自动测试的日志转储 在每批测试开始时 都会启动一个代理 侦听特定文件夹 并在结束时停止 问题是在最后 我需要以某种方式向 Logstash 代理发出信号 表明测试已完成并杀死自己 我怎样才能做到这

  • 在logstash中使用docker GELF驱动程序env/labels

    Docker GELF 日志驱动程序允许env and labels日志选项 gelf 日志记录驱动程序支持 lab els 和 env 选项 它添加了额外的密钥extra字段 以下划线 为前缀 ref https docs docker

  • Logstash 错误 Java::JavaLang::NoClassDefFoundError 无法解决

    我是elasticsearch ES 和logstash 的新手 我已经使用它成功设置了elasticsearch和kibanalink https www youtube com watch v hVgrXi 9L6Y 之后我尝试使用lo

  • Docker：内存文件系统

    我有一个 docker 容器 它对磁盘进行大量读 写操作 我想测试当我的整个 docker 文件系统都在内存中时会发生什么 我在这里看到一些答案说这不会是真正的性能改进 但这是为了测试 我想测试的理想解决方案是共享每个图像的公共部分 并在需

  • Kafka Consumer 无法加载任何密钥库类型和路径的 SSL 密钥库（Logstash ArcSight 模块）

    我需要为 Kafka Consumer 提供客户端身份验证证书 但是 它总是失败并出现以下异常 无法加载 SSL 密钥库 ssl cipher suites null ssl enabled protocols TLSv1 2 TLSv1

随机推荐

热门标签