Logstash 的流行为不一致 - ELK

2024-03-04

我有一个包含几个平面字段和几个嵌套字段的索引。我正在尝试通过 Logstash 将 SQL Server 中的信息通过特定 ID 流式传输到嵌套字段中。 当我流式传输数据时only one然后它就完全成功地通过了,没有任何问题。另一方面,当我尝试流式传输多个 id 的数据时,由于某种原因,插入索引的信息是部分的。Note:查询按 id 排序。 此外,在流式传输数据的不同尝试中,获得了不同量的信息。 例如,假设完整信息包含 15 行。在一次尝试中 - 仅获得 2 行,但在另一次尝试中 - 获得 14 行,看起来完全任意。 有谁知道什么会导致这种奇怪的行为?我很乐意提供任何帮助。 谢谢!


这是因为Logstash执行模型 https://www.elastic.co/guide/en/logstash/current/execution-model.html其中多个工作人员可以并行工作,并且您的事件可能由不同的工作线程处理。

如果您想要具有一致的加载行为,您需要使用单个工作线程执行管道(-w 1在命令行上)

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Logstash 的流行为不一致 - ELK 的相关文章

随机推荐

  • 如何在javascript中获取所有待处理的http请求?

    javascript 或 angular2 有没有办法 获取待处理的 http 请求列表 目标是启动 其他几个进程 根据这个榜单的波动 是否存在类似可访问的请求堆栈之类的东西 Thanks 事实上你可以扩展Http类来拦截请求执行 impo
  • 有没有更干净的方法来可靠地使用 write() 函数?

    我读了man页 我的理解是 如果write 失败并设置errno to EAGAIN or EINTR 我可以执行write 再次 所以我想出了以下代码 ret 0 while ret count write count write con
  • 如何使用 PHP 在网站上实现 OCR? [关闭]

    就目前情况而言 这个问题不太适合我们的问答形式 我们希望答案得到事实 参考资料或专业知识的支持 但这个问题可能会引发辩论 争论 民意调查或扩展讨论 如果您觉得这个问题可以改进并可能重新开放 访问帮助中心 help reopen questi
  • 'NSInvalidArgumentException',原因:'*** -[NSURL initFileURLWithPath:]: nil 字符串参数'

    我对这里发生的事情感到摸不着头脑 打印插件不起作用 我正在尝试向应用程序添加打印机插件 映射 xml 并加载 html 文件后 我在 Xcode 中没有看到错误 但是 当我运行该应用程序时 它崩溃了并且日志状态如下 由于未捕获的异常而终止应
  • 我如何知道用户正在打字或粘贴?

    在我的 JSP 的文本字段中 我希望知道用户是在输入数据还是只是粘贴 我如何使用 javascript 来识别它 EDIT 根据安迪的回答 我知道如何去做 但仍然好奇那些人是如何编写 onpaste 事件的 Safari Chrome Fi
  • HTML onUnclick 处理程序? [复制]

    这个问题在这里已经有答案了 我想在单击输入字段时触发一个处理程序 并在取消选择输入字段时触发另一个处理程序 即 如果有人在字段之外单击 有办法做到这一点吗 点击处理程序非常简单
  • 自动在 bash 命令末尾添加一些内容

    我想知道如何在特定 bash 命令的末尾添加一些内容 而无需显式键入它 例如 我希望能够输入 mycommand argument 该行将提交为 mycommand argument 我知道如何在我的中设置别名 bashrc e g ali
  • 在 Mac 上启动 AVD(Android 虚拟设备)时 qemu-system-i386 意外退出(非法指令 4)

    我在 Mac Macbook Pro 2017 年 8 月 OSX 10 12 4 上安装了 Android Studio 然后启动 创建了一个 hello world 项目并创建了一个 AVD Android 虚拟设备 Nexus 5 来
  • CloudFront 签名 url 的最长过期时间是多少

    我正在使用 CloudFront 从中生成签名 URLdoc https docs aws amazon com AmazonCloudFront latest DeveloperGuide CFPrivateDistJavaDevelop
  • JAXB 如何推进 XMLStreamReader?

    我正在使用 JAXB 通过 XMLStreamReader 从非常大的 XML 文件中解组对象 如果我要解组的 XML 元素是分隔的 通过换行符甚至单个空格 则效果很好 如果我要解组的 XML 元素之间没有空格 那么我会丢失所有其他项目 X
  • Rust 编译器什么时候不能证明借用是不相交的?

    In 诺米康第 3 2 节 https doc rust lang org nomicon references html liveness 在 活跃度 标题下 它说 然而 经常出现的情况是 Rust 不够聪明 无法 证明多次借用是不相交的
  • std 映射复合键

    我有一个问题运算符std map 所需的方法 我使用结构作为复合键 如下所示 struct MyKey std string string1 std string string2 std string string3 unsigned in
  • 跟踪实时推文流中的关键字

    我安装并尝试了 tweepy 我现在正在使用以下功能 from API参考 http packages python org tweepy html api html api reference API public timeline 返回
  • 检查拖放是否正在进行

    有什么方法可以检查拖放是否正在进行中 可以检查一些方法或win32 api吗 我知道我可以设置AllowDrop 并使用事件 但在这种情况下它不起作用 基本上我想用代码检查是否any拖放正在进行中 我有一个类似的问题 我自己回答了 经过几个
  • 了解 Tensorflow LSTM 模型输入?

    我在理解 TensorFlow 中的 LSTM 模型时遇到一些困难 我用tflearn http tflearn org 作为包装器 因为它自动完成所有初始化和其他更高级别的工作 为了简单起见 我们考虑这个示例程序 https github
  • MongoDB - 将 CSV 导入嵌套文档

    我有一个架构 其文档结构如下所示 id ObjectId 4f8dcb06ee21783d7400003c venue ObjectId 4f8dcb06ee21783d7400003b name Some event webite www
  • 计算两个数组之间相关性的有效算法[关闭]

    很难说出这里问的是什么 这个问题是含糊的 模糊的 不完整的 过于宽泛的或修辞性的 无法以目前的形式得到合理的回答 如需帮助澄清此问题以便重新打开 访问帮助中心 help reopen questions 我正在寻找一种算法来计算两个双精度数
  • 解析包含自定义格式的日期和时间的字符串

    我有一个下一个格式的字符串 ORDER20100322194007 where 20100322是一个日期并且194007是一个时间 如何解析字符串并获取其中包含的内容DateTime object 它总是以ORDER string pat
  • iOS 12 和 SKShader 中已弃用 OpenGL ES

    我对 SpriteKit 中着色器的概念和使用非常陌生 我发现本教程介绍了如何使用附加到 Color Sprite 的自定义着色器属性的自定义着色器文件 Fractal fsh 渲染 Mandelbrot 分形 https www wehe
  • Logstash 的流行为不一致 - ELK

    我有一个包含几个平面字段和几个嵌套字段的索引 我正在尝试通过 Logstash 将 SQL Server 中的信息通过特定 ID 流式传输到嵌套字段中 当我流式传输数据时only one然后它就完全成功地通过了 没有任何问题 另一方面 当我