Logstash mutate 添加 json 中的所有字段

2023-12-21

我正在使用 Logstash 插件 (logstash-input-rethinkdb)。 该插件获取数据库中的所有编辑并输出包含以下结构的 json 对象:

{
      "db":"itjobs",
      "table":"countries", 
      "old_val":null,
      "new_val":{
           "code":"USA3",
           "country":"USA3",
           "id":"7c8c9e4e-aa37-48f1-82a5d624cde4a3a0"
      },
      "@version":"1",
      "@timestamp":"2016-12-19T19:54:08.263Z"
 }

我将这个文档插入到elasticsearch中。
但问题是,在弹性中我得到了相同的结构 ->new_val:{code:''}

我需要做一个过滤器或其他东西来提取所有内容new_val并将其添加到根

我尝试了过滤器json但这得到一个string并且插件已经输出 json

编辑后我需要它看起来像:

{
      "db":"itjobs",
      "table":"countries", 
      "code":"USA3",
      "country":"USA3",
      "id":"7c8c9e4e-aa37-48f1-82a5d624cde4a3a0"
      "@version":"1",
      "@timestamp":"2016-12-19T19:54:08.263Z"
 }

您可以使用红宝石过滤器:

filter {
    ruby {
        code => "
            event['new_val'].each {|k, v|
                event[k] = v
            }
            event.remove('new_val')
        "
    }
}

使用 Logstash 2.2 进行测试,对于版本 5+ 应该有所不同。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Logstash mutate 添加 json 中的所有字段 的相关文章

  • Elasticsearch批量设置_id

    当我使用 id 设置将文档添加到 elasticsearch 时 我得到 Field id is a metadata field and cannot be added inside a document Use the index AP
  • 适用于 MYSQL 的 Logstash Jdbc 输入插件

    我在 Windows 中使用 Logstash 我无法安装输入 jdbc 插件 因此我手动下载了 zip 文件 并将插件中的logstash 文件夹放入我的logstash 1 5 2 文件夹中 文件夹结构 D elastic search
  • 将 Elasticsearch 结果导出到 CSV 文件

    我正在尝试将使用以下查询找到的结果导出到桌面上的 CSV 中 这是我第一次使用 Elasticsearch 和 cURL 所以我对如何做到这一点感到困惑 from elasticsearch import Elasticsearch es
  • Elastic Search 5.x 嵌套多个查询 C#

    我将 C 与这些 nuget 包一起使用
  • 为什么我在elasticsearch中需要“store”:“yes”?

    我真的不明白为什么核心类型链接 http www elasticsearch org guide reference mapping core types 它在属性描述中说 例如 对于数字 store 设置为 yes 将实际字段存储在索引中
  • 如何在 kibana 中自动配置索引模式

    是否可以在 kibana 中自动配置索引模式 要么通过一些设置文件 要么通过rest api 安装后可以手动完成 Kibana 5 x 公开了这样的 API 来管理索引模式 要创建索引模式 可以发出以下命令来 kibana 访问 url 只
  • 弹性搜索模糊匹配,精确匹配首先显示

    我想在查询中使用模糊匹配 但精确匹配显示在结果的顶部 我已经尝试过以下方法 return this gt client gt search array index gt self INDEX type gt self TYPE body g
  • Elasticsearch:如何查询连接数?

    如何询问我的 Elasticsearch 服务器现在有多少个连接 这与插座数量相同吗 我也不知道如何获得这些数字 这与客户端的数量不同 对吧 因为每个客户端可能打开多个连接 找不到任何相关信息 但我确实发现您可以在 Elasticsearc
  • 局部敏感哈希 - Elasticsearch

    有没有允许在 Elasticsearch 上使用 LSH 的插件 如果是的话 您能否指出该位置并告诉我如何使用它 谢谢 编辑 我发现ES使用了MinHash插件 我怎样才能用这个来比较文件呢 查找重复项的最佳设置是什么 有一个Elastic
  • ElasticSearch 多滚动 Java API

    我想从索引中获取所有数据 由于项目数量对于内存来说太大 我使用滚动 很好的功能 client prepareSearch index setTypes myType setSearchType SearchType SCAN setScro
  • 全文搜索 DynamoDB

    以下情况 我正在为我的客户将元素存储在 DyanmoDb 中 HashKey 是元素 ID Range Key 是客户 ID 除了这些字段之外 我还存储一个字符串数组 gt 标签 例如 Pets House 和多行文本 我想在我的应用程序中
  • ElasticSearch 嵌套查询 - 排除父文档

    尝试排除其中子文档之一与查询不匹配的顶级文档 对于下面的示例 我尝试排除其嵌套作业之一具有的所有文档current true 并与company name Elastic 但由于嵌套作业文档之一与current false和公司name E
  • ElasticSearch 定义自定义映射与默认“_doc”映射冲突

    尝试创建自定义映射类型时会发生此问题 为第一个插入弹性创建自定义映射后想要创建 doc映射类型和冲突就发生在这里 第一步我创建一个映射 mappings properties field1 type keyword field2 type
  • 在流浪机器中使用elasticsearch设置graylog2服务器

    我正在尝试在本地开发计算机上安装graylog2 服务器 但遇到了elasticsearch 设置问题 我的elasticsearch作为服务安装在我的开发机器上运行的vagrant机器上 所以我的elasticsearch没有安装在127
  • 从 node.js 创建对 AWS ES 实例的有效签名请求

    我试图找到一个示例 说明如何连接到 Node js 中的 AWS ES 实例 然后通过一个简单的请求访问 ES 集群 我正在尝试使用elasticsearch节点包 https www npmjs com package elasticse
  • Elasticsearch - 使用“标签”索引来发现给定字符串中的所有标签

    我有一个 elasticsearch v2 x 集群 其 标签 索引包含大约 5000 个标签 tagName tagID 给定一个字符串 是否可以查询标签索引以获取在该字符串中找到的所有标签 我不仅想要精确匹配 而且还希望能够控制模糊匹配
  • 尝试在 ElasticSearch 中查询和聚合,但聚合不起作用 - elasticsearch.js 客户端

    我尝试查询我的数据集有两个目的 匹配一个术语 可转售 true 按价格对结果进行排序 最低到最高 数据集 文档是 data resellable true startingPrice 0 id 4emEe r x5DRCc5 buyNowP
  • 如何增加vm.max_map_count?

    我正在尝试在 Ubuntu EC2 计算机 t2 medium 中运行弹性搜索 但我收到消息 最大虚拟内存区域 vm max map count 65530 太低 至少增加到 262144 我怎样才能增加vm max map count v
  • ElasticSearch 映射对分组文档进行折叠/执行操作的结果

    有一个对话列表 每个对话都有一个消息列表 每条消息都有不同的字段和action场地 我们需要考虑到在对话的第一条消息中使用了动作A 在几条消息之后有使用的动作A 1过了一会儿A 1 1等等 有一个聊天机器人意图列表 对对话的消息操作进行分组
  • Elasticsearch:根据类型对不同字段进行排序

    我的索引中有两种类型 Event and City 我正在尝试按日期将它们全部排序 但是 每种类型的日期字段名称都不同 为了Event该值是在updated at领域和City日期是在update at其嵌套对象之一中的字段city eve

随机推荐

  • firebug - 隐藏特定 .css 文件中的样式

    有什么方法可以隐藏 firebug 样式面板中特定样式表的样式吗 例如我使用 CSS 重置并包含reset css在我的页面中 但当它在样式窗口中显示无用信息时 它看起来不太好 谢谢 我知道您在询问如何使用 FireBug 禁用样式表 你两
  • 如何减少这么长的 if 语句列表?

    所以这里我有一长串 if 语句 应该检测int anArray 是在一定范围内的 anArray new int 15 的价值观int anArray 从 开始anArray 0 是 49 50 51 59 0 5 9 10 15 19 5
  • VS Code 光标跳到底部

    为什么我创建新标签时光标会跳到最后一行代码 例如 当我在 HTML 中输入注释时 只要输入 它就会跳到底部 我必须更改什么设置才能防止这种情况发生 这很烦人 我刚刚开始使用 VS Code 如果这是一个非常简单的修复 那么我很抱歉 我有类似
  • Angular 中 .next() 函数的解释

    import Component Input Output EventEmitter from angular core var colorPickerCss app css ui color picker css var colorPic
  • linux bash 中的 $RANDOM 在启动时将始终相同

    我遇到了这个问题 我很困惑 我在 bash 中使用 RANDOM 作为 Linux 启动过程一开始的测试字符串 非常有趣的是 我观察到每次 linux 启动时 RANDOM 都是相同的 就我而言 它是 18869 我只是将 RANDOM 回
  • 查找字符串是否仅包含重复字符的正则表达式是什么?

    我已经经历过 正则表达式使用 Java 模式匹配字符串中的四个重复字母 https stackoverflow com questions 2622776 regex to match 4 repeated letters in strin
  • 设置 ChromeCast MediaRoute 按钮的样式

    我似乎无法让 MediaRoute 按钮在我的实体 ActionBar 中显示为 白色 我的问题是 如何在不更改可绘制名称的情况下将 MediaRoute 按钮设置为浅色或深色 在这里查看类似的问题 如何更改 ActionBar 中 Med
  • 尝试在 Heroku 上通过 bootstrap-sass 导入 bootstrap 但出现错误

    我有一个 Rails 应用程序 并尝试按照此处的说明使用 Bootstrap sass 在 Heroku 上导入 Bootstrap https github com thomas mcdonald bootstrap sass https
  • 选择不等待 ASP.NET Core WebAPI 控制器中的异步函数运行

    场景如下 后端 Asp NET Core WebAPI 2 2 前端 使用 API 的 iOS 和 Android 我有一个功能允许用户向其他用户发送消息 消息的发送是通过异步操作完成的 public async Task
  • 如何使用 CodeBlocks 安装 Boost 库?

    我的发言即将结束了 我正在研究保存文件和序列化 结果发现 C 不具备 Python 所具有的那种原生序列化能力pickle 但幸运的是 它有 Boost 所以我开始寻求在我的系统上安装 Boost 1 47 以便能够序列化我的对象 但到目前
  • Symfony 4.1 - CORS 问题

    我的 symfony 4 1 API 有一些问题 我正在通过使用 Angular httpclient 的离子应用程序使用我的 API 我的问题尤其是 CORS 标头Access Control Allow Methods 我遇到了 COR
  • Jackson 3rd Party 类没有默认构造函数

    我正在尝试使用 Jackson 从 Json 读取 写入我的 POJO 截至目前 我已对其进行配置并可用于我的课程 第三方课程除外 当尝试读取 Json 时 出现错误 org codehaus jackson map JsonMapping
  • 正则表达式中的“?i”和“?-i”是什么意思?

    有人可以解释一下什么吗 i and i 用正则表达式包裹一个单词是什么意思 i test i 我测试过并且匹配test TEST and teSt 但我以前从未见过这个 什么是 before i意思是 我看到了这个here https gi
  • iPhone 长 plist

    我有一些数据想要添加到我的应用程序中 大约 650 个类别 包括名称 ID 号 每个类别平均有 85 个项目 每个类别都有一个名称 ID 号 iPhone会支持这么大的plist吗 我想首先在 UITableView 中显示类别 当选择一个
  • JSON 是否应该包含空值 [关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 我正在创建一个以 JSON 形式返回结果的 API 当值为空时是否应该在结果中包含键是否有当前的最佳实践 例如 title Foo Bar au
  • 如何访问在 try 语句中初始化的对象

    我是 C 新手 想知道您是否可以执行以下操作 或者您是否有更好的方法 我的数据库处理程序有一个自定义异常类 我在主程序中使用它 如下所示 int main int argc char const argv try DatabaseHandl
  • 如何在 IntelliJ 中更改 Kotlin 的“此属性有支持字段”代码编辑器突出显示?

    天哪 IntelliJ 的这种默认颜色突出显示令人眼花缭乱 我怎样才能改变这个 您可以像修改任何其他语法突出显示一样修改 Kotlin 颜色突出显示 你会在下面找到它Preferences gt Colors Fonts gt Kotlin
  • 使用双 SIM 卡功能时如何获取 PhoneStateListener

    所以我目前正在 Android 中为双 SIM 卡设备实现呼叫转移功能 为了读取 SIM 卡呼叫转移的当前状态 启用 禁用 我执行以下操作 我创建一个TelephonyManager object val telephonyManager
  • 更改 SQL 中序列号的位置

    我有一个名为学生的表 结构如下 AdmissionNo RollNo Name 1001 1 A 1003 2 B 1005 3 C 1006 4 D 1008 5 E 现在我想将 rollno 4 更改为 2 并增加即将到来的数字 所以结
  • Logstash mutate 添加 json 中的所有字段

    我正在使用 Logstash 插件 logstash input rethinkdb 该插件获取数据库中的所有编辑并输出包含以下结构的 json 对象 db itjobs table countries old val null new v