Logstash - 如何在没有目标的情况下使用分割过滤器分割数组?

2024-04-06

我正在尝试将 JSON 数组拆分为多个事件。这是一个示例输入:

{"results" : [{"id": "a1", "name": "hello"}, {"id": "a2", "name": "logstash"}]}

这是我的过滤器和输出配置:

filter {
  split {
    field => "results"
  }
}
stdout { 
  codec => "rubydebug"
}

这会生成 2 个事件,一个事件对应数组中的每个 JSON。它接近我正在寻找的东西:

{                                              
       "results" => {                          
          "id" => "a1",                        
        "name" => "hello"                      
    },                                         
      "@version" => "1",                       
    "@timestamp" => "2015-05-30T18:33:21.527Z",
          "host" => "laptop",                                      
}                                              
{                                              
       "results" => {                          
          "id" => "a2",                        
        "name" => "logstash"                   
    },                                         
      "@version" => "1",                       
    "@timestamp" => "2015-05-30T18:33:21.527Z",
          "host" => "laptop",                                   
}

问题在于嵌套的“结果”部分。 “结果”是目标参数的默认值。 有没有办法在不生成嵌套 JSON 的情况下使用拆分过滤器,并得到如下内容:

{                                                                     
          "id" => "a1",                        
        "name" => "hello"                      
      "@version" => "1",                       
    "@timestamp" => "2015-05-30T18:33:21.527Z",
          "host" => "laptop",                                      
}                                              
{                                              
          "id" => "a2",                        
        "name" => "logstash"                   
      "@version" => "1",                       
    "@timestamp" => "2015-05-30T18:33:21.527Z",
          "host" => "laptop",                                   
}

目的是将其提供给 ElasticSearch 输出,每个事件都是一个带有 document_id => "id" 的文档。欢迎大家提出好的解决方案!


如果您知道所有字段的内容(正如您所看到的那样),您可以简单地重命名这些字段:

    mutate {
            rename => [
                    "[results][id]", "id",
                    "[results][name]", "name"
            ]
            remove_field => "results"
    }

如果您不知道所有字段是什么,您可以编写一个ruby代码过滤器做了一个event['results'].each...并从结果的子字段创建新字段。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Logstash - 如何在没有目标的情况下使用分割过滤器分割数组? 的相关文章

随机推荐