我有一个日期在每个日志文件中只出现一次,并且我尝试在匹配一次后将该日期添加到所有后续事件中,使其在某些方面充当全局变量。 (日期位于文档顶部,我无法使用multiline
或更改文件名或内容)
为此,我的方法是使用grep
过滤器drop => false
.
grok {
patterns_dir => "[...]"
match => [ "message", "%{DATELINE}" ]
tag_on_failure => [ ]
}
grep {
add_field => { "grepdate" => "%{mydate}" }
drop => false
}
date {
locale => "en"
timezone => "Europe/Paris"
match => [ "grepdate", "yyyyMMdd" ]
target => "grepdate"
}
正则表达式:
DATELINE (= Date: (?<mydate>[0-9]{8}))
我注意到的是grepdate
字段已正确添加到所有事件中 - 这就是我想要的 - 但该字段的值不是日期本身(%{mydate}
),但是实际的字符串"%{mydate}"
,除非第一次实际匹配时(在解析我的日志文件中的实际日期时,grepdate
字段包含正确的值)
我可以做什么来解决这个问题?
任何帮助是极大的赞赏。
Edit:
我现在正在尝试一种解决方案,其中包括使用memorize
插入。但是,我收到以下错误:
不能使用超过 1 个过滤器工作线程,因为以下插件
不要与超过一名工人一起工作:记住
有没有办法使这个过滤器线程安全?
也许你应该使用官方的aggregate filter为此,自memorize
不是官方的并且不适用于 Logstash >2.0.
事情会是这样的:
# same as what you have now
grok {
patterns_dir => "[...]"
match => [ "message", "%{DATELINE}" ]
tag_on_failure => [ "not_date_line" ]
}
# add a fictional taskId field to correlate all lines
mutate {
add_field => { "taskId" => "all" }
}
# if we're processing the first line, remember the date
if "not_date_line" not in [tags] {
aggregate {
task_id => "%{taskId}"
code => "map['mydate'] = event['mydate']"
}
}
# if we're processing the next lines, add the date
else {
aggregate {
task_id => "%{taskId}"
code => "event['mydate'] = map['mydate']"
map_action => "update"
timeout => 0
}
}
然后您的所有活动都会有一个mydate
包含第一条日志行上的日期的字段。
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)