程序员经验分享-hwhale

如何配置Filebeat收集日志文件

2023-05-16

[Filebeat7.6]

日志输入

filebeat.inputs:
- type: log
  paths:
    - /var/log/*.log
    - /var/path2/*.log

您可以添加额外的 配置设置（如fields， include_lines，exclude_lines，multiline，等），从这些文件中获取行。您指定的选项将应用于此输入收集的所有文件。

要将不同的配置设置应用于不同的文件，您需要定义多个输入节：

filebeat.inputs:
- type: log 
  paths:
    - /var/log/system.log
    - /var/log/wifi.log
- type: log 
  paths:
    - "/var/log/apache2/*"
  fields:
    apache: true
  fields_under_root: true

确保在所有input中每个文件只定义一次，因为定义多次这可能导致意外的行为。

配置选项

  • paths

    将获取的Glob的路径的列表。这里也支持Go Glob支持的所有模式。
    例如，将所有文件从子目录的获取，/var/log/*/*.log，将从/var/log的子文件夹中提取所有.log文件。它不会从/var/log文件夹本身获取日志文件。可以使用可选recursive_glob设置以递归方式获取目录所有子目录中的所有文件。

  • recursive_glob.enabled
    默认开启，启用扩展**为递归glob模式。它将单个扩展**为8级深度*模式。

  • encoding

    用于读取包含国际字符的数据的文件编码。请参阅W3C建议在HTML5中使用的编码名称。

  • exclude_lines

    正则表达式列表，匹配要排除的行。Filebeat会删除列表中与正则表达式匹配的所有行。默认情况下，不删除任何行。空行将被忽略。

    如果还指定了多行设置，则在用过滤各行之前，将每条多行消息合并为一行exclude_lines。

    以下示例将Filebeat配置为删除以开头的任何行 DBG。

    filebeat.inputs:
- type: log
  ...
  exclude_lines: ['^DBG']

    支持的正则表达式模式的列表，请参见正则表达式支持。

  • include_lines

    正则表达式列表，以匹配您要匹配的行。Filebeat仅匹配与列表中的正则表达式匹配的行。默认情况下，所有行均被导出。空行将被忽略。

    如果还指定了多行设置，则在用过滤各行之前，将每条多行消息合并为一行include_lines。

    以下示例将Filebeat配置为导出以ERR或开头的任何行WARN：

    filebeat.inputs:
- type: log
  ...
  include_lines: ['^ERR', '^WARN']

    NOTE

    如果同时定义了include_lines和exclude_lines，首先执行include_lines，然后执行exclude_lines`。定义两个选项的顺序无关紧要。

    以下示例匹配所有包含的日志行sometext，但以DBG（调试消息）开头的行除外

    filebeat.inputs:
- type: log
  ...
  include_lines: ['sometext']
  exclude_lines: ['^DBG']
harvester_buffer_size

在获取文件时使用的缓冲区大小（以字节为单位）。默认值为16384。

max_bytes

一条日志消息可以具有的最大字节数。之后的所有字节 max_bytes将被丢弃而不发送。此设置对于可能会变大的多行日志消息特别有用。默认值为10MB（10485760）。

json

这些选项使Filebeat可以解码结构化为JSON消息的日志。Filebeat逐行处理日志，因此，只有每行有一个JSON对象时，JSON解码才有效。

multiline

控制Filebeat如何处理跨多行的日志消息的选项。有关配置多行选项的更多信息，请参见多行消息。

ignore_older

如果启用此选项，则Filebeat将忽略在指定时间跨度之前修改的所有文件。ignore_older如果长时间保留日志文件，则配置特别有用。例如，如果要启动Filebeat，但只想发送最新的文件和上周的文件，则可以配置此选项。

您可以使用2h（2小时）和5m（5分钟）之类的时间字符串。默认值为0，将禁用设置。注释掉配置与将其设置为0具有相同的效果。

important

您必须设置ignore_older为大于close_inactive。

受此设置影响的文件分为两类：

  • 从未收集过的文件
  • 收获但未更新的文件的时间不超过 ignore_older
scan_frequency

Filebeat多久检查一次指定用于收集的路径中的新文件。指定1s可以尽可能频繁地扫描目录，而不会导致Filebeat频繁扫描。我们不建议设置此值<1s。

如果您需要近乎实时地发送日志行，设置 scan_frequency调整，close_inactive以使文件处理程序保持打开状态并不断轮询文件。

默认设置为10秒。

常用选项

enabled

使用该enabled选项可以启用和禁用输入。默认情况下，启用设置为true。

tags

Filebeat包含在tags每个已发布事件的字段中的标签列表。使用标记，可以轻松地在Kibana中选择特定事件或在Logstash中应用条件过滤。这些标签将被添加到常规配置中指定的标签列表中。

例：

filebeat.inputs:
- type: log
  . . .
  tags: ["json"]
fields

您可以指定可选字段以将其他信息添加到输出中。例如，您可以添加可用于过滤日志数据的字段。字段可以是标量值，数组，字典或它们的任何嵌套组合。默认情况下，您在此处指定的字段将被分组fields到输出文档中的子词典下。要将自定义字段存储为顶级字段，请将fields_under_root选项设置为true。如果在常规配置中声明了重复字段，则其值将被此处声明的值覆盖。

filebeat.inputs:
- type: log
  . . .
  fields:
    app_id: query_engine_12
fields_under_root

如果将此选项设置为true，则自定义 字段将作为顶级字段存储在输出文档中，而不是分组在fields子词典下。如果自定义字段名称与Filebeat添加的其他字段名称冲突，则自定义字段将覆盖其他字段。

processors

应用于输入数据的处理器列表。

有关在配置中指定处理器的信息，请参阅处理器。

pipeline

要为此输入生成的事件设置的接收节点管道ID。

也可以在Elasticsearch输出中配置管道ID，但是此选项通常会导致配置文件更简单。如果在输入和输出中都配置了管道，则使用输入中的选项。

keep_null

如果将此选项设置为true，则带有null值的字段将发布在输出文档中。默认情况下，keep_null设置为false。

index

如果存在，此格式化的字符串将覆盖来自此输入的事件的索引（对于elasticsearch输出），或者设置raw_index事件的元数据的字段（对于其他输出）。该字符串只能引用代理名称和版本以及事件时间戳。用于访问动态字段，使用 output.elasticsearch.index或处理器。

值示例："%{[agent.name]}-myindex-%{+yyyy.MM.dd}"可能扩展为"filebeat-myindex-2019.11.01"。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

如何配置Filebeat收集日志文件 的相关文章

  • 用Springboot＆WebScoket再造一个类似微信的聊天小程序（附源码）

    基于Springboot和WebScoket写的一个在线聊天小程序 项目说明 此项目为一个聊天的小demo xff0c 采用springboot 43 websocket 43 vue开发 其中有一个接口为添加好友接口 xff0c 添加好友

  • 面试了3000个专科程序员，终于发现了专科跟本科的本质到底差在哪了，与学历无关

    我有个副业 xff08 免费的 xff0c 但是要点缘分 xff0c 毕竟时间不够 xff09 xff0c 刚好在指导一些毕业的程序员找工作 我发现 xff0c 能力差别体现在后天的努力上 xff0c 职业发展的差距形成于认知 同时也整理了

  • 答应我不要再用Xshell了 这个新开源的终端工具酷炫又好用

    我工作中用得最多的工具之一就是 终端连接工具 了 xff0c 因为经常和 Linux 服务器打交道 xff0c 经常在上面跑代码 排查系统问题等等 Windows 系统最常用的就是 Xshell 这款终端工具了 xff0c 但是它只能用于非

  • 刷爆LeetCode 字节技术官亲码算法面试进阶神技太香了

    数据结构与算法 正赶上金三银四 xff0c 说到数据结构与算法这个词 xff0c 肯定有不少人会眉头一皱 也不知从什么时候开始 xff0c 以字节为主的一大波公司面试开始了对算法的连环拷问 如果事前没有系统地刷一波题的话 xff0c 算法这

  • 如果面试官问你CAS，你还这么答，可能就要回去等通知了

    前言 大家好 xff0c 我是JAVA高级开发之路 xff0c 一个总在为粉丝解决面试题的程序员 最近有几个粉丝说在面试面试中遇到了CAS的问题 xff0c 连着几次面试都没有让面试官满意 xff0c 区区CAS底层源码 xff0c 怎能难

  • Python的多线程爬虫详解

    多线程使用流程 Python 提供了两个支持多线程的模块 xff0c 分别是 thread 和 threading 其中 thread 模块偏底层 xff0c 它相比于 threading 模块功能有限 xff0c 因此推荐大家使用 thr

  • MAVROS started. MY ID 1.240, TARGET ID 1.1

    运行Mavros未报错 xff0c 但是启动不成功 xff1a INFO Known MAVLink dialects common ardupilotmega ASLUAV autoquad icarous matrixpilot pap

  • 树莓派和51单片机通信问题解决

    1 关于树莓派的通信 xff0c 网上教程也是很多的 xff0c 我们都知道发的数据是bytes类型的二进制数据 xff0c 到51板接收是需要数据类型转换的然后进行判断 xff0c 如果没有led显示屏会比较麻烦 2 树莓派部分查看这个教

  • OpenMV入门介绍

    目录 一 OpenMV是什么二 OpenART mini与OpenMV对比三 图像处理背景知识1 像素和分辨率2 帧率3 RGB三原色4 LAB颜色空间 四 OpenMV图像处理方法1 感光元件自动增益 白平衡 曝光窗口ROI 2 画图画线

  • Lock和RLock的区别

    lock和rlock都可以用来同步进程或者线程 xff0c 它们之间的区别在于rlock是可重入的 xff0c 也就是一个线程可以获取多次 xff0c 只有在release相同次数时 xff0c rlock才会有locked状态转换为unl

  • 【Gitee】关于远程代码的拉取、修改和重新上传

    一 关于Forked forked的意思是从别人的代码库中复制一份到你自己的代码库 xff0c 与普通的复制不同 xff0c fork包含了原有库中的所有提交记录 xff0c fork后这个代码库是完全独立的 xff0c 属于你自己 xff

  • 基于视频采集卡驱动的错误修改CX26828

    基于视频采集卡驱动的错误修改CX26828 1 设置root密码 command xff1a sudo passwd root 2 查看系统状态 输入命令 xff1a lsmod root 64 ubuntu home yu lsmod i

  • Sqlite远程连接数据

    Sqlite远程连接数据 1 连接本地数据库 QSqlDatabase db 61 QSqlDatabase addDatabase 34 QSQLITE 34 db setDatabaseName 34 personnel db 34 d

  • 基于Tiny210开发板视频显示

    基于Tiny210开发板视频显示 1 写基于V4L2编程 61 61 61 61 61 61 61 61 videodevice h文件 61 61 61 61 61 61 61 61 61 ifndef VIDEODEVICE H def

  • 纯C++去雾算法

    去雾算法 前言 xff1a 经过不断的改进研究 xff0c 该算法终于稳定 xff0c 高效的问世了 xff01 经过研究使该算法适应大雾环境 xff0c 对该算法的内存优化 xff0c 能够实时的高效的运行 一 实时视频 xff1a 二

  • 致院长的一封信

    致院长的一封信 行了一路 xff0c 梦了一路 xff0c 念了一路 xff0c 伤了一路 xff0c 青春的此岸 xff0c 我眉心微蹙 xff0c 聆听清风诉说着经年的过往 xff1b 走了一路 xff0c 赏了一路 xff0c 听了一

  • LINUX字符设备驱动程序实例

    我是通过UBUNTU10 10测试该驱动程序的 xff0c 系统内核为linux 2 6 35 22 可使用uname r 命令来查看当前内核的版本号 下载安装LINUX内核 xff0c 需要下载和本机一样版本的内核源码 1 xff0c 安

  • c++多态总结

    今天来总结一些c 43 43 中 xff0c 有关多态的知识 多态 xff1a 多态可以简单地概括为 一个接口 xff0c 多种方法 xff0c 程序在运行时才决定调用的函数 xff0c 它是面向对象编程领域的核心概念 接下来 xff0c

  • 600词汇过四级

    600 词汇过四级 A 1 abandon vt 抛弃 xff0c 放弃 abandon oneself to despair 陷于绝望 xff1b abandon oneself to failures 自暴自弃 2 abrupt adj

  • 华清远见c语言学习笔记四

    test c Created on Jun 29 2012 Author 孙旭 华清远见实验室 1 include lt stdio h gt include lt stdlib h gt include lt string h gt in

随机推荐

  • 华清远见c语言学习笔记六

    test c Created on Jun 29 2012 Author 孙旭 华清远见实验室 1 include lt stdio h gt 找出一个字符串中的数字 include lt string h gt int main char

  • c++示例代码-友元

    一 友元函数 include lt iostream h gt include lt math h gt class Point Point类声明 public 外部接口 Point int xx 61 0 int yy 61 0 X 61

  • C/C++空指针总结

    在C中 在C中 xff0c 使用NULL表示空指针 xff0c 实际上 xff0c NULL被定义为 xff1a define NULL void 0 其中 void 0 表示对 0 进行强制转换 xff0c 转换为一个void类型的指针

  • Windows11镜像下载及安装

    现在微软已正式推出Windows 11预览版系统 xff0c 目前最新系统版本是22000 71 xff0c 正式版可能会在10月份推出 xff0c 届时拥有正版Windows 10系统的就可以通过Windows Update工具免费在线升

  • ROS2安装及基础知识介绍

    ros介绍 ROS xff08 Robot Operating System xff09 是一个开源的机器人操作系统 xff0c ROS系统是由大量节点组成 xff0c 其中任何一个节点都可以通过发布 订阅的方式与其他节点进行通信 举个栗子

  • Ubuntu Gnome GTK程序开机启动

    启动图标准备 GTK程序 开机启动需要首先制作desktop文件 例如 myapp autostart desktop 如下 xff1a Desktop Entry Encoding 61 UTF 8 Name 61 App Comment

  • 学习记录

    最近打算用visio画个流程图 xff0c 看看会不会遇到什么坑 1 最近打算用visio画几个流程图 xff0c 遇到什么问题在记录一番 2 分析学习一下系统权限的分配 xff0c 做到可以配置权限 xff0c 灵活一些 用户 gt 角色

  • 计算机专业学生，大三了找技术岗，怎么写一份好简历？内附269份简历模板

    计算机专业学生 xff0c 大三了找技术岗 xff0c 怎么写一份好简历 xff1f 内附269份简历模板 大家好 xff0c 我是好好学习 xff0c 天天编程的博主 xff0c 一个每天在互联网上种菜和砍柴的程序员 因为疫情的影响 xf

  • Digest Authentication 摘要认证（转载）

    原文 Digest Authentication 摘要认证 weixin 34007906的博客 CSDN博客 摘要 式认证 xff08 Digest authentication xff09 是一个简单的认证机制 xff0c 最初是为HT

  • 面试问到 Promise，这样回答最完美了

    promise是什么 xff1f Promise是异步编程的一种解决方案 xff0c 比传统的回调函数和事件更合理和强大 所谓Promise xff0c 简单来说就是一个容器 xff0c 里面保存着某个未来才会结束的事情 xff08 通常是

  • Linux编译安装内核

    0 前言 Linux系统中可同时安装多个内核镜像 xff0c 启动时选其一运行即可 xff0c Ubuntu14 04安装Linux内核 介绍了通过apt get工具安装内核的方法 xff0c 本文将介绍如果由源码安装新内核 验证版本 xf

  • Ubuntu 16.04 上用RealSense ZR300跑Vins Mono

    Ubuntu 16 04 上用RealSense ZR300跑Vins Mono 这篇博客主要讲使用RealSense ZR300运行Vins Mono xff0c 主要包括 xff1a xff08 1 xff09 ROS上RealSens

  • 一文熟悉golang编写k8s应用部署工具

    背景 xff1a 在上篇文章里 xff0c 完成了一个简陋的spring cloud 43 k8s的应用系统 xff0c 那么如果手工部署的话 xff0c 那得分别打包5个服务 xff0c 打5个镜像 xff0c 然后安装5个服务 凡是麻烦

  • jdk11安装后不自动安装jre的问题

    回寝之后我又重新自己从头配置了一遍jdk11 关于jdk11安装后不自动安装jre的问题 xff1a 虽然安装jdk11之后可以运行java version查看版本 xff0c 但还是感觉很奇怪 查了一下 xff0c 现在的jdk本身也包含

  • 说说家乡的互联网-江西龙南

    刚好在CSDN查资料 xff0c 看到这个征文 xff0c 勾起年少回忆 xff0c 遂写下此文 2003年 xff0c 我刚上初一 xff0c 学校开设了微机课 xff0c 我第一次接触了互联网 十一 xff0c 二岁的孩子对新事物充满了

  • Python 内部函数修改外部变量的值报错

    今天写题时遇到了这样一个问题 xff1a UnboundLocalError local variable 39 total 39 referenced before assignment 错误出现在我试图通过内部函数修改外部变量的值 xf

  • go get xxx: disabled by GOPRIVATE/GONOPROXY解决方案

    go拉包比如go get的时候出了这个错 xff0c 资料比较少 xff1a disabled by GOPRIVATE GONOPROXY 长话短说 xff0c 解决方案 xff1a 给你的GOPROXY加上direct xff0c 注意

  • Window10系统安装V-rep教程（有百度网盘文件包）

    Window10系统安装V rep教程 64 meng 看了很多教程 xff0c 都没有找到适合Windows10的V rep安装教程及安装包 xff0c 官网上又那么慢 xff08 最近更新了篇博客 xff0c 大家需要其他版本的请移步

  • Integer和int的区别

    Integer是int的包装类 int是基本数据类型 最主要的区别就是这句 一个是基本数据类型 一个是类 但其实其中隐含的细节很多 比如 Integer的默认初始值是null xff0c 而int的默认初试值是0 Integer变量必须先实

  • 如何配置Filebeat收集日志文件

    Filebeat7 6 日志输入 filebeat inputs type log paths var log log var path2 log 您可以添加额外的 配置设置 xff08 如fields xff0c include line

热门标签