程序员经验分享-hwhale

ElasticSearch + Grafana 实现日志监控告警

2023-05-16

配置步骤

点击左边栏 🔔 进入告警管理中心：

  1. Alert rules：告警规则管理

  2. Contact points：告警联系人管理

  3. Notification policies：告警通知策略管理

  4. Silence：告警静默管理

  5. Alert group：告警历史管理

配置规则

以 customer 为例！

数据提取 & 告警策略

  1. 选择数据源：选择对应项目所在数据源；

  2. 设置查询区间：查询指定区间内的日志（相对时间）；

  3. 设置查询条件：指定查询关键词或错误码（越精细越准确越有利于定位问题）；

  4. 设置统计方式：默认使用 count，即统计对应查询数据出现的次数；

  5. 设置告警策略：即达到某个阈值后触发告警

    1. is above：大于

    2. is below：小于

    3. is within range：在某个区间内

    4. is outside range：在某个区间外

    5. Input：数据来源，默认使用④中统计的数据，即 count；

    6. 判断条件：

  6. 图中告警规则含义：在 customer 日志中，最近30分钟内，出现日志级别为 ERROR 的日志条数大于0即告警！

选择 Expression

Expression 即上图中 ⑤ 位置，Grafana 支持 5 种 expression 类型，根据需要选择合适的 expression 类型（使用方法 详见官方文档 ）：

  1. Math： Math 是关于时间序列或数字数据的自由形式的数学公式。数学运算以数字和时间序列为输入，并将其转换为不同的数字和时间序列。

  2. Reduce： Reduce 获取从查询或表达式返回的一个或多个时间序列，并将每个序列转换为单个数字。时间序列的标签作为标签保存在每个输出的减少数上。

  3. Resample： Resample 更改每个时间序列中的时间戳，使其具有一致的时间间隔。主要用例是可以重新采样不共享相同时间戳的时间序列，以便在它们之间执行数学运算。这可以通过对两个系列中的每一个进行重新采样，然后在Math操作中引用重新采样的变量来实现。

  4. Classic condition： 从查询或表达式返回的结果中获取一个或多个时间序列，并检查是否有任何序列匹配阈值条件。

  5. Threshold： 从查询或表达式返回的结果中获取一个或多个时间序列，并检查是否有任何序列匹配阈值条件。

告警条件设置

  1. 设置数据采集周期；

  2. 设置异常情况告警行为。

告警详情

  1. 告警名称：针对错误名称或错误码命名；

  2. 所属文件：即该告警归属于哪个Dashboard，统一使用 monitor；

  3. 告警分组：按业务组/数据源组进行设置；

  4. 告警详情：对应告警信息中的 {{.annotations}} 字段，可对告警进行详细描述。

标签管理

用于在告警消息中展示，对应告警信息中的 {{.alerts[0].labels}} 字段。

标签设计

标签给告警信息管理带来很大的灵活性，可以将标签作为告警补充信息的一部分，合理的设计标签，让告警管理更便捷。

基于告警 PrometheusAlert 中告警模板设计，现设计以下几个标签：

  1. busigroup：项目/业务组（用于后续实现分组告警） （必填）

  2. project：项目名称，进一步区分告警来着哪个项目 （必填）

  3. level：告警级别，便于技术人员做出应急响应 （必填）

  4. instance：告警主机，即项目所部署的主机，便于定位到故障机器 （选填）

PrometheusAlert 告警模板（更多参考）：

{{ $var := .externalURL}}{{ range $k,$v:=.alerts }}    {{if eq $v.status "resolved"}}        告警名称：☀️ [{{$v.labels.alertname}}]({{$var}}) 恢复        告警级别：{{$v.labels.level}}        开始时间：{{$v.startsAt}}        结束时间：{{GetCSTtime ""}}        告警主机：{{$v.labels.instance}}    {{else}}        告警名称：⛈ [{{$v.labels.alertname}}]({{$var}}) 触发        告警级别：{{$v.labels.level}}        开始时间：{{GetCSTtime ""}}        告警主机：{{$v.labels.instance}}        告警信息：{{$v.annotations.description}}        告警详情：[点击查看]({{$v.generatorURL}})    {{end}}{{ end }}

告警通知

Grafana 可以通过不同的分发策略将告警发送给不同的联系人。

告警联系人（Contact points）

添加告警联系人。

  1. 告警联系人名称：业务组-告警渠道（eg：busigroup-fs）

  2. 告警联系人类型：Webhook

  3. 告警联系人url：http://alert.xxxx.com/prometheusalert?type=fs&tpl=grafana-fs&fsurl=https://open.feishu.cn/open-apis/bot/v2/hook/xxxxxxxxxxxx&at=all，替换 飞书webhook 地址（对应链接中fsurl字段，at=all  通知中@所有人）

  4. 告警通知测试：Test——Predefind（预设信息）或 custom（自定义信息）

告警分发（Notification policies）

通过标签可以实现告警分发。

  1. Matching labels：标签匹配，需要匹配告警规则中的某个标签，默认使用 busigroup 。

  2. Contact point：选择当前busigroup对应的告警要发送到的联系人

告警展示

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

ElasticSearch + Grafana 实现日志监控告警 的相关文章

  • CMake：message输出消息

    可以在执行cmkae的时候使用message输出信息 xff1a message lt mode gt 34 message text 34 其中mode有如下几个选项 xff08 优先级由低到高 xff09 xff1a TRACE xff

  • C++(11)：通过underlying_type获取/输出枚举类的值

    C 11 枚举类 风静如云的博客 CSDN博客 c 11 枚举类 介绍了枚举类使用的好处 不过如果直接输出枚举类的值是不行的 include lt iostream gt using namespace std int main enum

  • gitlab-ce安装

    GitLab是一个利用 Ruby on Rails 开发的开源应用程序 xff0c 实现一个自托管的Git项目仓库 xff0c 可通过Web界面进行访问公开的或者私人项目 GitLab拥有与Github类似的功能 xff0c 能够浏览源代码

  • WSL2安装到其它目录下

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 WSL2是什么 xff1f 二 下载Ubuntu20 041 打开Mocrosoft Store2 导出发行版 总结 前

  • 解决Ubuntu20.04安装CUDA-11.2报256错误的问题

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 报错的原因是什么 xff1f 二 安装cuda 11 2三 安装nvidia driver 455四 再装cuda 11

  • ARM整形算力计算

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 RK3399规格 xff1f 二 开始计算1 参考2 计算 总结 前言 之前做人工智能使用RK3399的CPU去推理 x

  • WSL2使用USB设备

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 WSL2是什么 xff1f 二 编译内核1 查看自己的内核2 准备工作3 下载适合自己的内核版本4 开始编译4 使用内核

  • cron的正确食用方法

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 cron是什么 xff1f 二 使用步骤1 字段含义2 加强学习3 crontab命令4 工作原理5 其它用法6 补充内

  • windows 下 mongodb 导入导出collection（json、csv）

    1 下载mongodb xff0c 并安装 https www mongodb com dr fastdl mongodb org win32 mongodb win32 x86 64 2008plus ssl 3 4 0 signed m

  • 【WSL2启用systemd支持(一个配置即可)】

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 systemd是什么 xff1f 二 备份数据1 归档2 备份分支 三 准备工作1 内核升级 四 修改配置总结 前言 很

  • WSL2+Systemd支持度测试

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 systemd是什么 xff1f 二 开始测试1 Docker2 rsyslog3 systemd timesyncd4

  • 部分解决Ubuntu安装X11VNC需要自动登录的问题

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 GDM是什么 xff1f 二 VNC绑定GDM账户1 vnc绑定gdm登录 总结 前言 Ubuntu18 04 Ubun

  • Linux watchdog配置

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 watchdog是什么 xff1f 1 硬件看门狗2 软件看门狗 二 使用步骤1 硬件看门狗2 软件看门狗 总结 前言

  • Ubuntu内核打开硬件watchdog

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 watchdog是什么 xff1f 1 硬件看门狗2 软件件看门狗 二 编译内核1 添加配置2 开始编译3 安装内核4

  • explicit specialization of non-template

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 C 43 43 模板是什么 xff1f 二 错误原因1 主模板2 解决方法 总结 前言 相信很多人在使用C 43 43

  • HC-SR04超声波传感器使用

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 关于HC SR04二 使用步骤1 确保驱动已经安装2 安装GPIO工具3 安装GPIO的Python支持4 Python

  • 红外传感器使用

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 红外传感器 xff1f 二 使用步骤1 确保驱动已经安装2 安装GPIO工具3 安装GPIO的Python支持4 Pyt

  • Ubuntu20.04安装WineHQ-8.0

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 WineHQ是什么 xff1f 二 准备工作1 准备工作2 增加源密钥3 增加源地址 三 开始安装1 更新源缓存2 安装

  • Clion安装Platformio支持

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 系统配置二 什么是platformio三 安装配置1 安装Clion2 安装platformio插件3 安装platfo

  • ExecutorService 并发性能测试

    公共线程池 private ExecutorService executorService 61 Executors newFixedThreadPool 3 测试不使用线程池 xff0c 响应时间 public void test1 th

随机推荐

  • C++引用合并（引用的引用）

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 引用合并总结 前言 最近做一个项目 xff0c 遇到了C 43 43 的引用合并 xff0c 到底是怎么回事呢 xff1

  • C++ 普通旧数据解读（POD）

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 什么是普通旧数据 xff1f 二 使用步骤三 其他方法总结 前言 在开发C 43 43 的时候 xff0c 使用对象是绕

  • C++枚举解读（enum）

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 枚举是什么 xff1f 二 使用步骤1 作用域2 隐式类型转换3 显式指定枚举值类型4 指定枚举值的值4 整形显式转换成

  • RK3399实际编码能力

    提示 xff1a 文章写完后 xff0c 目录可以自动生成 xff0c 如何生成可参考右边的帮助文档 文章目录 前言一 RK3399简单介绍二 开始测试1 测试结果 总结 前言 最近在做一个项目 xff0c 需要用到RK3399的硬解码和硬

  • workbox学习笔记

    workbox学习笔记 一 PWA介绍 1 1 学习workbox之前先了解一下PWA xff08 如果了解请跳过 xff09 PWA xff08 全称 xff1a Progressive Web App xff09 也就是说这是个渐进式的

  • Python 学习笔记 （1）输出语句

    题主是大一学生 xff0c 刚刚开始学习python xff0c 但是题主有一定的c语言基础 xff0c 在这里以两者对比的形式做一些学习笔记 这里准备把输出语句单独拿出来写一篇文章 xff0c 因为笔者觉得python 的输出语句语法很繁

  • Error: L6218E: Undefined symbol XXXX (referred from main.o)

    学习keil5 问题记录 报错Error L6218E Undefined symbol XXXX referred from main o 是因为没有在User里添加需要的 c文件 在此处添加写好的文件 C 右击User点击Add Exu

  • Debian/Ubuntu 系统环境配置

    目录 一 Debian下使用Vi方向键变字母的解决办法二 Debian打开locales中文编码支持三 Debian 安装中文输入法四 Debian 超强vim配置文件简易安装方法 xff1a 自己手动安装 xff1a 其它VIM配置参考链

  • Ubuntu 20.04 安装配置 及 ZYNQMP开发环境搭建

    Ubuntu 20 04 安装配置 及 ZYNQMP开发环境搭建 一 磁盘文件选单个文件二 安装界面显示不全三 安装类型四 VMware tools安装失败五 更换软件源五 安装开发环境六 开机自动挂载硬盘七 Xilinx Vitis安装1

  • POSTGRESQL 插入数据时主键冲突异常

    异常 xff1a 表INSERT不了数据 postgres 61 insert into t rows name values 39 b 39 ERROR duplicate key value violates unique constr

  • C语言的变长参数 va_arg

    void simple va fun int i va list arg ptr char s 61 NULL va start arg ptr i s 61 va arg arg ptr char va end arg ptr print

  • 通俗讲解 同步、异步、阻塞、非阻塞 编程

    真正意义上的 异步IO 是说内核直接将数据拷贝至用户态的内存单元 xff0c 再通知程序直接去读取数据 select poll epoll 都是同步IO的多路复用模式 1 同步和异步 同步和异步关注的是消息通信机制 所谓同步 xff0c 就

  • Nginx 提示 504 Gateway Time-out(The gateway did not receive a timely response from the...)解决办法

    本文介绍nginx出现504 Gateway Time out问题的原因 xff0c 分析问题并提供解决方法 1 问题分析 nginx访问出现504 Gateway Time out xff0c 一般是由于程序执行时间过长导致响应超时 xf

  • MySQL8 设置远程访问授权

    开启 MySQL 的远程登陆帐号有三大步 xff1a 1 确定服务器上的防火墙没有阻止 3306 端口 MySQL 默认的端口是 3306 xff0c 需要确定防火墙没有阻止 3306 端口 xff0c 否则远程是无法通过 3306 端口连

  • 三次握手，四次挥手，为什么是三次握手四次挥手

    三次握手 两次握手 xff08 情况1 xff09 两次握手 xff08 情况2 xff09 OK xff0c 下面正经地来回答下这个问题 xff0c 要搞清楚这个问题 xff0c 首先得了解TCP究竟是如何保证可靠传输的 PS xff1a

  • VirtualBox 磁盘扩容(亲测有效)

    参考 xff1a VirtualBox和VMware虚拟机centos dev mapper centos root 磁盘扩容 亲测有效 蜡笔小新儿的博客 CSDN博客 virtualbox虚拟机磁盘扩容 虚拟机磁盘扩容一 VirtualB

  • 完美解决 Could not find a version that satisfies the requirement 安装包名字 (from versions: )

    大家在刚开始使用python 时会遇到缺少python 库的问题 xff0c 提示 No module named 安装包名字 问题 在解决安装包问题中在网上找了很多的方法 xff0c 方法很多各种各样 xff0c 对一部分人有用 xff0

  • Go语言实现对称加密算法AES、DES、3DES和非对称加密算法RSA

    1 对称加密算法 1 1 特点 加密和解密使用的是同一个密钥 数据私密性双向保证 也就是加密和解密都不能泄露密码 1 2 优缺点 优点 加密效率高 适合大些的数据加密 缺点 安全性相对非对称低 1 3 go语言实现对称加密算法 1 3 1

  • Ubuntu 上安装 MozJpeg 详解

    参考 xff1a How to Install MozJpeg on Ubuntu 18 04 3 CodeFAQ 2023 04 26 花了很多时间 xff0c 绕了很多弯路才成功安装 mozjpeg 图片压缩命令 xff1b 特记录一下

  • ElasticSearch + Grafana 实现日志监控告警

    配置步骤 点击左边栏 x1f514 进入告警管理中心 xff1a Alert rules xff1a 告警规则管理 Contact points xff1a 告警联系人管理 Notification policies xff1a 告警通知策

热门标签