Prometheus中存储的数据为时间序列，是由Metric的名字和一系列的标签(键值对)唯一标识的, 不同的标签代表不同的时间序列，即 通过指定标签查询指定数据 。
指标+标签实现了查询条件的作用，可以指定不同的标签过滤不同的数据
被监控端纳入Prometheus时定义了一些元数据标签
在Prometheus所有的Target实例中都包含一些Metadata标签信息，可以通过targets页面查看实例的metadata标签的内容，例如：
除了这些默认的标签以外，还可以为Target添加自定义的标签。
元标签只是Prometheus使用，不会写入时序数据库中，在promql中无法查到
自定义标签后，可以根据特定自定义标签实现多维度查询
- job_name: 'BJ Linux Server'
basic_auth:
username: prometheus
password: 123456
static_configs:
- targets: ['192.168.179.99:9100']
labels:
idc: tongniu
project: www
- job_name: 'Shanghai Linux Server'
basic_auth:
username: prometheus
password: 123456
static_configs:
- targets: ['192.168.179.99:9100']
labels:
idc: sss
project: blog
目的：为了更好的标识监控指标
重新标记的两个阶段:
使用示例：
场景：动态生成添加标签（对已有的标签重新标记）
- job_name: 'Linux Server'
basic_auth:
username: prometheus
password: 123456
static_configs:
- targets: ['192.168.179.99:9100']
metric_relabel_configs:
- action: replace
source_labels: ["instance"]
regex: (.*):([0-9]+) # 正则匹配标签值，( )分组
replacement: $1 # 引用分组匹配的内容
target_label: "ip"
场景：选择采集的目标
- job_name: 'Linux Server'
basic_auth:
username: prometheus
password: 123456
static_configs:
- targets: ['192.168.179.99:9100']
relabel_configs:
- action: drop
regex: "192.168.179.99:9100" # 正则匹配标签值
source_labels: ["_address_"]
在target里面就没有192.168.179.99:9100这台机器
删除使用 labeldrop：在入库之前删除regex匹配的标签
- job_name: 'Linux Server'
basic_auth:
username: prometheus
password: 123456
static_configs:
- targets: ['192.168.179.99:9100']
relabel_configs:
- action: labeldrop
regex: "job" #正则匹配标签名称
Keep只有匹配的才会去采集数据，不匹配的就不采集。即pod的注解中声明了prometheus_io_scrape: true这个字段，那么就会把你纳入监控，如果没有声明就不会纳入监控。
replace
处理监控pod连接的ip地址，api接口，还有协议都需要重新标记默认的字段
# 重命名采集目标协议
- action: replace
regex: (https?)
source_labels:
- __meta_kubernetes_service_annotation_prometheus_io_scheme
target_label: __scheme__
# 重命名采集目标指标URL路径
- action: replace
regex: (.+)
source_labels:
- __meta_kubernetes_service_annotation_prometheus_io_path
target_label: __metrics_path__
# 重命名采集目标地址
- action: replace
regex: ([^:]+)(?::\d+)?;(\d+)
replacement: $1:$2
source_labels:
- __address__
- __meta_kubernetes_service_annotation_prometheus_io_port
target_label: __address__
就可以使用新的标签kubernetes_namespace在promql里面基于命名空间这个标签去查询了，因为 __meta_kubernetes_namespace这个标签是不会被存储的
生成命名空间标签
- action: replace
source_labels:
- __meta_kubernetes_namespace
target_label: kubernetes_namespace
实际访问指标接口 https://NodeIP:10250/metrics/cadvisor 这个接口只能APISERVER访问，故此重新标记标签使用APISERVER代理访问
这个就是直接指定标签的值，也就是将采集的地址换为我指定的地址
# 修改NodeIP:10250为APIServerIP:6443
- action: replace
regex: (.*)
source_labels: ["__address__"] 源标签配匹为address
target_label: __address__
replacement: 192.168.31.61:6443
relabel_configs:
# 将标签(.*)作为新标签名，原有值不变（新的标签名字会被入库查询）
- action: labelmap
regex: __meta_kubernetes_node_label_(.*)
(.) ，以其开头所有值匹配到，用这个匹配的值作为新的标签名字，新的标签名字就可以入库，就会被查询，因为元标签以下划线开头的是不会入库的，后面是用不了的/这样做的目的就是将后面(.)匹配的值作为一个新标签，并且将原有值赋予新标签，后面可以基于这个新标签查询数据了