程序员经验分享-hwhale

【Elastic (ELK) Stack 实战教程】10、ELK 架构升级-引入消息队列 Redis、Kafka

2023-05-16

目录

一、ELK 架构面临的问题

1.1 耦合度过高

1.2 性能瓶颈

二、ELK 对接 Redis 实践

2.1 配置 Redis

2.1.1 安装 Redis

2.1.2 配置 Redis

2.1.3 启动 Redis

2.2 配置 Filebeat 

2.3 配置 Logstash

2.4 数据消费

2.5 配置 kibana

三、消息队列基本概述

3.1 什么是消息队列

3.2 消息队列的分类

3.3 消息队列使用场景

3.3.1 解耦

3.3.2 异步

3.3.3 削峰

四、Kafka 概述及集群部署

4.1 Kafka 集群安装

4.2 Zookeeper 集群安装 

五、Kafka-eagle 图形界面安装

5.1 安装 JDK 

5.2 安装 Kafka-eagle

5.3 配置 Kafka-eagle

5.4 启动 Kafka-eagle

5.5 开启 eagle 监控

5.6 访问 Kafka-eagle

5.7 遇到的小坑 

六、ELK 对接 Kafka

6.1 配置 Filebeat 

6.2 配置 Logstash

6.3 配置 kibana

一、ELK 架构面临的问题

1.1 耦合度过高

        场景说明：假设目前系统日志输出很频繁，十分钟大约 5Gb，那么一个小时就是 30Gb；而应用服务器的存储空间一般默认 40Gb，所以通常会对应用服务器日志按小时轮转。如果我们的Logstash 故障了 1 小时，那么 Filebeat 就无法向 Logstash 发送日志，但我们的应用服务器每小时会对日志进行切割，那么也就意味着我们会丢失 1 小时的日志数据。

        解决方法：使用消息队列，只要你的 filebeat 能够收集日志，队列能够存储足够长时间的数据，那后面 logstash 故障了，也不用担心，等 Logstash 修复后，日志依然能正常写入，也不会造成数据丢失，这样就完成了解耦。

1.2 性能瓶颈

        场景说明：使用 filebeat 或 logstash 直接写入ES，那么日志频繁的被写入 ES 的情况下，可能会造成 ES 出现超时、丢失等情况。因为 ES 需要处理数据，存储数据，所以性能会变的很缓慢。

        解决办法：使用消息队列，filebeat 或 Logstash 直接写入消息队列中就可以了，因为队列可以起到一个缓冲作用，最后我们的 logstash 根据 ES 的处理能力进行数据消费，匀速写入 ES 集群，这样能有效缓解 ES 写入性能的瓶颈。

二、ELK 对接 Redis 实践

使用 Redis 充当消息队列服务：

2.1 配置 Redis

2.1.1 安装 Redis

生产环境中使用二进制安装 Redis： CentOS 7 详细安装 Redis 6 图文教程_centos 7安装redis6需要哪些环境依赖_Stars.Sky的博客-CSDN博客

此次实验环境中我们使用 yum 安装更方便快捷：

[root@es-node2 ~]# yum install -y redis

2.1.2 配置 Redis

[root@es-node2 ~]# vim /etc/redis.conf 
bind 0.0.0.0
requirepass Qwe123456

2.1.3 启动 Redis

[root@es-node2 ~]# systemctl enable --now redis

2.2 配置 Filebeat 

[root@se-node3 ~]# vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log                    # 收集日志的类型
  enabled: true                # 启用日志收集
  paths:
    - /var/log/nginx/access.log          # 日志所在路径
  tags: ["access"]

- type: log                    # 收集日志的类型
  enabled: true                # 启用日志收集
  paths:
    - /var/log/nginx/error.log          # 日志所在路径
  tags: ["error"]

output.redis:
  hosts: ["192.168.170.133:6379"]    # redis地址
  password: "Qwe123456"                              #redis密码
  timeout: 5                                    #连接超时时间
  db: 0                                                 #写入db0库中
  keys:                                                 #存储的key名称
    - key: "nginx_access"
      when.contains:
        tags: "access"
    - key: "nginx_error"
      when.contains:
        tags: "error"

[root@se-node3 ~]# systemctl restart filebeat.service

2.3 配置 Logstash

[root@es-node1 ~]# vim /etc/logstash/conf.d/test6.conf 
input {
       redis {
                host => ["192.168.170.133"]
                port => "6379"
                password => "Qwe123456"
                data_type => "list"
                key => "nginx_access"
                db => "0"
        }

        redis {
                host => ["192.168.170.133"]
                port => "6379"
                password => "Qwe123456"
                data_type => "list"
                key => "nginx_error"
                db => "0"
        }
}

filter {
    if "access" in [tags][0] {
        grok {
            match => { "message" => "%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:hostname} (?:%{QS:referrer}|-) (?:%{NOTSPACE:post_args}|-) %{QS:useragent} (?:%{QS:x_forward_for}|-) (?:%{URIHOST:upstream_host}|-) (?:%{NUMBER:upstream_response_code}|-) (?:%{NUMBER:upstream_response_time}|-) (?:%{NUMBER:response_time}|-)" }
        }
        
        useragent {
            source => "useragent"
            target => "useragent"
        }
        
        geoip {
            source => "clientip"
        }
        
        date {
            match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"]
            target => "@timestamp"
            timezone => "Asia/Shanghai"
        }
        
        mutate {
            convert => ["bytes","integer"]
            convert => ["response_time", "float"]
            convert => ["upstream_response_time", "float"]
            remove_field => ["message"]
            add_field => { "target_index" => "redis-logstash-nginx-access-%{+YYYY.MM.dd}" }	   
	}

        # 提取 referrer 具体的域名 /^"http/
        if [referrer] =~ /^"http/ {
            grok {
                match => { "referrer" => '%{URIPROTO}://%{URIHOST:referrer_host}' }
            }
        }
    
        # 提取用户请求资源类型以及资源 ID 编号
        if "sky.com" in [referrer_host] {
            grok {
                match => { "referrer" => '%{URIPROTO}://%{URIHOST}/(%{NOTSPACE:sky_type}/%{NOTSPACE:sky_res_id})?"' }
            }
        }
	}

    else if "error" in [tags][0] {
        date {
            match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"]
                target => "@timestamp"
                timezone => "Asia/Shanghai"
        }
        mutate {
            add_field => { "target_index" => "redis-logstash-nginx-error-%{+YYYY.MM.dd}" }
        }
    }
}

output {
	stdout {
		codec => rubydebug
	}

    elasticsearch {
        hosts => ["192.168.170.132:9200","192.168.170.133:9200","192.168.170.134:9200"]
        index => "%{[target_index]}"
        template_overwrite => true
    }
}

[root@es-node1 ~]# logstash -f /etc/logstash/conf.d/test6.conf -r

2.4 数据消费

        在上面描述的场景中，Filebeat 收集的日志文件数据会被存储到 Redis。接着，Logstash 从 Redis 中获取数据并将其传输到 Elasticsearch。这是一个流水线式的处理过程，数据在流动过程中被消费。

        Redis 作为一个中间存储，当 Logstash 成功地从 Redis 中读取数据并将其传输到 Elasticsearch 时，Logstash 会将这些数据从 Redis 中删除。这是因为你的配置文件中使用了 data_type => "list"，这意味着当 Logstash 从 Redis 中获取数据时，它会使用类似于 LPOP 或 RPOP 的命令将数据从列表中弹出。这样一来，Redis 中的数据会被不断地消费，因此当你使用 keys * 命令查询时可能看不到数据。

        如果你希望检查 Redis 中是否有数据流入，你可以在 Filebeat 向 Redis 发送数据的同时进行查询。但是，请注意，当 Logstash 正在消费数据时，这些数据很可能会迅速从 Redis 中删除。所以，你可能需要在 Filebeat 和 Logstash 之间调整数据发送速率，以便在 Redis 中查看数据。不过，这种做法并不是长期监控 Redis 数据的推荐方法，因为它可能会影响到整个流水线的性能。

2.5 配置 kibana

创建 kibana 索引：

三、消息队列基本概述

3.1 什么是消息队列

  • 消息 Message：比如两个设备进行数据的传输，所传输的任何数据，都可以称为消息。

  • 队列 Queue: 是一种先进先出的数据结构，类似排队买票机制。

而消息队列 MQ：是用来保存消息的一个容器；消息队列需要提供两个功能接口供外部调用。

  • 生产者 Producer：把数据放到消息队列叫生产者。

  • 消费者 Consumer：从消息队列里取数据叫做消费者。

3.2 消息队列的分类

MQ 主要分为两类：点对点、发布/订阅。

  • 点对点：消息队列 Queue、发送者 sender、接收者 Receiver。

        一个生产者生产的消息只能有一个消费者，消息一旦被消费，消息就不在消息队列中了。比如打电话，当消息发送到消息队列后只能被一个接收者接收，当接收完毕消息则销毁。

  • 发布/订阅：消息队列 Queue、发布者 PubTisher、订阅者 subscriber、主题 Topic。

        每个消息可以有多个消费者，彼此互不影响。比如我使用公众号发布一篇文章，关注我的人都能看到，即发布到消息队列的消息能被多个接收者(订阅者)接收。

3.3 消息队列使用场景

消息队列最主要有三个场景，总结为 6 个字：解耦、异步、削峰。

3.3.1 解耦

场景说明：用户下单后，订单系统需要通知库存系统。传统的做法是，订单系统调用库存系统的接口。

传统模式的缺点：

  • 假如库存系统无法访问，则订单减库存将失败，从而导致订单失败；

  • 订单系统与库存系统耦合。

中间件模式：

  • 订单系统：用户下单后，订单系统完将消息写入消息队列，返回用户订单下单成功。

  • 库存系统：订阅下单的消息，获取下单信息，库存系统根据下单信息，进行库存操作。

  • 假如：在下单时库存系统不能正常使用。也不影响正常下单，因为下单后，订单系统写入消息队列就不再关心其他的后续操作了。实现订单系统与库存系统的应用解耦。程序解耦 。

3.3.2 异步

场景说明：用户注册后，需要发注册邮件和注册短信。将注册信息写入数据库成功后，发送注册邮件，再发送注册短信。以上三个任务全部完成后，返回给客户端。

传统模式的缺点：系统的性能(并发量，吞吐量，响应时间)会有瓶颈。

中间件模式：将不是必须的业务逻辑，异步处理。改造后的架构如下：

        按照以上约定，用户的响应时间相当于是注册信息写入数据库的时间，也就是 50 毫秒。注册邮件，发送短信写入消息队列后，直接返回，因此写入消息队列的速度很快，基本可以忽略，因此用户的响应时间可能是 50ms 或 55ms。

3.3.3 削峰

场景说明：秒杀活动，一般会因为流量过大，导致流量暴增，应用挂掉。

中间件模式：

  1. 用户的请求，服务器接收后，首先写入消息队列。假如消息队列长度超过最大数量限制，则直接抛弃用户请求或跳转到错误页面。

  2. 秒杀业务可以根据自身能处理的能力获取消息队列数据，然后做后续处理。这样即使有 8000 个请求也不会造成秒杀业务奔溃。

四、Kafka 概述及集群部署

PS：我是在原来的 es-node1 和 es-node3 这两天机器上安装了 kafka、Zookeeper。

4.1 Kafka 集群安装

可以查看我的这篇文章了解 kafka 及 kafka 集群的安装与使用：【Kafka 3.x 初级】01、Kafka 概述及入门_Stars.Sky的博客-CSDN博客

4.2 Zookeeper 集群安装 

可以查看我的这篇文章了解 Zookeeper 及 zookeeper 集群的安装与使用： 

【Zookeeper 初级】02、Zookeeper 集群部署_Stars.Sky的博客-CSDN博客

五、Kafka-eagle 图形界面安装

官方安装文档：2.Install on Linux/macOS - Kafka Eagle (kafka-eagle.org)

Kafka-eagle 下载地址：Tags · smartloli/kafka-eagle-bin · GitHub

5.1 安装 JDK 

可以查看我的这篇文章：Linux 部署 JDK+MySQL+Tomcat 详细过程_移植mysql+tomcat_Stars.Sky的博客-CSDN博客

5.2 安装 Kafka-eagle

[root@es-node2 ~]# tar -zxvf kafka-eagle-bin-3.0.2.tar.gz -C /usr/local/
[root@es-node2 ~]# cd /usr/local/kafka-eagle-bin-3.0.2/
[root@es-node2 /usr/local/kafka-eagle-bin-3.0.2]# tar -zxvf efak-web-3.0.2-bin.tar.gz 

[root@es-node2 ~]# vim /etc/profile
export KE_HOME=/usr/local/kafka-eagle-bin-3.0.2/efak-web-3.0.2
export PATH=$KE_HOME/bin:$PATH
[root@es-node2 ~]# source /etc/profile

5.3 配置 Kafka-eagle

[root@es-node2 ~]# vim /usr/local/kafka-eagle-bin-3.0.2/efak-web-3.0.2/conf/system-config.properties 
######################################
# 填写 zookeeper 集群环境信息，我们只有一套 zookeeper 集群，所以把 cluster2 注释掉
efak.zk.cluster.alias=cluster1
cluster1.zk.list=es-node1:2181,es-node3:2181/kafka
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

######################################
# kafka sqlite jdbc driver address
######################################
# kafka sqlite 数据库地址(需要修改存储路径）
efak.driver=org.sqlite.JDBC
efak.url=jdbc:sqlite:/usr/local/kafka-eagle-bin-3.0.2/efak-web-3.0.2/db/ke.db
efak.username=root
efak.password=www.kafka-eagle.org

######################################
# kafka mysql jdbc driver address
######################################
# mysql 数据库地址（需要提前创建好 ke 库，咱不是有 mysql 的存储方式，所以这段内容注释掉）
#efak.driver=com.mysql.cj.jdbc.Driver
#efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
#efak.username=root
#efak.password=123456

5.4 启动 Kafka-eagle

[root@es-node2 ~]# /usr/local/kafka-eagle-bin-3.0.2/efak-web-3.0.2/bin/ke.sh start

5.5 开启 eagle 监控

        通过 JMX 获取数据，监控 Kafka 客户端、生产端、消息数、请求数、处理时间等数据可视化的性能。

# 开启 Kafka 的 JMX（所有 Kafka 集群节点都需要）
[root@es-node1 /opt/kafka]# vim /opt/kafka/bin/kafka-server-start.sh 
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
    export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
    export JMX_PORT="9999"
fi

# 重启 Kafka
[root@es-node1 /opt/kafka]# kf.sh stop
[root@es-node1 /opt/kafka]# kf.sh start

5.6 访问 Kafka-eagle

http://192.168.170.133:8048

点击 右边列表的 TV Dashboard： 

5.7 遇到的小坑 

如果 eagle 仪表盘上监控不到任何信息，则查看 eagle 错误日志：

[root@es-node2 ~]# cd /usr/local/kafka-eagle-bin-3.0.2/efak-web-3.0.2/logs/
[root@es-node2 /usr/local/kafka-eagle-bin-3.0.2/efak-web-3.0.2/logs]# tail -f error.log
[2023-04-11 15:17:00] KafkaServiceImpl.Thread-351 - ERROR - Get kafka consumer has error,msg is Failed create new KafkaAdminClient
 [2023-04-11 15:17:00] MetricsSubTask.Thread-351 - ERROR - Collector consumer topic data has error, msg is 
 java.lang.NullPointerException
	at org.smartloli.kafka.eagle.core.factory.KafkaServiceImpl.getKafkaConsumer(KafkaServiceImpl.java:749)
	at org.smartloli.kafka.eagle.web.quartz.MetricsSubTask.bscreenConsumerTopicStats(MetricsSubTask.java:113)
	at org.smartloli.kafka.eagle.web.quartz.MetricsSubTask.metricsConsumerTopicQuartz(MetricsSubTask.java:73)
	at org.smartloli.kafka.eagle.web.quartz.MetricsSubTask.run(MetricsSubTask.java:68)

解决办法： 确保你自己 kafka 配置文件的 zookeeper.connect=192.168.170.132:2181,192.168.170.134:2181/kafka 与 eagle 配置文件中的 cluster1.zk.list=192.168.170.132:2181,192.168.170.134:2181/kafka 保持一致，再重新启动 eagle 即可。

六、ELK 对接 Kafka

6.1 配置 Filebeat 

[root@es-node3 ~]# vim /etc/filebeat/filebeat.yml
filebeat.inputs:
- type: log                    # 收集日志的类型
  enabled: true                # 启用日志收集
  paths:
    - /var/log/nginx/access.log          # 日志所在路径
  tags: ["access"]

- type: log                    # 收集日志的类型
  enabled: true                # 启用日志收集
  paths:
    - /var/log/nginx/error.log          # 日志所在路径
  tags: ["error"]

output.kafka:
  hosts: ["192.168.170.132:9092", "192.168.170.134:9092"]
  topic: nginx_kafka_prod
  required_acks: 1              # 保证消息可靠，0不保证，1等待写入主分区（默认），-1等待写入副本分区
  compression: gzip             # 压缩
  max_message_bytes: 10000      # 每条消息最大的长度，多余的被删除

[root@es-node3 ~]# systemctl restart filebeat.service

6.2 配置 Logstash

[root@es-node1 ~]# vim /etc/logstash/conf.d/test6.conf 
input {
    kafka {
        bootstrap_servers => "192.168.170.132:9092,192.168.170.134:9092"
        topics => ["nginx_kafka_prod"]  # topic 名称
        group_id => "logstash"          # 消费者组名称
        client_id => "node1"            # 消费者组实例名称
        consumer_threads => "2"         # 理想情况下，您应该拥有与分区数一样多的线程,以实现完美的平衡,线程多于分区意味着某些线程将处于空闲状态
        #topics_pattern => "app_prod*"  # 通过正则表达式匹配要订阅的主题
        codec => "json"
    }
}

filter {
    if "access" in [tags][0] {
        grok {
            match => { "message" => "%{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] \"%{WORD:method} %{URIPATHPARAM:request} HTTP/%{NUMBER:httpversion}\" %{NUMBER:response} (?:%{NUMBER:bytes}|-) %{QS:hostname} (?:%{QS:referrer}|-) (?:%{NOTSPACE:post_args}|-) %{QS:useragent} (?:%{QS:x_forward_for}|-) (?:%{URIHOST:upstream_host}|-) (?:%{NUMBER:upstream_response_code}|-) (?:%{NUMBER:upstream_response_time}|-) (?:%{NUMBER:response_time}|-)" }
        }
        
        useragent {
            source => "useragent"
            target => "useragent"
        }
        
        geoip {
            source => "clientip"
        }
        
        date {
            match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"]
            target => "@timestamp"
            timezone => "Asia/Shanghai"
        }
        
        mutate {
            convert => ["bytes","integer"]
            convert => ["response_time", "float"]
            convert => ["upstream_response_time", "float"]
            remove_field => ["message", "agent", "tags"]
            add_field => { "target_index" => "kafka-logstash-nginx-access-%{+YYYY.MM.dd}" }	   
	}

        # 提取 referrer 具体的域名 /^"http/
        if [referrer] =~ /^"http/ {
            grok {
                match => { "referrer" => '%{URIPROTO}://%{URIHOST:referrer_host}' }
            }
        }
    
        # 提取用户请求资源类型以及资源 ID 编号
        if "sky.com" in [referrer_host] {
            grok {
                match => { "referrer" => '%{URIPROTO}://%{URIHOST}/(%{NOTSPACE:sky_type}/%{NOTSPACE:sky_res_id})?"' }
            }
        }
	}

    else if "error" in [tags][0] {
        date {
            match => ["timestamp","dd/MMM/yyyy:HH:mm:ss Z"]
                target => "@timestamp"
                timezone => "Asia/Shanghai"
        }
        mutate {
            add_field => { "target_index" => "kafka-logstash-nginx-error-%{+YYYY.MM.dd}" }
        }
    }
}

output {
	stdout {
		codec => rubydebug
	}

    elasticsearch {
        hosts => ["192.168.170.132:9200","192.168.170.133:9200","192.168.170.134:9200"]
        index => "%{[target_index]}"
        template_overwrite => true
    }
}

6.3 配置 kibana

创建 Kibana 索引：

上一篇文章：【Elastic (ELK) Stack 实战教程】09、Kibana 分析站点业务日志_Stars.Sky的博客-CSDN博客

下一篇文章：【Elastic (ELK) Stack 实战教程】11、使用 ElastAlert 实现 ES 钉钉群日志告警_Stars.Sky的博客-CSDN博客

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

【Elastic (ELK) Stack 实战教程】10、ELK 架构升级-引入消息队列 Redis、Kafka 的相关文章

  • 手把手教你FreeRTOS源码详解（三）——队列

    FreeRTOS源码解析集合 xff08 全网最详细 xff09 手把手教你FreeRTOS源码解析 xff08 一 xff09 内存管理 手把手教你FreeRTOS源码详解 xff08 二 xff09 任务管理 手把手教你FreeRTOS

  • 手把手教你FreeRTOS源码详解（四）——信号量、互斥量、递归互斥量

    FreeRTOS源码解析集合 xff08 全网最详细 xff09 手把手教你FreeRTOS源码解析 xff08 一 xff09 内存管理 手把手教你FreeRTOS源码详解 xff08 二 xff09 任务管理 手把手教你FreeRTOS

  • python 随机数 random 库的使用总结

    目录 1 random 库中的常用随机数生成函数 2 一些用法举例 3 随机数种子 seed a 的理解与使用 random 库的主要目的就是生成随机数 1 random 库中的常用随机数生成函数 from random import 1

  • JDBC 配置

    JDBC Java DataBase Connectivity 规范 JDBC是一套协议 xff08 规范 xff09 是java开发人员和数据库厂商达成的协议 是由sun定义一组接口 由数据库厂商来实现 并规定了java开发人员访问数据库

  • Gazebo下载所有模块到本地

    从https bitbucket org osrf gazebo models上下载model库 xff1b 将下载的文件解压 xff0c 将解压后的文件夹重命名为models将models复制到 gazebo文件夹中 xff08 如果 g

  • linux操作系统和系统资源理论基础

    目录 一 xff1a 操作系统 二 xff1a 程序如何被CPU读取 三 xff1a CPU缓存 四 xff1a CPU缓存策略 五 xff1a 如何实现系统多任务 六 xff1a 进程切换过程初探 七 xff1a 进程的调度规则 八 xf

  • containerd的安装和使用

    containerd介绍 containerd是从docker项目中剥离出来的一个容器运行时 几乎囊括了容器管理的所有功能 xff0c 并且containerd内置了CRI插件K8S的kubelet组件可以直接调用containerd xf

  • 部署harbor并实现https(SAN签发证书)

    目录 一 安装docker docker compose 二 安装harbor 三 签发证书 四 修改配置文件 五 运行harbor 六 客户端测试 xff1a 使用系统 xff1a ubuntu 20 04 3 harbor依赖于dock

  • 二进制部署kubernetes高可用集群

    目录 一 集群外围节点准备 二 部署kubeasz 3 3 1集群 三 初始化集群 四 测试集群网络可用性 五 集群扩容 需要master node etcd节点各三台 xff1b harbor服务器 deploy部署节点 负载均衡主机各一

  • coredns部署

    目录 一 获取coredns yaml文件 二 修改coredns yaml文件 三 基于yaml文件启动coredns服务 coredns域名解析流程 xff1a 举例 xff1a 当pod1应用想通过dns域名的方式访问pod2则首先根

  • dashboard的安装使用

    目录 一 下载dashboard的yaml文件 二 修改dsashboard的yaml文件镜像 三 修改dashboard的yaml文件内容 四 创建dashboard 通常而言kubernetes中完成的所有操作都是通过命令行工具kube

  • K8S内部pod之间相互调用案例和详解

    目录 一 部署nginx容器 二 部署tomcat服务 三 使用nginx代理tomcat服务 四 测试 服务发现简介 xff1a 1 service是用于K8S的服务发现的重要组件 xff0c pod作为运行业务的承载方式 xff0c 要

  • 记一次rsyslog配置问题，导致系统无法打印日志

    工作中发现有些机器发生异常 xff0c 想看下messages日志 xff0c 却没有数据 xff0c 看了下rsyslog中日志都定义了打印出的路径 xff0c 但是就是没有日志 查看结果 xff1a 所有的日志文件都没有打印数据 查看了

  • python 字符串操作总结

    目录 1 求字符串长度及字符串转换 2 删除空格 分割字符串 3 连接字符串 4 大小写转换 5 字符串替换 6 统计子字符串的出现次数 7 查找子字符串第一次出现的位置 8 判断字符串的某些属性是否为True 9 字符串转化为数字 10

  • K8S pod 亲和与反亲和 （podAffinity与podAntiAffinity）

    目录 1 简介 xff1a 2 配置须知 xff1a 示例 xff1a 一 创建前端nginx容器 二 创建后端容器 xff0c 与nginx容器做软亲和 三 创建后端容器 xff0c 与nginx容器做硬亲和 1 简介 xff1a 前面介

  • K8S-污点(taints)与容忍(toleration)

    简介 xff1a 污点 xff08 taints xff09 打上了污点的node就不会承载新pod的调度 容忍 xff08 toleration xff09 设置了有容忍的pod xff0c 仍能调度到有污点的node上 一 污点介绍 x

  • Kafka 客户端管理工具 Offset Explorer

    简介 xff1a 我们在项目开发中根据实际业务需求会使用到一些中间件 xff0c 比如缓存redis xff0c 消息队列 xff0c kafka rabbitMQ等 xff0c 在代码中集成后 xff0c 可以通过命令来查看数据的走向 x

  • 力扣（Leetcode）——python3

    目录 动态规划 70 爬楼梯 198 打家劫舍 213 打家劫舍 509 斐波那契数 740 删除并获得点数 746 使用最小花费爬楼梯 1137 第N个泰波那契序列 动态规划 Dynamic Programming 递归 43 迭代 45

  • Python 无参装饰器详解

    1 储备知识 args xff0c kwargs span class token keyword def span span class token function index span span class token punctua

  • 操作系统进程与线程实验二

    操作系统进程与线程实验二 一 实验目的 xff1a 对比进程与线程 xff0c 理解进程与线程的联系与区别 xff0c 学会使用多线程相关函数 一个进程中的多个线程之间使用相同的地址空间 xff0c 共享大部分数据 xff0c 启动一个线程

随机推荐

  • STM32CubeMX+keil5+esp8266(基于hal库的stm32+esp8266连接)

    MX的烧录口和时钟设置 xff1a 配置时钟 xff1a 串口1配置 xff08 用来输出提示信息 xff09 串口2配置波特率115200 xff0c 使能全局中断 xff08 用来做esp8266的串口通信 xff09 命好名生成代码并

  • Vue.js基础---简单的模板页面

    Vue js基础 简单的模板页面 1 模板页面包含了哪些东西 xff1f gt html 43 js 2 js以什么形式 语法 存在 xff1f 插值 双大括号表达式 xff0c 插入一个动态的值在标签内文本内容上 xff0c 动态显示数据

  • STM32单片机，STLINK的SW仿真时“no target connected”问题及处理

    1 问题介绍 在KEIL5软件中使用STLINK仿真器仿真时 使用SW仿真时 xff0c 遇到了no target connected的问题 二 解决方案 通过询问买家 xff0c 自己反复调试后 xff0c 终于解决了这一问题 xff0c

  • Docker comsul（注册中心）

    文章目录 Docker consul xff08 注册中心 xff09 什么是consul xff1f consul干什么的 xff1f 一 consul的使用场景二 consul集群三 consul部署1 建立consul服务2 设置代理

  • python 输入 input() 与输出 print()

    目录 1 输入字符串 2 输入数字 3 输入列表 理解 eval 函数的使用 4 输出 print python 使用 input 获取用户的输入 xff0c 该操作属于无脑式输入 xff0c 不管在键盘上敲入什么内容都会当作字符串类型返回

  • Linux 禁用/启用 网络唤醒功能

    使用ifconfig查看网卡设备 xff0c 这里以eth0为例 1 输入 ethtool eth0 2 在结果内查看是否有如下内容 Supports Wake on pumbgWake on g 若Wake on的值为d xff0c 表示

  • xrandr详细介绍

    简介 xrandr是一款官方的扩展配置工具 它可以设置屏幕显示的大小 方向 镜像等 xff0c 包括对多屏的设置 详细的使用方法可以通过man xrandr查看 单屏设置 查询 使用xrandr q或者xrandr命令可以查询当前的显示状态

  • VS Code中使用git（创建本地仓库及远程仓库、将本地仓库推送至远程仓库、克隆远程仓库、拉取远程仓库、解决冲突）

    创建本地仓库及远程仓库 将本地仓库推送至远程仓库 克隆远程仓库 拉取远程仓库 解决冲突 文章目录 一 创建远程仓库 使用Gitee或者GitHub 二 git推送本地代码至远程仓库三 git克隆远程仓库代码到本地四 VS Code推送代码至

  • Java中的equals和==

    一 equals和 61 61 的区别 1 根本的区别在于 equals Object obj 是一个方法 xff0c 而 61 61 是一个运算符 2 一般来说 xff0c 61 61 运比较的是在内存中的物理地址 xff0c equal

  • [欠驱动机器人]1.概念

    目录 定义反馈控制输入或状态限制不完整约束欠驱动机器人举例参考文献 定义 形象来看 xff0c 就是机器人驱动数量小于关节数量 从数学来看 xff0c 根据牛顿定律 xff0c 机械系统的动力学方程为二阶导数形式 F 61 ma xff0c

  • Prometheus自主无人机入门笔记

    本部分介绍自主无人机组成框架 自主无人机关键技术 1 1 自主无人机的组成框架 1 1 1 硬件框架 自主无人机硬件组成有 机架 动力系统 xff08 包括电机 电调和浆 xff09 指挥 系统 xff08 机载电脑 飞控板 xff09 通

  • 自主导航与路径规划无人机研究现状

    目录 1 SLAM算法的研究现状 2 无人机定位研究现状 3 路径规划的研究现状 参考文献 1 SLAM算法的研究现状 移动机器人根据传感器获取的自身状态信息和环境信息构建环境地图的过程被称之为SLAM问题 xff0c SLAM问题能否解决

  • FreeRTOS学习笔记【一】——初识FreeRTOS

    1 1 初识 FreeRTOS 1 1 1 什么是 FreeRTOS 我们看一下 FreeRTOS 的名字 xff0c 可以分为两部分 Free 和 RTOS xff0c Free 就是免费的 自由的 不受约束 的意思 xff0c RTOS

  • FreeRTOS学习笔记【四】——FreeRTOS 中断配置和临界段

    目录 4 1 Cortex M 中断 4 1 1 中断简介 4 1 2 中断管理简介 4 1 3 优先级分组定义 4 1 4 优先级设置 4 1 5 用于中断屏蔽的特殊寄存器 4 2 FreeRTOS 中断配置宏 4 2 1 configP

  • 计算机网络——网络层课后习题答案

    一 xff08 1 xff09 假设一个主机 IP 地址为 192 55 12 120 xff0c 子网掩码为 255 255 255 240 xff0c 试求其子网号 主机号以及广播地址 xff08 2 xff09 如果子网掩码改为 25

  • python 列表list用法总结

    目录 1 创建空列表 2 索引 切片 3 加入元素 4 删除 清空操作 5 列表长度及最值 6 运算符和表达式 7 值的索引 8 反转及排序 9 统计指定元素出现的次数 10 交换 11 列表相互赋值 python 中的列表 xff08 l

  • docker学习笔记

    docker学习笔记 1 什么是docker 2 docker能干什么 3 docker基本使用方式3 1配置国内镜像 xff1a 3 2docker的执行原理3 3docker镜像的基本命令3 4容器的基本命令3 5其他常用的基本命令 参

  • 【Elastic (ELK) Stack 实战教程】07、Logstash 快速入门及 Input、Filter 插件讲解

    目录 一 Logstash 架构介绍 1 1 为什么需要 Logstash 1 2 什么是 Logstash 1 3 Logstash 架构介绍 1 4 安装 Logstash 二 Logstash Input 插件 2 1 stdin 插

  • 【Elastic (ELK) Stack 实战教程】09、Kibana 分析站点业务日志

    目录 一 kibana 数据展示概述 1 1 Kibana 基本介绍 1 2 Kibana 部署架构 二 Kibana 展示业务日志 2 1 日志分析介绍 2 2 两个维度分析日志 2 2 1 Nginx 访问分析 2 2 2 网站业务数据

  • 【Elastic (ELK) Stack 实战教程】10、ELK 架构升级-引入消息队列 Redis、Kafka

    目录 一 ELK 架构面临的问题 1 1 耦合度过高 1 2 性能瓶颈 二 ELK 对接 Redis 实践 2 1 配置 Redis 2 1 1 安装 Redis 2 1 2 配置 Redis 2 1 3 启动 Redis 2 2 配置 F

热门标签