目录
一、ELK日志分析系统简介
1、日志服务器的优缺点
2、ELK是什么？
2.1、Logstash管理包含四种工具
2.2、日志处理步骤
二、Elasticsearch的基础核心概念
三、Logstash介绍
四、Kibana介绍
五、配置ELK日志分析系统
1、安装elasticsearch集群
1.1、配置elasticsearch环境
1.2、部署elasticsearch软件
1.3、安装elasticsearch-head插件
1.4、安装phantomjs前端框架
1.5、安装elasticsearch-head数据可视化工具
2、安装logstash
2.2、安装apache服务和jdk环境
2.3、安装logstash
2.4、对接测试logstash
2.5、采用标准输入/输出
3、node1主机上安装kibana
3.1、对接apache的日志(访问的、错误)
六、总结
日志简化分析的管理工具，由Elasticsearch(ES)、Logstash、Kibana三个开源工具组成，官方网站: https://www.elastic.co/products
通过input功能来收集/采集log
filter过滤器：格式化数据
output输出：日志输出到es数据库内
1、Logstash收集AppServer产生的Log,并将log进行集中化管理
2、将日志格式化(Logstash) 并存放到ElasticSearch集群中
3、对格式化后的数据进行索引|和存储( Elasticsearch)
4、Kibana则从Es集群中查询数据生成图表，再返回给browsers
关系型数据库与Elasticsearch对应的关系
mysql Elasticsearch database数据库 index索引 table表 type类型 row行 document文档 column列 属性
接近实时(NRT)
elasticsearch是一个接近实时的搜索平台，这意味着，从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)
集群(cluster)
集群有一个唯一性标示的名字，默认是elasticsearch；
集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能；
其中一个节点为主节点，这个主节点是可以通过选举产生的，并提供跨节点的联合索引和搜索的功能；
集群名字很重要，每个节点是基于集群名字加入到其集群中的
节点(node)
节点就是一台单一的服务器，是集群的一部分，存储数据并参与集群的索引和搜索功能；
像集群一样，节点也是通过名字来标识，默认是在节点启动时随机分配的字符名，可以自己定义；
名字在集群中用于识别服务器对应的节点。
索引(index)
一个索引就是一个拥有几分相似特征的文档的集合；
一个索引由一个名字来标识(必须全部是小写字母的)，并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。
类型(type)
在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区；通常，会为具有一组共同字段的文档定义一个类型
文档( document )
文档以JSON ( Javascript object Notation)格式来表示，而JSON是一个到处存在的互联网数据交互格式。
虽然一个文档在物理上位于一个索引中，实际上一个文档必须在一个索引内被索引和分配一个类型。
分片shards
即es作为搜索引擎快的原因：
在实际情况下，索引存储的数据可能超过单个节点的硬件限制。如一个10亿文档需1TB空间可能不适合存储在单个节点的磁盘上，或者从单个节点搜索请求太慢了。为了解决这个问题，elasticsearch提供将索引分成多个分片的功能。当在创建索引时，可以定义想要分片的数量。每一个分片就是一个全功能的独立的索引，可以位于集群中任何节点上。
分片的好处：
①：水平分割扩展，增大存储量
②：分布式并行跨分片操作，提高性能和吞吐量
副本replicas
为了防止网络问题等其它问题造成数据丢失，需要有一个故障切换机制，为此，elasticsearch让我们将索引分片复制一份或多份，称之为分片副本或副本。
副本也有两个最主要原因:
①：高可用性，以应对分片或者节点故障，需要在不同的节点上
②：提高性能， 增大吞吐量，搜索可以并行在所有副本上执
Logstash由JRuby语言编写，基于消息(message-based) 的简单架构，并运行在Java虚拟机(JVM)上。LogStash可配置单一的代理端(agent) 与其它开源软件结合，以实现不同的功能。
Logstash的理念很简单，它只做3件事情:Collect:数据输入、Enrich:数据加工，1如过滤，改等、Transport:数据输出( 被其他模块进行调用)
Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。它操作简单，基于浏览器的用户界面可以快速创建仪表板( dashboard)实时显示Elasticsearch查询动态。设置Kibana非常简单。无需编写代码，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。
环境准备
主机 操作系统 主机名 IP地址 主要软件 服务器 Centos7.4 node1 192. 168.35.40 服务器 Centos7.4 node2 192.168.35.10 服务器 Centos7.4 apache 192.168.35.20
更改主机名配置域名解析查看Java环境
hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname apache
vim /etc/hosts
192.168.35.40 node1
192.168.35.10 node2
上传jdk压缩包至opt目录下
tar xzvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
cd /usr/local/
mv jdk1.8.0_91 jdk
vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile
java -version
上传elasticsearch软件包至opt目录下
rpm -ivh elasticsearch-5.5.0.rpm
systemctl daemon-reload ##加载系统服务
systemctl enable elasticsearch ##开启服务
修改elasticsearch配置文件
cd /etc/elasticsearch/
cp elasticsearch.yml elasticsearch.yml.bak
vim elasticsearch.yml
17 cluster.name: my-elk-cluster ##更改集群名称
23 node.name: node1 ##更改节点名称
33 path.data: /data/elk_data ##更改数据存放路径，elk_data需要手工创建
37 path.logs: /var/log/elasticsearch ##更改日子文件目录
43 bootstrap.memory_lock: false ##锁定物理内存地址，防止es内存被交换出去，频繁的交换，会导致IOPS变高(性能测试:每秒的读写次数)
55 network.host: 0.0.0.0 ##改成全网段
59 http.port: 9200 ##开启端口
68 discovery.zen.ping.unicast.hosts: ["node1", "node2"] ##更改节点名称
grep -v '^#' /etc/elasticsearch/elasticsearch.yml
mkdir -p /data/elk_data ##创建数据存放路径
chown elasticsearch:elasticsearch /data/elk_data/ ##更改属主属组
systemctl start elasticsearch ##开启服务
node2服务器同样的配置
在真机浏览器192.168.56.1打开
192.168.35.40:9200/_cluster/health?pretty ##检查集群健康状态
192.168.35.40:9200/_cluster/state?pretty ##查看集群状态
上述查看集群的方式，及其不方便，我们可以通过安装elasticsearch-head插件后，来管理集群
登录192.168.35.40 node1主机
上传node-v8.2.1.tar .gz到/opt
yum -y install gcc gcc-C++ make
编译安装node组件依赖包 耗时比较长47分钟
cd /opt
tar -xzvf node-v8.2.1.tar.gz
cd node-v8.2.1
./configure
make -j3 (此过程需要10-30分钟不定，具体看你电脑的配置)
make install
上传软件包到/usr/local/src/
cd /usr/local/src/
tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin
cd /usr/local/src/
tar xzvf elasticsearch-head.tar.gz
cd elasticsearch-head/
npm install
vim /etc/elasticsearch/elasticsearch.yml ##修改主配置文件
配置文件末尾插入一下两行
http.cors.enabled: true ##开启跨域访问支持，默认为false
http.cors.allow-origin: "*" ##跨域访问允许的域名地址
systemctl restart elasticsearch
cd /usr/local/src/elasticsearch-head/
npm run start &启动elasticsearch-head启动服务器；切换到后台运行
本机windows查看192.168.35.40:9100和192.168.35.10:9100
localhost改为node的ip就会显示节点信息状态
下图可以看见索引默认被分片5个并且有一个副本
curl -XPUT 'localhost:9200/klj/test/1?pretty&pretty' -H 'conten-TYPE: application/json' -d '{"user":"zs","mesg":"hapyy"}' ##插入一段索引叫klj，索引类型为test，索引内容用户zs，信息happy
yum -y install httpd
systemctl start httpd
上传jdk压缩包至opt目录下
tar xzvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
cd /usr/local/
mv jdk1.8.0_91 jdk
vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile
java -version
安装包上传至opt目录下
cd /opt
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
Logstash这个命令测试字段描述解释:
-f：通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
-e：后面跟着字符串该字符串可以被当做logstash的配置(如果是”", 则默认使用stdin做为标准输入、stdout作为标准输出)
-t：测试配置文件是否正确，然后退出
logstash agent(代理)的插件
①input
②filter
③output
logstash -e 'input { stdin{} } output { stdout{} }'
输入对接先不退出，在本机的window访问elasticsearch head插件的数据浏览
可以看出概览多出logstash-2021.8.14
上传kibana-5.5.1-x86_64.rpm到/usr/local/src目录
cd /usr/local/src
rpm -ivh kibana-5.5.1-x86_64.rpm
cd /etc/kibana/
cp kibana.yml kibana.yml.bak
vim kibana.yml
2 server.port: 5601 ##kibana打开的端口
7 server.host: "0.0.0.0“ ##kibana侦听的地址
21 elasticsearch.url: "http://192.168.35.40:9200" ##和elasticsearch建立联系
30 kibana.index: ".kibana" ##在elasticsearch中添加. kibana索引
systemctl start kibana.service ##启动kibana服务
访问5601端口：http://192.168.35.40:5601/
cd /etc/logstash/conf.d/
vim apache_log.conf
input {
file{
path => "/etc/httpd/logs/access_log"
type => "access"
start_position => "beginning"
}
file{
path => "/etc/httpd/logs/error_log"
type => "error"
start_position => "beginning"
}
}
output {
if [type] == "access" {
elasticsearch {
hosts => ["192.168.35.40:9200"]
index => "apache_access-%{+YYYY.MM.dd}"
}
}
if [type] == "error" {
elasticsearch {
hosts => ["192.168.35.40:9200"]
index => "apache_error-%{+YYYY.MM.dd}"
}
}
}
logstash -f apache_log.conf ##指定使用apache_log.conf的配置文件
进入kibana进入创建Apache索引appche_acess和apache_error
首页Management–Index Patterns–Create Index Pattern–选择inde name or pattern这时查看kibana均可以查询到Apache_access-、Apache_error-、system-*
本章讲解了elk(日志简化分析的管理工具)是由ElasticSearch、 Logstash和Kiabana三个开源工具组成的;分别的功能如下：
通过input功能来收集/采集log
filter过滤器：格式化数据
output输出：日志输出到es数据库内