ELK 不是一款软件，而是 Elasticsearch、Logstash 和 Kibana 三种软件产品的首字母缩写。这三者都是开源软件，通常配合使用，而且又先后归于 Elastic.co 公司名下，所以被简称为 ELK Stack。根据 Google Trend 的信息显示，ELK Stack 已经成为目前最流行的集中式日志解决方案。
ELK 3个包的下载地址：https://www.elastic.co/cn/downloads/past-releases
cd /Users/sunww/Documents/soft/ELK
tar -xzvf elasticsearch-7.3.0-darwin-x86_64.tar.gz
cd elasticsearch-7.3.0/
bin/elasticsearch // 启动elasticsearch
在浏览器中输入 http://localhost:9200/ 可以看到如下内容，则代表ES启动成功：
参考我之前的文章 https://blog.csdn.net/robinson_911/article/details/94558309
logstash-7.3.0的下载如ElasticSearch的下载
cd /Users/sunww/Documents/soft/ELK
tar -xzvf logstash-7.3.0.tar.gz
cd logstash-7.3.0
bin/logstash -e 'input{stdin{}} output{ stdout {}}' // 等待控制台输入日志，并打印出来
测试下：hello world
出现上面截图界面的内容的话，代表logstash安装配置成功。
配置输入日志文件地址和ES地址等，如下：
根据配置文件启动logstash
./bin/logstash -f ./config/logstash.conf
logstash.conf 文件内容如下：
# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.
#log4j {
# host => "127.0.0.1"
# port => 4560
# }
input {
file {
# path=>"/Users/sunww/Documents/soft/ELK/logstash-7.3.0/logstash-tutorial.log"
path=>"/httx/logs/out.log" # 日志输入的位置
}
}
output {
# 控制台打印log
stdout{
codec => rubydebug
}
# logstash中的数据分发到ES中去
elasticsearch {
hosts => ["http://localhost:9200"]
#index => "logstashdata"
index => "log4j-%{+YYYY.MM.dd}"
document_type => "log4j_type" #文档类型，便于ES去做查询
}
}log4j.properties 内容（将上面单元测试的日志文件存储到/httx/logs/out.log）
#Output pattern : date [thread] priority category - message
#log4j.rootLogger=DEBUG, Console, RollingFile
#
##Console
#log4j.appender.Console=org.apache.log4j.ConsoleAppender
#log4j.appender.Console.layout=org.apache.log4j.PatternLayout
#log4j.appender.Console.layout.ConversionPattern=%d [%t] %-5p [%c] - %m%n
#
##RollingFile
#log4j.appender.RollingFile=org.apache.log4j.FileAppender
#log4j.appender.RollingFile.File=/httx/logs/out.log
#log4j.appender.RollingFile.layout=org.apache.log4j.PatternLayout
#log4j.appender.RollingFile.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} [%t] %-5p [%c] - %m%n
### 设置###
log4j.rootLogger = debug,stdout,D,E,logstash
### 输出信息到控制抬 ###
log4j.appender.stdout = org.apache.log4j.ConsoleAppender
log4j.appender.stdout.Target = System.out
log4j.appender.stdout.layout = org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern = [%-5p] %d{yyyy-MM-dd HH:mm:ss,SSS} method:%l%n%m%n
### 输出DEBUG 级别以上的日志到=/Users/bee/Documents/elk/log4j/debug.log###
log4j.appender.D = org.apache.log4j.DailyRollingFileAppender
log4j.appender.D.File = /httx/logs/out.log
log4j.appender.D.Append = true
log4j.appender.D.Threshold = DEBUG
log4j.appender.D.layout = org.apache.log4j.PatternLayout
log4j.appender.D.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss} [ %t:%r ] - [ %p ] %m%n
### 输出ERROR 级别以上的日志到=/Users/bee/Documents/elk/log4j/error.log ###
log4j.appender.E = org.apache.log4j.DailyRollingFileAppender
log4j.appender.E.File =/httx/logs/out.log
log4j.appender.E.Append = true
log4j.appender.E.Threshold = ERROR
log4j.appender.E.layout = org.apache.log4j.PatternLayout
log4j.appender.E.layout.ConversionPattern = %-d{yyyy-MM-dd HH:mm:ss} [ %t:%r ] - [ %p ] %m%n
#输出日志到logstash
log4j.appender.logstash=org.apache.log4j.net.SocketAppender
log4j.appender.logstash.RemoteHost=127.0.0.1
log4j.appender.logstash.port=4560
log4j.appender.logstash.ReconnectionDelay=60000
log4j.appender.logstash.LocationInfo=true启动单元测试，产生日志，存储到/httx/logs/out.log
package com.robinboot.facade;
import org.apache.log4j.Logger;
/**
* @auther: TF12778
* @date: 2020/11/10 11:08
* @description:
*/
public class Log4jTest {
public static final Logger logger=Logger.getLogger(Log4jTest.class);
public static void main(String[] args) {
logger.debug("This is a debug message!");
logger.info("This is info message!");
logger.warn("This is a warn message!");
logger.error("This is error message!");
try{
System.out.println(5/0);
}catch(Exception e){
logger.error(e);
}
}
}单元测试启动后，可以看到logstash控制台输出了单元测试中的日志，如下截图：
此时通过ElasticSearch Head插件可以访问到localhost:9100地址，可以看到logstash分发到Elasticsearch的数据，如下：
上面为什么会产生_index为log4j-2020.11.10，_type为log4j_type的数据，主要是因为我们在logstash.conf中配置了如下的规则：
# logstash中的数据分发到ES中去
elasticsearch {
hosts => ["http://localhost:9200"] # elasticsearch服务器地址
index => "log4j-%{+YYYY.MM.dd}" # log4j-2020.11.10
document_type => "log4j_type" # 文档类型，便于ES去做查询
}
cd /Users/sunww/Documents/soft/ELK
cd kibana-7.3.0-darwin-x86_64/bin
配置下kibana.yml文件，如下：
server.port: 5601
server.host: "localhost"
elasticsearch.hosts: ["http://localhost:9200"] #连接到ES服务器./kibana // 启动kibana
启动成功界面如下：
在浏览器中输入 localhost:5601 就可以看到视图界面了（可以看到我们上面创建的2个index）
这里出现个错误，Kibana 创建索引 POST 403 (forbidden) on create index ，解决办法：https://blog.csdn.net/robinson_911/article/details/109603296
1. 创建index pattern
2. 日志查询
参考：