ELK-日志收集工具nxlog

ELK-日志收集工具nxlog

前言

nxlog配置有6个可配置的部分，Extension，Processor，Input，Output，Route。其中Route是路由，不需要指定模块，其它都有各自的模块可指定。
官方文档地址-英文
一些内置函数,左侧的3.6章节

安装

官网下载地址,下载nxlog-ce-2.10.2150.msi，点击安装。
64位默认安装路径：C:\Program Files (x86)\nxlog，
32位默认安装路径：C:\Program Files\nxlog，
日志文件默认路径：C:\Program Files (x86)\nxlog\data\nxlog.log。
配置文件路径：C:\Program Files (x86)\nxlog\conf\nxlog.conf。

语法

默认配置文件：

Panic Soft
#NoFreeOnExit TRUE

define ROOT     C:\Program Files (x86)\nxlog
define CERTDIR  %ROOT%\cert
define CONFDIR  %ROOT%\conf
define LOGDIR   %ROOT%\data
define LOGFILE  %LOGDIR%\nxlog.log
LogFile %LOGFILE%

Moduledir %ROOT%\modules
CacheDir  %ROOT%\data
Pidfile   %ROOT%\data\nxlog.pid
SpoolDir  %ROOT%\data

<Extension _syslog>
    Module      xm_syslog
</Extension>
<Extension _charconv>
    Module      xm_charconv
    AutodetectCharsets iso8859-2, utf-8, utf-16, utf-32
</Extension>

<Extension _exec>
    Module      xm_exec
</Extension>

<Extension _fileop>
    Module      xm_fileop

    # Check the size of our log file hourly, rotate if larger than 5MB
    <Schedule>
        Every   1 hour
        Exec    if (file_exists('%LOGFILE%') and \
                   (file_size('%LOGFILE%') >= 5M)) \
                    file_cycle('%LOGFILE%', 8);
    </Schedule>

    # Rotate our log file every week on Sunday at midnight
    <Schedule>
        When    @weekly
        Exec    if file_exists('%LOGFILE%') file_cycle('%LOGFILE%', 8);
    </Schedule>
</Extension>

宏变量

宏可以理解为定义一个变量并赋值。比如

define ROOT     C:\Program Files (x86)\nxlog

define指令可以定义宏变量，使用时用两个%号包裹，比如%ROOT %
例子

define BASEDIR /var/log
<Input messages>
    Module  im_file
    File    '%BASEDIR%/messages'
</Input>

配置文件默认定义了很多宏，了解即可。

通用模块指令格式

Module 模块名

模块名在C:\Program Files (x86)\nxlog\modules下以.dll后缀结尾(linux以.so格式结尾)，前缀分别是im_, pm_, om_, or xm_。

im:input module缩写，pm：processor module,om:output module,xm:extension module

FlowControl

是否启用流程控制，建议在使用im_uds模块从/dev/log采集本地syslog 的时候禁用掉，不然syslog会阻塞所有写入的动作，假如输出队列还满掉了，系统可能就不响应了

InputType:指定输入类型

只对im_exec, im_ssl, im_tcp, im_udp, and im_uds模块有效，一般不会特意设置
有效值如下
1. LineBased：一行为一个日志，用\n或者\r\n区分

  2. Dgram：一旦Buffer用完了，考虑合成一份日志，im_udp模块的时候是默认选项，因为UDP syslog 是分批到达的

  3. Binary：转成Nxlog二进制格式

例如

<Input tcp>
    Module    im_tcp
    Port        2345
    InputType   Binary
</Input>

OutputType：指定输出类型

只能用于 om_file, om_exec, om_ssl, om_tcp, om_udp, and om_uds模块
有效值如下：
1. LineBased：一行为一个日志
2. Dgram：一旦缓冲满了就把缓冲数据作为一行日志，om_udp输出默认是开着的
3. Binary：用nxlog binary格式化输出

Exec: 执行命令

每接收到一条日志信息都会执行一次。在input, processor, and output模块里完全支持，大部分extension模块都不支持（除了 xm_multiline 和 xm_rewrite模块）。每行是一条Exec指令，多行指令使用</kbd>换行,使用分号结尾，放在模块的最后面。

比如单行指令：

Exec    $Hostname = 'myhost';

在每行记录里定义了一个变量$Hostname
比如多行指令：

Exec    log_info("first"); \
        log_info("second");

多行指令也可抱成块形势，上面和下面语句意思一样

<Exec>
    log_info("first");
    log_info("second");
</Exec>

Schedule：定时器

Every

比如Every 1 sec表示每秒执行。一个整型数字加上单位组成值，缺省单位是秒，有sec, min, hour, day, or week单位可选

First

设置首次执行时间，使用datetime类型的值，比如First 2010-12-17 00:19:06

Exec

执行的指令

When

@yearly        Run once a year, "0 0 1 1 *".
@annually      (same as @yearly)
@monthly       Run once a month, "0 0 1 * *".
@weekly        Run once a week, "0 0 * * 0".
@daily         Run once a day, "0 0 * * *".
@midnight      (same as @daily)
@hourly        Run once an hour, "0 * * * *".

这些都是语法，例子

<Input in>
    Module  im_tcp
    Port    2345

    <Schedule>
        Every   1 sec
        First   2010-12-17 00:19:06
        Exec    log_info("scheduled execution at " + now());
    </Schedule>

    <Schedule>
        When    1 */2 2-4 * *
        Exec    log_info("scheduled execution at " + now());
    </Schedule>
</Input>

Route模块

这个是最简单模块。指定路由方式。
语法

<Route ROUTE_NAME>

    Path       IN_NAME => PRO_NAME => OUT_NAME

</Route>

比如

<Input in_file>
	Module im_file
	File "D:\\jar\\dongli\\logs\\spring-boot.log"
	SavePos TRUE
	Exec convert_fields("auto", "utf-8"); 
</Input>

<Output out_file>
	Module om_file
	File 'D:\666.log'
</Output>


<Route 1>
	Path in_file => out_file
</Route>

Extension模块

一些前期引入的操作
这个模块一般我们不用动它，默认配置了几个

<Extension _syslog>
    Module      xm_syslog #收集事件日志，所有的事件日志默认都被收集
</Extension>

将 xm_syslog换成xm_json表示系统日志格式为json。

<Extension charconv>

    Module      xm_charconv

</Extension>

解决文件内容中解析失败问题

Input

参考
数据输入，可选模块如下图：

常用的是im_msvistalog和im_file

<Input in_win_system>
	#im_msvistalog支持的是2003之后的版本
    Module      im_msvistalog
	#im_mseventlog支持的是2003之前版本
	# Module      im_mseventlog

</Input>

<Input in_win_system>

    Module      im_msvistalog
</Input>

具体例子
im_file模块：获取springboot.log日志
注意文件使用\

<Input test11>
	Module im_file
	File "D:\\jar\\dongli\\logs\\spring-boot.log"
	SavePos TRUE
	Exec convert_fields("auto", "utf-8"); 
	Exec $name="chenyuan";
</Input>

比如文件存在多个，使用,如：File "D:\jar\dongli\logs\.log"
支持的配置：

1. SavePos：保存上次读取位置，默认true
2. Recursive：是否递归子目录文件，例如目录设置为/var/log/*.log，那么/var/log/apache2/access.log也会被匹配，默认是true
3. ReadFromLast:从最新文件去读，默认true,和SavePos配合使用，一般不设置。具体可参考英文描述

This optional boolean directive instructs the module to only read logs which arrived after NXLog was started if the saved position could not be read (for example on first start). When SavePos is TRUE and a previously saved position value could be read, the module will resume reading from this saved position. If ReadFromLast is FALSE, the module will read all logs from the file. This can result in quite a lot of messages, and is usually not the expected behavior. If this directive is not specified, it defaults to TRUE.

4. PollInterval：多久检查文件变化，默认是1秒(1 second),如果设置为2秒，就是2 second
5. DirCheckInterval:检查目录下文件变化，比如增加新文件，如果PollInterval设置了就以PollInterval时间为准，默认是2秒（2 seconds）
   im_exec执行命令：使用tail命令读取文件
6. CloseWhenIdle:空闲时是否关闭输入流，默认是FALSE

<Input messages>
    Module  im_exec
    Command /usr/bin/tail
    Arg     -f
    Arg     /var/log/messages
</Input>

output

数据输入，可选模块如下图：

模块指定发送方式
om_tcp/om_udp：以tcp、udp方式发送
om_http：http方式发送
on_ssl:加密方式发送
on_file:输出到文本

on_tcp/om_udp

<Output out_tcp>
	Module om_tcp
	Host 192.168.1.238
	Port 514
</Output>

on_file

<Output out_file>
	Module om_file
	File 'D:\666.log'
</Output>

on_ssl

语法

<Output out>

    Module             om_ssl

    Host                  DST_IP

    Port                   DST_PORT

    CAFile                CA_CERT

    CertFile              CLIENT_CERT

    CertKeyFile        CLENT_KET

    KeyPass             PASSWORD

    AllowUntrusted     TRUE

    Exec        $raw_event = to_json();

</Output>

说明：

1. DST_IP：为发送的目的主机IP地址，或者也可以是域名
2. DST_PORT: 为发送目的主机端口
3. CA_CERT：为CA证书路径
4. CLIENT_CERT：为在服务端为客户机生成的证书
5. CLIENT_KEY：为在服务端为客户主机生成的key
6. PASSWORD：证书密码，默认设置为“123456”可修改，根据证书生成时的密码决定

<Output out>

    Module       om_ssl

    Host             192.168.161.96

    Port              1514

    CAFile           %CERTDIR%\ca-cert.pem

    CertFile         %CERTDIR%\client-cert.pem

    CertKeyFile %CERTDIR%\client-key.pem

    KeyPass       123456

    AllowUntrusted     TRUE

    Exec               $raw_event = to_json();

</Output>

修改输出内容

使用$raw_event变量
比如，下面在输出的日志状况添加一个ip

<Output out_file>
	Module om_file
	File 'D:\666.log'
	Exec $raw_event = "192.168.161.63 " + $raw_event;
</Output>

例子

读取/var/log/message传给logstash

<Input messages>
    Module  im_file
    File    "/var/log/messages"
</Input>

<Output tcp>
    Module  om_tcp
    Host     192.168.1.238
    Port    514
</Output>

<Route messages_to_tcp>
    Path    messages => tcp
</Route>

读取windows事件发送给logstash

<Extension _syslog>
    Module      xm_syslog
</Extension>

<Input in>
    Module      im_msvistalog
# For windows 2003 and earlier use the following:
#   Module      im_mseventlog

    ReadFromLast FALSE
    SavePos     FALSE
    Query       <QueryList>\
                    <Query Id="0">\
                        <Select Path="Security">*</Select>\ #配置为只发送Security Log
                    </Query>\
                </QueryList>

</Input>

<Output out>
    Module      om_tcp
    Host        192.168.1.238
    Port        514
    Exec        to_syslog_snare();
</Output>

<Route 1>
    Path        in => out
</Route>

配置为同时接收多个事件日志

<Input in>
    Module      im_msvistalog
# For windows 2003 and earlier use the following:
#   Module      im_mseventlog

    ReadFromLast FALSE
    SavePos     FALSE
    Query       <QueryList>\
                    <Query Id="0">\
                        <Select Path="Application">*</Select>\
                        <Select Path="System">*</Select>\
                        <Select Path="Security">*</Select>\
                    </Query>\
                </QueryList>

</Input>