使用elasticstack实现log提取与搜索

使用elasticstack实现log提取与搜索

目标

了解elastic stack中主要组件的职责，掌握如何使完成提取log和搜索log。

组件简介

• beats

beats是轻量型数据采集器，集合了多种单一用途的采集器，向elasticSearch或logstash发送采集的数据。

beats 支持哪些采集器呢？ 

采集log数据，需要使用filebeat。所以接下来主要介绍filebeat。

Filebeat Reference [7.15] | Elastic.htmlfilebeat主要涉及两个组件：input与harvester。

filebeat需要记录文件状态吗？

filebeat会记录每个被采集文件的状态并且经常写入到磁盘中(位于filebeat路径/data/registry)。

用于记录最后读取行的offset和确保发送所有行。当output不可用时，filebeat跟踪已发送的最后一行offset，output可用后，继续读取文件并发送。 

由于文件可以被移动和重命名，所以文件名和路径不足以唯一标识文件。filebeat会记录一个唯一标识，以判断文件之前是否被采集过。

input 支持哪些信息来源类型呢？

 output 支持哪些目标类型呢？

• logstash

服务器端数据处理管道，从多个来源采集数据，转换数据，将数据发送到目的地，如数据库。

数据管道，指定数据从哪里来，数据如何处理，数据去哪里。支持多种类型的input、filter、output。

logstash 有两类配置文件：pipeline配置和setting配置。

pipeline配置，每个conf文件对应一个管道的input-filter-output配置，例如f。

setting配置，控制启动与执行。

管道配置修改后，支持自动加载吗？

当管道配置变更后，logstash会自动重新加载配置。

logstash意识到config变更，则终止该管道的所有input，然后尝试使用新的config创建新的管道。首先验证config中的语法，然后验证所有input和output可以使用。如果验证都ok，则用新管道替换旧的。若验证不通过，则旧的管道继续使用，并且在console输出error。

配置重加载的过程，发生在同一个jvm，即同一个进程。

• es

elasticSearch介绍与使用_陈海龙的格物之路-CSDN博客首先一起了解elasticSearch，然后结合springData，看看如何使用elasticSearch。

• kibana

kibana对es数据进行可视化，提供了丰富的用户界面。

如何利用es stack实现log提取与搜索？

• 目标1：log提取。

filebeat

filebeat.inputs:- type: logenabled: truepaths:- D:logslogstash-tutorial-dataset#- /var/log/*.log#- c:programdataelasticsearchlogs*#处理多行，由于filesystem不支持多行，所以选择pe: patternmultiline.pattern: '^[[:space:]]+(at|.{3})[[:space:]]+b|^Caused by:&#ate: falsemultiline.match: after……output.logstash:hosts: ["localhost:5044"]……

input {beats {port => "5044"}
}
filter {grok {# 需要根据实际log，编写正则match => { "message" => "%{COMBINEDAPACHELOG}"}}geoip {source => "clientip"}
}
output {# console输出#stdout { codec => rubydebug }elasticsearch {hosts => [ "localhost:9200" ]index => "logstash-mul-log"}
}

logstash -f ../config/l --load.automatic