beats 与 logstash 的关系

beats 与 logstash 的关系

Beats 是一个轻量型数据采集器，能够方便的与 Logstash 和 ElasticSearch 配合使用。

beats 并不是替换logstash的，beats 是用来优化logstash 的，logstash 的消耗性能比较多，如果只是单纯为了收集日志，使用logstash 就有点大材小用了，另外也有点浪费资源，而beats 是轻量级的用来收集日志的。

logstash 更加关注一件事，那就是数据转换，格式化等处理工作。

比如：日志数据是一行一行的非格式化的数据，想要存在elasticsearch 就要一定的结构。logstash 就可以做这件事情。

beats 是可以直接对接elasticsearch 的，只不过数据不能适配，只能做一些简单的处理， logstash 对接es ，也可以对接其他。

比较完整的是: beats dui logstash 进行数据适配，然后堆到es 做检索。

开源的数据收集引擎、具有实时管道功能，可以动态的将来自不同数据源的数据统一起来，并将数据标准化到所选择的目的地。
开源的服务器端数据处理管道，可以同时从多个数据源中获取数据，并进行转化换，然后将其发送到规定位置进行存储。（一般规定的位置选择ElasticSearch）

Logstash 的关键点：

inputs: 必须，负责生产事件,负责收集数据，收集数据会存在多种数据类型
filters: 可选，负责数据处理与转换 
outputs: 必须，负责数据输出

logstash 的内部结构：

数据流入、加工处理、数据流出。数据也可以不做处理，单纯的流入在流出，数据处理，格式化，数据丰富，数据删除等等。