Agent组件

Agent组件

一、source

1.Avro Source

1. 监听Avro 端口来接收外部avro客户端的事件流
2. avro-source接收到的是经过avro序列化后的数据，然后反序列化数据继续传输。
3. 源数据必须是经过avro序列化后的数据
4. 利用Avro source可以实现多级流动、扇出流、扇入流等效果
5. 可以接收通过flume提供的avro客户端发送的日志信息

6. 配置说明

   配置项	说明
   channels	绑定通道
   type	avro
   bind	需要监听的主机名或IP
   port	要监听的端口
   threads	工作线程最大线程数
   selector.*	选择器配置
   interceptors.*	拦截器配置

2.Spooling Directory Source

1. 监听一个指定的目录，只要牡蛎下的文件发生变化，会自动收集文件中的内容
2. flume会持续监听指定的目录，把放入这个目录中的文件当做source来处理
3. 注意：一旦文件被放到“自动收集”目录中后，便不能修改，如果修改，flume会报错
4. 此外，也不能有重名的文件，如果有，flume也会报错
5. 配置说明