SocSight Logger
SocSight Logger是数据采集模块,
主要支持以下方式采集数据:
- Syslog
- 文件\/目录
- 数据库
- FTP\/SFTP\/HDFS
- JMS\/JMX\/Kafka
- RESTful API
支持以下设备类型:
- 网络设备
- 安全设备
- 主机
- 数据库
- 应用系统
- 认证系统
处理流程:
source -- decode -> interceptor -> encode --> sink
source:获取数据源的数据
decode:对数据进行解码,用来拆分日志的条。
interceptor:对数据进行标准化,即拆分为键值对。
encode:对数据进行编码,用于进行存储
sink:对数据进行存储
source和decode进行绑定
每个数据源有各自的decode
sink和encode绑定:
各个sink有各自的encode