课程进度 31% · 第3/8章第3/8章 · 标签 1/2
— 1 —
数据采集工具
大数据处理的第一步是数据采集，常用的工具有：
- Flume：日志采集
- Logstash：多源数据采集与转换
— 2 —
Logstash配置示例
Logstash 通过配置 input、filter、output 三个阶段完成数据处理。
ruby
1
# Logstash配置示例
2
input { file { path => "/var/log/syslog" } }
3
filter { grok { match => { "message" => "%{SYSLOGBASE}" } } }
4
output { elasticsearch { hosts => ["localhost:9200"] } }