本文共 697 字,大约阅读时间需要 2 分钟。
Flume 是 Cloudera 提供的日志收集系统, 使用java语言编写,具有分布式、 高可靠、高可用性等特点, 适用于大数据的数据收集,聚合转换和传输。 Flume 支持在组件式配置,用户可以根据不同的应用场景部署各个组件。组件可以使用官方提供的,也可以使用用户自己二次开发的。
Flume的核心为Agent,每个Agent是一套完成的数据传输工具,完成数据的接收,转化,发送过程。
agent最核心的组件有Source,Channel,Sink。Agent的传输单位为Event。每个Event传输都经历如下过程:以下是flume官方提供的flume配置例子。每个Agent配置,最少出现一个source,channel,sink。
每个source必须配置写入一个channel,每个sink必须连接一个Channel。。 当配置好后,通过执行如下命令启动: bin/flume-ng agent -n agent名 -c conf -f 配置文件路径 -Dflume.root.logger=INFO,console。 如下: bin/flume-ng agent -n agent -c conf -f conf/flume-demo.conf -Dflume.root.logger=INFO,console。启动后可以通过命令:ps -ef|grep flume 查看是否启动成功,或者如按上面的命令行,则可在面板中看到。
了解Flume的基本使用后,开始看flume的源码。
根据官方提供的获取方式转载地址:http://afkai.baihongyu.com/