概述

 在做埋点数据离线存储到odps中，用到了Flume。一边使用，一边学习了下Flume。其中感受到Flume确实易伸缩、易扩展。其中的组件都可以根据自己的业务特点方便的自定义使用。

Flume可进行大量日志数据采集、聚合和并转移到存储中，并提供数据在流转中的事务机制；
可适用场景：日志--->Flume--->实时计算（如MQ+Storm） 、日志--->Flume--->离线计算（如ODPS、HDFS、HBase）、日志--->Flume--->ElasticSearch等。

Flume架构

 Flume主要分为 Source、Channel、Sink三个组件，他们包含在一个Agent中，一个Agent相当于一个独立的application。数据从源头经过Agent的这几个组件最后到达目的地。