概述

  在做埋点数据离线存储到odps中，用到了Flume。一边使用，一边学习了下Flume。其中感受到Flume确实易伸缩、易扩展。其中的组件都可以根据自己的业务特点方便的自定义使用。

Flume可进行大量日志数据采集、聚合和并转移到存储中，并提供数据在流转中的事务机制；
可适用场景：日志--->Flume--->实时计算（如MQ+Storm）、日志--->Flume--->离线计算（如ODPS、HDFS、HBase）、日志--->Flume--->ElasticSearch等。

Flume架构

  Flume主要分为 Source、Channel、Sink三个组件，他们包含在一个Agent中，一个Agent相当于一个独立的application。数据从源头经过Agent的这几个组件最后到达目的地。

微信关注我们

原文链接：https://yq.aliyun.com/articles/54492

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2016-06-13 00:00:00

《深入理解Spark：核心思想与源码分析》2次印刷修订内容清单

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/beliefer/article/details/51657146 前言自从《深入理解Spark：核心思想与源码分析》一书出版以来，陆续收到很多读者的反馈，笔者为此在第1版第2次印刷之前做了一些勘误。为便于购买了老版本书籍的读者查漏补缺，现将勘误内容整理如下。勘误内容 1、第20页第11行 “中间输出和结果存储在HDFS”改为了“中间输出和结果存储在磁盘”（如图1所示）；图1 2、第20页第12行 “读写HDFS造成”改为了“读写磁盘造成”（如图1所示）； 3、第22页第14行 “要选择Java作为”改为了“要选择Scala作为”（如图2所示）；图2 4、第64页代码清单3-41标题中的“ExecutorLIRLClassLoader的实现”改为了“ExecutorURLClassLoader的实现”（如图3所示）; 图3 5、第123页图4-8 在判断“失败达到最大次数？”与“开始复制”之间加有向箭头，表示当复制失败未达到最大次数还有继续进行复制（如图4所示）；图4 6、第...

518

2016-06-13 00:00:00

开源大数据周刊-第9期

阿里云E-Mapreduce动态 E-Mapreduce团队1.3.2版本（已经发布）： Master HA功能 1.3.3版本（即将发布）商业化 1.4版本（正在研发）: 用户执行计划及集群运行状态自定义报警集群整体运行情况的仪表盘集群的一些专家建议，例如：扩容提醒集群一键重启资讯菜鸟“闹”江湖：物流+大数据，能把广东、江苏GDP都节省出来？中国物流去向何方？菜鸟网络认为，通过推动物流业向智慧转型，未来目标是要把中国社会物流总成本占GDP的比重降低到5%，这将是物流新模式对社会的重大贡献，相当于每年可以节省出广东省和江苏省的GDP总和大数据，未来已来前日，在成都的一次大数据会上，各位顶级专家都不约而同地提到了大数据还远未成熟的观点。我也很赞同这个观点，大数据在今天，依然属于前沿科学，它在很多行业和细分领域，都还很不成熟。然而，这并不代表

675

资源下载

更多资源

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9（Java Web服务器）

Tomcat是Apache 软件基金会（Apache Software Foundation）的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可，成为目前比较流行的Web 应用服务器。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Flume 使用学习小结

概述