Flume OG和Flume NG的区别

2017-11-22 744

应用场景

Flume作为Hadoop中的日志采集工具，非常的好用，但是在安装Flume的时候，查阅很多资料，发现形形色色，有的说安装Flume很简单，有的说安装Flume很复杂，需要依赖zookeeper，所以一方面说直接安装Flume，解压即可用，还有一方面说需要先装了Zookeeper才可以安装Flume。那么为何会才生这种情况呢？其实两者说的都对，只是Flume的不同版本问题。

背景介绍

Cloudera 开发的分布式日志收集系统 Flume，是 hadoop 周边组件之一。其可以实时的将分布在不同节点、机器上的日志收集到 hdfs 中。Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera。但随着 FLume 功能的扩展，Flume OG 代码工程臃肿、核心组件设计不合理、核心配置不标准等缺点暴露出来，尤其是在 Flume OG 的最后一个发行版本 0.94.0 中，日志传输不稳定的现象尤为严重，这点可以在 BigInsights 产品文档的 troubleshooting 板块发现。为了解决这些问题，2011 年 10 月 22 号，cloudera 完成了 Flume-728，对 Flume 进行了里程碑式的改动：重构核心组件、核心配置以及代码架构，重构后的版本统称为 Flume NG（next generation）；改动的另一原因是将 Flume 纳入 apache 旗下，cloudera Flume 改名为 Apache Flume。

Flume OG

FLUM OG 有三种角色的节点：代理节点（agent）、收集节点（collector）、主节点（master）。: -agent 从各个数据源收集日志数据，将收集到的数据集中到 collector，然后由收集节点汇总存入 hdfs。master 负责管理 agent，collector 的活动。
-agent、collector 都称为 node，node 的角色根据配置的不同分为 logical node（逻辑节点）、physical node（物理节点）。对 logical nodes 和 physical nodes 的区分、配置、使用一直以来都是使用者最头疼的地方。
-agent、collector 由 source、sink 组成，代表在当前节点数据是从 source 传送到 sink。

Flume OG 架构图

Flume OG 节点组成图

Flume NG

NG 只有一种角色的节点：代理节点（agent）。: 没有 collector、master 节点。这是核心组件最核心的变化。
去除了 physical nodes、logical nodes 的概念和相关内容。
agent 节点的组成也发生了变化。NG agent 由 source、sink、channel 组成。

Flume NG 架构图

Flume NG 节点组成图

Flume OG vs Flume NG

在 OG 版本中，Flume 的使用稳定性依赖 zookeeper。它需要 zookeeper 对其多类节点（agent、collector、master）的工作进行管理，尤其是在集群中配置多个 master 的情况下。当然，OG也可以用内存的方式管理各类节点的配置信息，但是需要用户能够忍受在机器出现故障时配置信息出现丢失。所以说 OG 的稳定行使用是依赖zookeeper 的。

而在 NG 版本中，节点角色的数量由 3 缩减到 1，不存在多类角色的问题，所以就不再需要 zookeeper 对各类节点协调的作用了，由此脱离了对 zookeeper 的依赖。由于 OG 的稳定使用对 zookeeper 的依赖表现在整个配置和使用过程中，这就要求用户掌握对 zookeeper 集群的搭建及其使用

OG 在安装时：在 flume-env.sh 中设置$JAVA_HOME。需要配置文件 flume-conf.xml。其中最主要的、必须的配置与 master 有关。集群中的每个 Flume 都需要配置 master 相关属性（如 flume.master.servers、flume.master.store、flume.master.serverid）。如果想稳定使用 Flume 集群，还需要安装 zookeeper 集群，这需要用户对 zookeeper 有较深入的了解。安装 zookeeper 之后，需要配置 flume-conf.xml 中的相关属性，如 flume.master.zk.use.external、flume.master.zk.servers。在使用 OG 版本传输数据之前，需要启动 master、agent。

NG 在安装时，只需要在 flume-env.sh 中设置$JAVA_HOME。

所以，当下我们使用Flume的时候，一般都采用Flume NG

微信关注我们

原文链接：https://yq.aliyun.com/articles/625634

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

通过微软System Center 2012 VMM实现私有云环境裸金属部署的"最高境界"

写在博客之前：时间过得好快，有段时间没有更新博客了；感觉做一件事情很容易，或者将一件事情做几次也不难，所谓“贵在坚持”，很多东西成为习惯无外乎是你从内心中还是喜爱这件事情的本身的，并不一定因为做这件事情能带给你什么好处，而是因为你乐在做这件事本身，不功利的说，就像我爱打羽毛球，也许球打的不怎样，但是我喜欢我就坚持下来了，并且附加的好处是这半年几乎没得过病，并且身体越来越好了；写博客这件事情我也希望坚持下来，如果这些博客能够对相关的从业的朋友有所帮助，哪怕是很小的一块，那也算是附加的宝贵财富了。前言对于一个简单的只有几台服务器组成的环境，部署一个基础环境，或者说部署几台带有Hyper-V虚拟化功能的操作系统恐怕真不是什么复杂的事情，但是一个复杂的数据中心或者几百台甚至上千台服务器组成的云数据中心，可能随时需要根据要求进行节点的扩充，基础架构环境的部署；在这种情况下，除了需要从模块化的金属架构本身入手，还需要一个有力的手段实现私有云环境就绪的基础环境（简单的说就是你把虚拟化的底层架构hypervisor给我自动化的部署到一个裸金属架构上去）。有了云基础架构（包含Hyperviso...

2017-11-23

688

2013年5月17日，阿里集团最后一台IBM小机在支付宝下线。这是自2009年“去IOE”战略透露以来，“去IOE”非常重要的一个节点。“去 IOE”指的是摆脱掉IT部署中原有的IBM小型机、Oracle数据库以及EMC存储的过度依赖。告别最后一台小机，意味着整个阿里集团尽管还有一些Oracle数据库和EMC存储，但是IBM小型机已全部被替换。2013年7月10日，淘宝重中之重的广告系统使用的Oracle数据库下线，也是整个淘宝最后一个 Oracle数据库。这两件事合在一起是阿里巴巴技术发展过程中的一个重要里程碑。何谓IOE？ IOE 这个说法来自阿里技术团队内部的称谓，然后才在整个业界流传开来。IOE是传统IT三大件，指以 IBM 、Oracle、EMC 为代表的小型机、集中式数据库和高端存储的技术架构。 I指 IBM p 系列小型机，操作系统是 AIX（IBM 专有的 Unix 系统）； O指 Oracle 数据库(RDBMS)； E指 EMC 中高端 SAN 存储。为什么要去IOE? 阿里巴巴过去一直采用的是Oracle数据库，并利用小型机和高端存储设备提供高性能的数据处理和...

2017-11-23

581

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。