Apache Beam的架构概览-低调大师

Apache Beam的架构概览

2016-09-24 623 89

　　Apache Beam是一个开源的数据处理编程库，由Google贡献给Apache的项目，前不久刚刚成为Apache TLP项目。它提供了一个高级的、统一的编程模型，允许我们通过构建Pipeline的方式实现批量、流数据处理，并且构建好的Pipeline能够运行在底层不同的执行引擎上。刚刚接触该开源项目时，我的第一感觉就是：在编程API的设计上，数据集及其操作的抽象有点类似Apache Crunch（MapReduce Pipeline编程库）项目；而在支持统一数据处理模型上，能够让人想到Apache Flink项目。如果深入了解Apache Beam，你会发现未来Apache Beam很可能成为数据处理领域唯一一个能够将不同的数据应用统一起来的编程库。

Apache Beam架构概览

　　Apache Beam目前最新版本为2.1.1-SNAPSHOT，最新的Release版本为2.0.0，很多特性还在开发中。

　　在网上找到一个由Andrew Psaltis在2016年6月份演讲的《Apache Beam: The Case for Unifying Streaming API’s》，引用了其中一个Apache Beam的架构图，如下图所示：

上图中，我们可以看到，Apache Beam核心的主要有两层：

Pipeline构建层

　　在Pipeline构建层，针对不同的编程语言，构建一组用于定义Pipeline相关抽象，提供编程API，这一层被称为Beam SDKs。最终的用户（具有不同编程语言技能的人员）可以基于这些抽象的Beam SDK来构建数据处理Pipeline。

Runner适配层

　　Runner适配层，主要是用来对接底层的计算引擎，用来执行上层用户开发好的Pipeline程序。

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/7609594.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/363601

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《hadoop进阶》基于hadoop和hive的微博热词跟踪系统

打开微信扫一扫，关注微信公众号【数据与算法联盟】转载请注明出处：http://blog.csdn.net/gamer_gyt博主微博：http://weibo.com/234654758Github：https://github.com/thinkgamer 代码下载地址：点击查看 -------------------------------------------------------------------------------------------------------------------------------------------------- 写在前边的话这篇文章应该是有史以来写的时间最长的一篇文章，我记得是今年暑假之前开始的，后来因为种种原因吧（找工作，开始工作，电脑重装，换工作等等），导致现在才写完，算是一篇迟到了二个月的文章，实在是不好意思，曾经也想过不写了，但是后来还是坚持了下来，只想分享给大家整片博客分为这几个部分： 1：微博热词跟踪系统概述 2：需求分析 3：算法模型...

575

原来MaxCompute还能这么玩系列（1）—— 通过Apache Zeppelin 快速实现数据可视化

注：MaxCompute原名ODPS，是阿里云自研的大数据计算平台，文中出现的MaxCompute与ODPS都指代同一平台，不做区分 Zeppelin简介 Zeppelin是一款基于web的notebook工具，它支持以插件的方式接入各种解释器（interpreter），从而使用户能够以特定的语言或数据处理后端来完成交互式查询，并快速实现数据可视化。部署Zeppelin 首先，你需要在部署的服务器上安装Oracle JDK 1.7，并配置好相应的JAVA_HOME环境变量，这步不做赘述。接着，我们需要获取Zeppelin，推荐你下载官网最新的发行包。下载后解压到服务器上的某个目录下，比如笔者解压到了本地目录：/Users/emerson/develop_tools/zeppelin-0.6.1-bin-all，该目录即为zeppelin

690

资源下载

更多资源

Oracle Database，又名Oracle RDBMS

Oracle Database，又名Oracle RDBMS，或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统，系统可移植性好、使用方便、功能强，适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。