Apache Beam初探

2017-01-16 817

Apache Beam

Apache Beam provides an advanced unified programming model, allowing you to implement batch and streaming data processing jobs that can run on any execution engine.

Apache Beam is:

UNIFIED - Use a single programming model for both batch and streaming use cases.
PORTABLE - Execute pipelines on multiple execution environments, including Apache Apex, Apache Flink, Apache Spark, and Google Cloud Dataflow.

EXTENSIBLE - Write and share new SDKs, IO connectors, and transformation libraries.

原文地址：https://beam.apache.org/

从定义上看，Apache Beam是一个增强型的统一编程模型，这个模型可以支持实现batch和streaming 数据处理工作，并且可以运行在任何执行引擎上。所以总结Apache Beam的特点为：

1、可以针对batch and streaming use cases使用一个编程模型；

2、可以在多个执行环境上执行pipeline，包括了当前比较流行的Apache Apex,Apache Flink,Apache Spark,和Google Cloud Dataflow。

3、可扩展，可以编写和共享新的SDKs,IO connectors,和transformation 库。

分析看来，Apache Beam是提供了一个统一的编程模型，或者说是为客户提供了一个统一的接口，让用户可以不再关心batch和steaming data的不同处理，让用户可以不再关心具体的执行环境或者执行引擎。

这个图更能说明Apache Beam做了什么：

如果Apache Beam真能发展壮大，那么针对大数据处理，无疑是提供了一个很好的解决方案，让用户省去了很多麻烦事。目前sdk仅仅能支持Java版本。

微信关注我们

原文链接：https://yq.aliyun.com/articles/233266

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

数据让生意更简单，网聚宝创业团队利用数加快速打造核心业务竞争力，在激烈的市场竞争中弯道超车。

免费开通大数据服务：https://www.aliyun.com/product/odps “我们选择数加平台的主要目的是数加平台本身大数据应用的能力和平台的成熟度，当然背后还有很多能陪我们一起996战斗的数加兄弟们，无论是技术能力的判断，还是从商业合作的角度，这是选择数加的考虑。”“可以毫不保留的来讲，我们现在内部团队具备的大数据处理的能力相当于阿里巴巴的处理能力，所以我们能够很快速、便捷的给我们的品牌提供多样化的丰富的完整闭环的大数据的营销和解决方案的能力”熊大如是说。关于网聚宝上海云贝网络科技有限公司正式成立于2011年，是一家专注于全域大数据应用的服务商，多元化的产品矩阵，专业团队协同运作，为企业提供专业“大数据+”升级服务，帮助企业构建数字化商业能力，实现大数据变现。网聚宝是上海云贝网络科技有限公司旗下大数据品牌，目前服务

2017-01-16

681

免费开通大数据服务：https://www.aliyun.com/product/odps 微信小程序是一种不需要下载安装即可使用的应用，它实现了应用“触手可及”的梦想，用户扫一扫或者搜一下即可打开应用。也体现了“用完即走”的理念，用户不用关心是否安装太多应用的问题。应用将无处不在，随时可用，但又无需安装卸载，非常方便。在DT时代，数据人的小程序在哪里，今天我们介绍阿里云数加的数据市场；https://market.aliyun.com/data?spm=5176.8055458.401001.6.kanVIs 阿里里云数据市场现已提供近300款数据商品，涵盖了金融理财、电子商务、人工智能、企业管理、交通地理、气象水利、生活服务和公共事务共八大数据类目，基本覆盖了大数据生态中的各个应用领域。阿里云数据市场依托于阿里云“数加”大数据

2017-01-17

724

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Apache Beam初探

Apache Beam

Apache Beam provides an advanced unified programming model, allowing you to implement batch and streaming data processing jobs that can run on any execution engine.

数据让生意更简单，网聚宝创业团队利用数加快速打造核心业务竞争力，在激烈的市场竞争中弯道超车。

微信“小程序" 未完，数据的"小程序" 又来了

相关文章

发表评论

资源下载

优质分享App

Mario

腾讯云软件源

Spring

欢迎您来访！

Apache Beam初探

Apache Beam

Apache Beam provides an advanced unified programming model, allowing you to implement batch and streaming data processing jobs that can run on any execution engine.

数据让生意更简单，网聚宝创业团队利用数加快速打造核心业务竞争力，在激烈的市场竞争中弯道超车。

微信“小程序" 未完， 数据的"小程序" 又来了

相关文章

发表评论

资源下载

优质分享App

Mario

腾讯云软件源

Spring

欢迎您来访！

微信“小程序" 未完，数据的"小程序" 又来了