Apache Beam初探

2017-01-16 798

Apache Beam

Apache Beam provides an advanced unified programming model, allowing you to implement batch and streaming data processing jobs that can run on any execution engine.

Apache Beam is:

UNIFIED - Use a single programming model for both batch and streaming use cases.
PORTABLE - Execute pipelines on multiple execution environments, including Apache Apex, Apache Flink, Apache Spark, and Google Cloud Dataflow.

EXTENSIBLE - Write and share new SDKs, IO connectors, and transformation libraries.

原文地址：https://beam.apache.org/

从定义上看，Apache Beam是一个增强型的统一编程模型，这个模型可以支持实现batch和streaming 数据处理工作，并且可以运行在任何执行引擎上。所以总结Apache Beam的特点为：

1、可以针对batch and streaming use cases使用一个编程模型；

2、可以在多个执行环境上执行pipeline，包括了当前比较流行的Apache Apex,Apache Flink,Apache Spark,和Google Cloud Dataflow。

3、可扩展，可以编写和共享新的SDKs,IO connectors,和transformation 库。

分析看来，Apache Beam是提供了一个统一的编程模型，或者说是为客户提供了一个统一的接口，让用户可以不再关心batch和steaming data的不同处理，让用户可以不再关心具体的执行环境或者执行引擎。

这个图更能说明Apache Beam做了什么：

如果Apache Beam真能发展壮大，那么针对大数据处理，无疑是提供了一个很好的解决方案，让用户省去了很多麻烦事。目前sdk仅仅能支持Java版本。

微信关注我们

原文链接：https://yq.aliyun.com/articles/233266

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

数据让生意更简单，网聚宝创业团队利用数加快速打造核心业务竞争力，在激烈的市场竞争中弯道超车。

免费开通大数据服务：https://www.aliyun.com/product/odps “我们选择数加平台的主要目的是数加平台本身大数据应用的能力和平台的成熟度，当然背后还有很多能陪我们一起996战斗的数加兄弟们，无论是技术能力的判断，还是从商业合作的角度，这是选择数加的考虑。”“可以毫不保留的来讲，我们现在内部团队具备的大数据处理的能力相当于阿里巴巴的处理能力，所以我们能够很快速、便捷的给我们的品牌提供多样化的丰富的完整闭环的大数据的营销和解决方案的能力”熊大如是说。关于网聚宝上海云贝网络科技有限公司正式成立于2011年，是一家专注于全域大数据应用的服务商，多元化的产品矩阵，专业团队协同运作，为企业提供专业“大数据+”升级服务，帮助企业构建数字化商业能力，实现大数据变现。网聚宝是上海云贝网络科技有限公司旗下大数据品牌，目前服务

2017-01-16

661

免费开通大数据服务：https://www.aliyun.com/product/odps 微信小程序是一种不需要下载安装即可使用的应用，它实现了应用“触手可及”的梦想，用户扫一扫或者搜一下即可打开应用。也体现了“用完即走”的理念，用户不用关心是否安装太多应用的问题。应用将无处不在，随时可用，但又无需安装卸载，非常方便。在DT时代，数据人的小程序在哪里，今天我们介绍阿里云数加的数据市场；https://market.aliyun.com/data?spm=5176.8055458.401001.6.kanVIs 阿里里云数据市场现已提供近300款数据商品，涵盖了金融理财、电子商务、人工智能、企业管理、交通地理、气象水利、生活服务和公共事务共八大数据类目，基本覆盖了大数据生态中的各个应用领域。阿里云数据市场依托于阿里云“数加”大数据

2017-01-17

707

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Apache Beam初探

Apache Beam

Apache Beam provides an advanced unified programming model, allowing you to implement batch and streaming data processing jobs that can run on any execution engine.

数据让生意更简单，网聚宝创业团队利用数加快速打造核心业务竞争力，在激烈的市场竞争中弯道超车。

微信“小程序" 未完，数据的"小程序" 又来了

相关文章

发表评论

资源下载

Mario

腾讯云软件源

Nacos

Rocky Linux

欢迎您来访！

Apache Beam初探

Apache Beam

Apache Beam provides an advanced unified programming model, allowing you to implement batch and streaming data processing jobs that can run on any execution engine.

数据让生意更简单，网聚宝创业团队利用数加快速打造核心业务竞争力，在激烈的市场竞争中弯道超车。

微信“小程序" 未完， 数据的"小程序" 又来了

相关文章

发表评论

资源下载

Mario

腾讯云软件源

Nacos

Rocky Linux

欢迎您来访！

微信“小程序" 未完，数据的"小程序" 又来了