您现在的位置是:首页 > 文章详情

Apache Beam 2.19.0 发布,大数据批处理和流处理标准

日期:2020-02-05点击:419

Apache Beam 2.19.0 发布了。 Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 

主要更新内容:

New Features / Improvements

  • BEAM-6008  改进 Java/Python PortableRunner 中的错误报告
  • BEAM-8296  容器化 Spark 作业服务器
  • BEAM-8746  允许本地作业服务从 docker 内部工作
  • BEAM-8837 PCollectionVisualizationTest :可能的错误
  • BEAM-8139  执行便携式 Spark 应用程序 jar
  • BEAM-9019  改进 Spark 编码器(包装器或光束编码器)
  • BEAM-9053  改进无法获取 Python SDK 中指定路径的正确文件系统时的错误消息
  • BEAM-9055  跨语言统一 Fn Data API 的配置名称

更新说明: https://beam.apache.org/blog/2020/02/04/beam-2.19.0.html

原文链接:https://www.oschina.net/news/113185/apache-beam-2-19-0-released
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章