Apache Beam 2.19.0 发布,大数据批处理和流处理标准
Apache Beam 2.19.0 发布了。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 主要更新内容: New Features / Improvements BEAM-6008改进 Java/Python PortableRunner 中的错误报告 BEAM-8296容器化 Spark 作业服务器 BEAM-8746允许本地作业服务从 docker 内部工作 BEAM-8837PCollectionVisualizationTest:可能的错误 BEAM-8139执行便携式 Spark 应用程序 jar BEAM-9019改进 Spark 编码器(包装器或光束编码器) BEAM-9053改进无法获...