Apache Beam 2.23.0 发布,大数据批处理和流处理标准
Apache Beam2.23.0现已发布。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 主要更新内容: Highlights Twister2 Runner(BEAM-7304)。 Python 3.8支持(BEAM-8494)。 I/Os 添加了对 Snowflakereading的支持(Java)(BEAM-9722)。 增加了对写入 Splunk 的支持(Java)(BEAM-8596)。 添加了对assume role的支持(Java)(BEAM-10335)。 已添加一个新的可从 BigQuery 读取的 transform:apache_beam.io.gcp.bigquery.ReadF...