Apache Beam 2.27.0 发布,大数据流处理与批处理编程范式
Apache Beam 2.27.0 发布了。Beam 是一个用于定义和执行数据处理管道的统一编程模型,包括 ETL、批处理与流处理。Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,理想情况是基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 此版本主要更新内容如下: Highlights Java 11 Containers现已随所有 Beam 版本一起发布。 有一个新的转换ReadAllFromBigQuery,可以在管道运行时接收多个从 BigQuery 读取数据的请求。参见PR 13170和BEAM-9650。 I/Os ReadFromMongoDB 现在可以与 MongoDB Atlas (Python) 一起使用(BEAM-11266) ReadFromMongoDB/WriteToMongoDB将屏蔽 display_data (Python) 中的密码(BEAM-11444) 有一个新的转换ReadAllFromBigQuery,可以在管道运行时接收多个从 BigQuery 读取数据的请求。参见PR 13170和BEA...
