首页 文章 精选 留言 我的

精选列表

搜索[标准直播],共10000篇文章
优秀的个人博客,低调大师

Apache Beam 2.23.0 发布,大数据批处理和流处理标准

Apache Beam2.23.0现已发布。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 主要更新内容: Highlights Twister2 Runner(BEAM-7304)。 Python 3.8支持(BEAM-8494)。 I/Os 添加了对 Snowflakereading的支持(Java)(BEAM-9722)。 增加了对写入 Splunk 的支持(Java)(BEAM-8596)。 添加了对assume role的支持(Java)(BEAM-10335)。 已添加一个新的可从 BigQuery 读取的 transform:apache_beam.io.gcp.bigquery.ReadFromBigQuery。此 transform 是实验性的。它通过将数据导出到 Avro 文件并读取这些文件来从 BigQuery 读取数据。它还支持通过导出到 JSON 文件来读取数据。与时间和日期相关的字段在行为上有很小的差异。 为 SnowflakeIO.write添加 dispositions(BEAM-10343) New Features/Improvements 更新 Snowflake JDBC 依赖关系,并将application=beam添加到 connection URL(BEAM-10383)。 Breaking Changes 在反序列化 JSON(Java)时,RowJson.RowJsonDeserializer、JsonToRow和PubsubJsonTableProvider现在默认接受“implicit nulls”。以前的 null 只能用explicit null值表示,例如{"foo": "bar", "baz": null},而像{"foo": "bar"}这样的implicit null值则会引发异常。现在,两个 JSON 字符串默认都会产生相同的结果。可以使用用RowJson.RowJsonDeserializer#withNullBehavior来覆盖此行为。 修复 Python 中GroupIntoBatches实验转换中的一个错误,该错误实际上是按键对批次进行分组的。这将更改此转换的输出类型(BEAM-6696)。 Deprecations 删除 Gearpump runner。(BEAM-9999) 删除 Apex 运行程序。(BEAM-9999) RedisIO.readAll()已被弃用,将在 2 个版本中删除,用户必须使用RedisIO.readKeyPatterns()作为替代(BEAM-9747)。 更新说明:https://beam.apache.org/blog/beam-2.23.0/

优秀的个人博客,低调大师

Apache Beam 2.19.0 发布,大数据批处理和流处理标准

Apache Beam 2.19.0 发布了。Apache Beam 是 Google 在 2016 年 2 月份贡献给 Apache 基金会的项目,主要目标是统一批处理和流处理的编程范式,为无限、乱序、web-scale 的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的 SDK。Apache Beam 项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache Beam 希望基于 Beam 开发的数据处理程序可以执行在任意的分布式计算引擎上。 主要更新内容: New Features / Improvements BEAM-6008改进 Java/Python PortableRunner 中的错误报告 BEAM-8296容器化 Spark 作业服务器 BEAM-8746允许本地作业服务从 docker 内部工作 BEAM-8837PCollectionVisualizationTest:可能的错误 BEAM-8139执行便携式 Spark 应用程序 jar BEAM-9019改进 Spark 编码器(包装器或光束编码器) BEAM-9053改进无法获取 Python SDK 中指定路径的正确文件系统时的错误消息 BEAM-9055跨语言统一 Fn Data API 的配置名称 更新说明:https://beam.apache.org/blog/2020/02/04/beam-2.19.0.html

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring

Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册