Apache StreamPark 2.1.2 稳定版正式发布

2023-12-12 408

近日 Apache StreamPark(Incubating) 社区正式发布了 StreamPark 2.1.2 版本，在 2.1.2 版本中，支持了最新的 Flink 1.18，Flink Jar 类型的作业支持指定依赖，修复了诸多 Bug 和大量改进，稳定性和可用性进一步提升，建议所有用户升级到这个版本。

Github: https://github.com/apache/streampark

官网: https://streampark.apache.org/download

欢迎 使用、关注、star、fork

新特性解读

更好的支持 JAR 类型作业

在 StreamPark 中将 Flink 作业按照开发模式分为 Custom Code 和 Flink SQL 两种类型，Custom Code 是需要用户编写代码编译成 JAR 类型的 Flink 作业，在以前的版本中该类型的作业不支持在 StreamPark 平台侧指定作业依赖，要求用户自己解决作业需要的依赖，通常做法是需要将这些依赖打包到项目里，生成一个 FatJar (uber-jar)。社区收到很多用户的反馈，大家普遍希望 StreamPark 平台侧针对 JAR 类型的作业能像 Flink SQL 作业一样，可以自由的指定作业的依赖。

同时，我们也看到 Apache Doris, Apache Paimon 等社区都开发了基于 Flink CDC 一键集成数据的组件 (doris-flink-connector 和 paimon-action)，该组件都提供了作业迁移的入口，但作业运行时依赖需要用户手动添加。

鉴于这些原因，在 StreamPark 2.1.2 里，特别针对 JAR 类型的作业支持了指定依赖的能力，使得用户部署这类作业更加简单。以下是两个示例，演示了如何利用该特性，来快速部署 Doris 和 Paimon 数据迁移类型的作业：

StreamPark让Doris数据集成更简单

StreamPark让Paimon数据集成更简单

支持 Flink 1.18

作为流处理开发管理框架，StreamPark 在对 Apache Flink 的支持上，一如既往的走在前列。得益于 StreamPark 良好的架构设计，使得支持一个新版本的 Flink 非常容易，因此我们率先支持了 Flink 1.18 [1]。在使用上非常的简单，用户只需要添加一个 Flink 1.18 的环境即可，作业可以自由的选择 Flink 版本。

并且本次适配了更多发行版 Flink，如 CDH 版本的 Flink, 华为云，腾讯云 Flink 等。

支持 Flink 多版本

其他改进和更新

修复作业状态重新映射不生效的 Bug #2822
改进 Flink 版本的校验逻辑，适配更多的 Flink 版本 #2832
修复作业 “取消状态” 下可能存在的无法发送报警信息的 Bug #3157
修复 Ingress 访问 Flink UI 可能存在的 404 Bug #3302
修复团队为空，导致查询错误的 Bug #3365
修复作业参数解析，特定字符解析错误导致作业失败的 Bug
修复项目编译时 maven-wrapper 文件损坏导致失败的 Bug
Flink 作业的 Pom 信息支持 exclusion，有效避免 JAR 冲突问题

Release Note

本次 StreamPark 2.1.2 版本的完整 Release Note 请访问：
https://streampark.apache.org/download/release-note/2.1.2

感谢贡献者

StreamPark 开源社区的发展，离不开广大用户群体的积极反馈和宣传布道，更离不开贡献者们的无私贡献，感谢对此版本做出贡献的每一位贡献者。

特别感谢本次的 Release Manager @龚中强[2]，中强在发版过程中积极的跟踪问题和推进进度，完美胜任了此次发版工作。感谢中强为社区做出的贡献，也欢迎其他 PPMC member 和 Committer 在后续的发版中担任 Release Manager，帮助社区更快捷、高质量地完成发版。

什么是 StreamPark

StreamPark 是一个流处理应用程序开发管理框架。初衷是让流处理更简单，旨在轻松构建和管理流处理应用程序，提供使用 Apache Flink 和 Apache Spark 编写流处理应用程序的开发框架。同时 StreamPark 提供了一个流处理应用管理平台，核心能力包括但不限于应用开发、调试、交互查询、部署、运维、实时数仓等，最初开源时项目名称叫 StreamX ，于 2022 年 8 月更名为 StreamPark，随后通过投票正式成为 Apache 开源软件基金会的孵化项目。目前已有腾讯、百度、联通、天翼云、自如、马蜂窝、长安汽车等数百家公司生产环境使用。

🫵 加入我们

StreamPark 社区一直以来都以用心做好一个项目为原则，高度关注项目质量，努力建设发展社区。加入 Apache 孵化器以来，认真学习和遵循「The Apache Way」，我们将秉承更加兼容并包的心态，迎接更多的机遇与挑战。诚挚欢迎更多的贡献者参与到社区建设中来，和我们一道携手共建。

💻 项目地址：https://github.com/apache/streampark

🧐 提交问题和建议：https://github.com/apache/streampark/issues

🥁 贡献代码：https://github.com/apache/streampark/pulls

📮 Proposal：https://cwiki.apache.org/confluence/display/INCUBATOR/StreamPark+Proposal

📧 订阅社区开发邮件列表：dev@streampark.apache.org [3]

💁‍♀️社区沟通：

参考资料

[1] https://nightlies.apache.org/flink/flink-docs-release-1.18/release-notes/flink-1.18

[2] https://github.com/GOODBOY008

[3] mailto:dev@streampark.apache.org

祝大家安装、升级顺利~~

微信关注我们

原文链接：https://www.oschina.net/news/270652/apache-streampark-2-1-2-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Jarboot 服务管理与诊断、让运维更简单 v3.0.0 发布

Jarboot 是一个强大的 Java 进程管理、诊断的平台，可以在线管理、监控及诊断本地和远程的 Java 进程。官方文档：www.yuque.com/jarboot 3.0.0（12，2023） 3.0.0跨越式升级，新增暗黑主题，支持主题跟随系统变化，集群模式支持，多个jarboot服务可集群管理，并且，不再局限与支持Java程序，可支持Shell脚本、二进制可执行文件等其他编程语言编写的程序。【Jarboot3.0新版本功能展示】 https://www.bilibili.com/video/BV1KG411e7ip/?share_source=copy_web&vd_source=b901b6d8d17d4922a1229758fa74e46c 新特性白色主题和暗黑主题可按日起日落自动切换不再局限于只支持Java程序，支持启动Shell脚本、二进制等程序新增工具菜单：文件浏览器、终端(需要JDK11或以上版本)、文本及代码编辑 dashboard界面使用图表展示，可记录历史趋势用户域隔离，每个账号可配置使用独立的目录默认使用启动jarboot的JDK启...

2023-12-12

389

本文分析了机器学习硬件性能的最新趋势，重点关注不同GPU和加速器的计算性能、内存、互连带宽、性价比和能效等指标。这篇分析旨在提供关于ML硬件能力及其瓶颈的全面视图。本文作者来自调研机构Epoch，致力于研究AI发展轨迹与治理的关键问题和趋势。（本文由OneFlow编译发布，转载请联系授权。原文：https://epochai.org/blog/trends-in-machine-learning-hardware#computational-price-performance 作者 |Marius Hobbhahn、Lennart Heim、Gökçe Aydos OneFlow编译翻译｜杨婷、宛子琳要点概览图1：常见机器学习加速器在给定精度下的峰值计算性能。自2016年以来，已出现了新的数值格式。趋势线展示了带有八个或更多加速器的数值格式：FP32、FP16（FP = 浮点、张量-* = 张量核心处理、TF = Nvidia 张量浮点、INT = 整数）我们研究了GPU在不同数值表示、内存容量、带宽以及互连带宽方面的计算性能，使用的数据集包括2010年到2023年...

2023-12-12

315

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。