StreamX 1.2.3 发布,唯快不破,支持 Flink 1.15
Gitee:https://gitee.com/streamxhub/streamx Github:https://github.com/streamxhub/streamx StreamX让流处理更简单,Flink&Spark极速开发框架,流批一体一站式大数据平台。今天 迎来了 1.2.3 Release 版本的正式发布!本次 增加了诸多新特性,修复了一些 bug ,对 StreamX 的易用性、稳定性等方面进行了加强,欢迎大家下载使用! 1.重要更新 在 1.2.3版本中,StreamX 支持了最新的 Apache Flink 1.15.0,在使用上还是一如既往的简洁丝滑。同时支持了Scala 2.11 / 2.12从此可以自由的选择 Scala、重新划分了 Datastream Connector 模块、使得项目结构更清晰合理,增加了 ES 5 / 6 / 7 的 Datastream Connector ,开放了RESTApi 能力, 使得 StreamX 可以很方便的和其他系统集成。并且修复了一些 bug。具体明细如下: 新增对 Scala 2.12 的支持 新增对Flink 1.15的支持 新增 RestApi与外部系统的集成能力 新增ES5 / 6 / 7Datastreamconnector 新增Flink Cluster 集群管理 ( yarn | k8s ) 新增 Flink SQLPulsarconnector 新增Flink SQLHttpconnector 2.修复增强 修复hadoop 3 环境下kerberos 认证续期相关的 bug 修复项目编译可能存在的不能输出日志的 bug 修复 tm managed memory参数设置不能为0的 bug 修复 jobId 为 0**0导致任务恢复时不能正确识别savepoint 的 bug 修复项目修改后未出现编译按钮, 不能重新编译项目的bug 增强在添加 Flink Home 时对 scala 版本的验证 重构Datastream connector模块,模块和包名重新划分 连接器的示例程序迁移至streamx-quickstart 3.已有能力 系统管理 [√] 用户管理, 新增,修改,删除,多租户支持 [√] 角色管理, 新增,修改,删除 [√] 菜单管理, 新增,修改,删除, 权限管理(到按钮级别的权限控制) [√] REST Token 管理 项目管理 [√] 项目创建,删除(目前只支持git) [√] 项目编译,实时查看编译日志 [√] 项目列表过滤查询,分页 作业管理 [√] 作业创建,删除,编辑,更新,保存,常规参数配置 [√] 作业启动,停止,重启,删除,火焰图(非flink内置) [√] 停止时自动savePoint,启动时从savePoint恢复 [√] 作业列表的查看,过滤,分页。 [√] 可视化 Flink SQL 编辑器,格式化,语法校验,保存 [√] flinkSQL 任务多版本的支持 [√] yarn-per-job 部署模式 [√] yarn-application 部署模式 [√] yarn-session部署模式 [√] k8s-native-application 部署模式 [√] k8s-native-session 部署模式 [√] standalone 部署模式 [√] 任务历史版本备份和回滚 [√] 任务启动失败的日志在线查看 [√] 任务依赖管理,支持标准maven pom坐标的依赖和手动上传jar [√] 任务实时状态显示(实际任务保持一致) [√] 任务监控,失败告警,发送邮件通知,自动重启 [√] 本地上传jar任务的支持 [√] 操作接口开放(REST请求可以控制任务启动|停止|savePoint等) [√] 告警,重启策略, 针对checkpoint连续失败的处理(邮件告警|重启) [√] 支持所有 Flink sql connector [√] 支持所有 Flink UDF 兼容性 [√] Hadoop 2 / 3 的支持 [√] kerberos的认证支持 [√] 多版本flink的支持(flink 1.12.x,1.13.x, 1.14.x, 1.15.0) [√] Scala 2.11 / 2.12 的支持 4.感谢贡献者 StreamX 的发展离不开社区的 Contributor们的付出的积极努力,本次又涌现一批积极的开发者,Flink 1.15、RestApi、Datastream connector重构、Flink Cluster 管理等几个核心特性都是社区的开发者独立贡献的,特别感谢@lvshaokang @lzyyy@wangqingrong @xxyykkxx在上述核心特性中所作的努力,真诚感谢本次所有参与开发测试讨论的小伙伴,以下为 Contributor 名单,排名不分先后 ChunFu、Gilliam、benjobs、chengyuan、huzk、lvshaokang、lzyyy、sober、wangqingrong、wangrui、xxyykkxx、阿洋 5.加入我们 StreamX 遵循 Apache-2.0 开源协议,将会是个长期更新的活跃项目,自项目开源以来就受到很多同行的关注和认可,目前已经登记生产使用的用户有:尚硅谷,INMOBI,JOYME,联通数科...更有百度这样的一线大厂。StreamX 开源刚满一年,目前全网累计2kstar,贡献者共计36位,总代码量已经突破11万行。StreamX于 2021 年 11 月荣获开源中国「最有价值开源项目」。随后荣获「2021 年度 OSC 中国开源项目评选」的「最受欢迎项目」, 目前已经陆续有多家IT教育机构出相关课程, 感谢大家支持, 我们会继续努力, 坚信未来会更好。 [贡献者墙] [StreamX 用户墙] 流批一体,流式数仓,数据湖是大数据领域的趋势,StreamX 虽离这个目标还有一段距离,但我们始终坚信: 道阻且长,行则将至,行而不辍,未来可期。我们会积极进取,做好相关功能持续迭代优化,和社区所有小伙伴一起努力进一步建设好社区,让 StreamX 成为一个功能完善,体验更佳,用户更多的产品,再获得更多认可。真诚欢迎热爱开源的伙伴加入到社区中来,为做一个优秀实用的好项目献上一份自己的力量。 「2021 最受欢迎开源项目」 附: Streamx官网:http://streamxhub.com Github:https://github.com/streamxhub/streamx Gitee:https://gitee.com/streamxhub/streamx