Gitee:  https://gitee.com/streamxhub/streamx

Github:  https://github.com/streamxhub/streamx
 

 1.重要更新

在 1.2.3 版本中，StreamX 支持了 最新的 Apache Flink 1.15.0 ，在使用上还是一如既往的简洁丝滑。同时支持了 Scala 2.11 / 2.12 从此可以自由的选择 Scala、重新划分了 Datastream Connector 模块、使得项目结构更清晰合理，增加了 ES 5 / 6 / 7 的 Datastream Connector ，开放了RESTApi 能力, 使得 StreamX 可以很方便的和其他系统集成。并且修复了一些 bug 。具体明细如下:

• 新增对 Scala 2.12 的支持 

• 新增对 Flink 1.15 的支持 

• 新增 RestApi 与外部系统的集成能力

• 新增 ES 5 / 6 / 7 Datastream connector

• 新增 Flink Cluster 集群管理 ( yarn | k8s )

• 新增 Flink SQL Pulsar connector

• 新增 Flink SQL Http connector

2.修复增强

• 修复 hadoop 3 环境下 kerberos 认证续期相关的 bug

• 修复项目编译可能存在的不能输出日志的 bug

• 修复 tm managed memory参数设置不能为0的 bug

• 修复 jobId 为 0**0 导致任务恢复时不能正确识别 savepoint 的 bug

• 修复项目修改后未出现编译按钮, 不能重新编译项目的bug

• 增强在添加 Flink Home 时对 scala 版本的验证

• 重构 Datastream connector模块,模块和包名重新划分

• 连接器的示例程序迁移至 streamx-quickstart
   

3.已有能力

系统管理
    [√] 用户管理, 新增,修改,删除,多租户支持
    [√] 角色管理, 新增,修改,删除
    [√] 菜单管理, 新增,修改,删除, 权限管理(到按钮级别的权限控制)
    [√] REST Token 管理

项目管理
    [√] 项目创建,删除(目前只支持git)
    [√] 项目编译,实时查看编译日志
    [√] 项目列表过滤查询,分页

作业管理
    [√] 作业创建，删除，编辑，更新，保存，常规参数配置
    [√] 作业启动，停止，重启，删除，火焰图(非flink内置)
    [√] 停止时自动savePoint,启动时从savePoint恢复
    [√] 作业列表的查看，过滤，分页。
    [√] 可视化 Flink SQL 编辑器,格式化，语法校验，保存
    [√] flinkSQL 任务多版本的支持
    [√] yarn-per-job 部署模式
    [√] yarn-application 部署模式
    [√] yarn-session部署模式
    [√] k8s-native-application 部署模式
    [√] k8s-native-session 部署模式
    [√] standalone 部署模式
    [√] 任务历史版本备份和回滚
    [√] 任务启动失败的日志在线查看
    [√] 任务依赖管理,支持标准maven pom坐标的依赖和手动上传jar
    [√] 任务实时状态显示(实际任务保持一致)
    [√] 任务监控,失败告警,发送邮件通知,自动重启
    [√] 本地上传jar任务的支持
    [√] 操作接口开放(REST请求可以控制任务启动|停止|savePoint等) 
    [√] 告警,重启策略, 针对checkpoint连续失败的处理(邮件告警|重启)
    [√] 支持所有 Flink sql connector
    [√] 支持所有 Flink UDF

兼容性
    [√] Hadoop 2 / 3 的支持
    [√] kerberos的认证支持
    [√] 多版本flink的支持(flink 1.12.x,1.13.x, 1.14.x, 1.15.0)
    [√] Scala 2.11 / 2.12 的支持

4.感谢贡献者

StreamX 的发展离不开社区的 Contributor 们的付出的积极努力, 本次又涌现一批积极的开发者, Flink 1.15 、 RestApi、 Datastream connector重构、 Flink Cluster 管理 等几个核心特性都是社区的开发者独立贡献的, 特别感谢 @lvshaokang @lzyyy @wangqingrong @xxyykkxx 在上述核心特性中所作的努力, 真诚感谢本次所有参与开发测试讨论的小伙伴, 以下为 Contributor 名单, 排名不分先后

ChunFu、Gilliam、benjobs、chengyuan、huzk、lvshaokang、lzyyy、sober、wangqingrong、wangrui、xxyykkxx、阿洋
 

5.加入我们

StreamX 遵循 Apache-2.0 开源协议，将会是个长期更新的活跃项目，自项目开源以来就受到很多同行的关注和认可，目前已经登记生产使用的用户有: 尚硅谷, INMOBI, JOYME , 联通数科... 更有百度这样的一线大厂。StreamX 开源刚满一年，目前全网累计 2k star，贡献者共计36位，总代码量已经突破11万行。StreamX 于 2021 年 11 月荣获开源中国「最有价值开源项目」。随后荣获「2021 年度 OSC 中国开源项目评选」的「最受欢迎项目」， 目前已经陆续有多家IT教育机构出相关课程, 感谢大家支持, 我们会继续努力,  坚信未来会更好。

       [贡献者墙]

       [StreamX 用户墙]

流批一体，流式数仓，数据湖是大数据领域的趋势，StreamX 虽离这个目标还有一段距离，但我们始终坚信: 道阻且长，行则将至，行而不辍，未来可期。我们会积极进取，做好相关功能持续迭代优化，和社区所有小伙伴一起努力进一步建设好社区，让 StreamX 成为一个功能完善，体验更佳，用户更多的产品，再获得更多认可。真诚欢迎热爱开源的伙伴加入到社区中来，为做一个优秀实用的好项目献上一份自己的力量。

「2021 最受欢迎开源项目」

附:

Streamx 官网:  http://streamxhub.com

Github:  https://github.com/streamxhub/streamx

Gitee:  https://gitee.com/streamxhub/streamx