流式应用开发管理系统 Streamis 0.2.0

Streamis 简介

GitHub：https://github.com/WeBankFinTech/Streamis

Streamis是一个基于开源社区联合共建的流式应用开发管理系统，初期版本由微众银行、天翼云、仙翁科技和萨摩耶云参与共建开发。

Streamis在框架层面直接接壤DataSphere Studio，同时底层引擎层面又直接对接了Linkis的Flink引擎，可以让用户低成本完成流式应用的开发、调试、发布和生产管理。同时随着Linkis和DataSphereStudio开源版本的发布迭代，对Streamis的功能特性也是持续地优化和增强。

Streamis 0.2.0版本发布，主要增加了对架构的优化和调整，并提供了一些重要功能特性，为后续版本迭代打下基础。

新增的核心功能特性主要包括：

• 流式任务状态（Checkpoint和Savepoint）管理，使得用户可以为Flink应用程序做快照处理并具备从快照中恢复的能力；
• 新的流式任务配置模块，支持弹性增删流式任务的配置定义项；
• Streamis AppConn, 数据层面打通和DataSphereStudio的同步；
• 流式作业批量管理（如批量启动和批量暂停），让用户可以对流式任务进行批操作，结合任务状态管理功能，从而做到任务异常自恢复；

缩写列表：

• SJL: Stream Job Launcher Module
• SJDA: Stream Job Deploy API Module
• SJHV: Stream Job History And Version Module
• SBO: Stream Bulk Operation Module
• SA: Stream AppConn Module

版本新特性

• SJL: 添加任务作业状态管理模块，并提供状态获取器JobStateFetcher来获取作业状态信息(包括checkpoint/savepoint).[Streamis-23]
• SJL: 能够自动重启失败的流式任务作业，并自动恢复其状态.[Streamis-22]
• SBO: 任务作业批量操作接口集合. [Streamis-19]
• SJDA: 能够获取任务作业对应的Yarn应用日志 (该特性依赖Linkis版本>=1.1.2). [Streamis-27]
• SA: Streamis AppConn 同步项目和权限信息(该特性依赖DSS版本>=1.1.0). [Streamis-24]

功能增强

• SJHV: 重构作业配置模块，提供新的作业配置获取和添加接口.[Streamis-21]
• SJDA: 增加两种停止作业的方式：“直接停止”和“快照并停止” [Streamis-20]

修复功能

• SJDA: 修复流式作业出现异常，但无法查看错误日志的问题 [Streamis-17]

云资源

• 前端编译包：

https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.2.0/streamis-0.2.0-dist.zip

• 后端编译包：

https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.2.0/wedatasphere-streamis-0.2.0-dist.tar.gz

• 项目部署安装手册：https://github.com/WeBankFinTech/Streamis/blob/main/docs/zh_CN/0.2.0/Streamis%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3.m

— END —

如何成为社区贡献者

 

1 ► 官方文档贡献。发现文档的不足、优化文档，持续更新文档等方式参与社区贡献。通过文档贡献，让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略：保姆级教程：如何成为Apache Linkis文档贡献者

2 ►代码贡献。我们梳理了社区中简单并且容易入门的的任务，非常适合新人做代码贡献。请查阅新手任务列表：https://github.com/apache/incubator-linkis/issues/1161

3 ►内容贡献：发布WeDataSphere开源组件相关的内容，包括但不限于安装部署教程、使用经验、案例实践等，形式不限，请投稿给小助手。例如：

• 技术干货 | Linkis实践：新引擎实现流程解析
• 技术干货 | Prophecis保姆级部署教程
• 社区开发者专栏 | MariaCarrie：Linkis1.0.2安装及使用指南

4 ►社区答疑：积极在社区中进行答疑、分享技术、帮助开发者解决问题等；

5 ►其他：积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等；