Streamis 简介

Streamis 是微众银行联合天翼云、仙翁科技和萨摩耶云联合共建的流式应用开发管理系统。基于 DataSphere Studio 的框架化能力，以及底层对接 Linkis 的 Flink 引擎，让用户低成本完成流式应用的开发、调试、发布和生产管理。

未来还规划将以工作流式的图形化拖拽开发体验，将流式应用以 Source 节点、 Dimension 节点、Transform 节点、Sink 节点 和 Visualis 节点串连成一条流式工作流，让用户以更低的学习成本完成流式应用的开发、调试和发布。

 

Github：https://github.com/WeBankFinTech/Streamis

 

Streamis 0.3.0 新版本说明

Streamis 0.3.0 有一些重要架构更新和优化，主要是支持分离式 Flink 应用和 Flink 管理引擎连接器，增加作业启动前检查快照和同名应用，支持 DSS 代理用户。增加对 Flink 应用日志聚合采集回写本地。Streamis 0.3.0 兼容 Linkis 多版本（>= 1.1.2），但是分离式相关特性需要 1.4.0 以上。

 

Streamis 0.3.0 主要新增如下特性：

• Flink 任务增加分离式管理模式（要求 Linkis 1.4.0）

• 增加 Flink 管理 ec 支持（要求 Linkis 1.4.0）

• 作业任务启动增加启动检查，检查快照地址和 yarn 上同名应用（要求 Linkis 1.4.0）

• 支持 DSS 代理用户（要求 DSS 1.1.2）

• 采集并聚合 Yarn 流应用日志回调，在 streamis 端写入本地。采集端支持按照不同级别筛选回调日志

 

缩写:

• DSS: DataSphereStudio

 

新特性

• [Streamis-jobmanager] flink 任务增加分离式管理模式

• [Streamis-jobmanager] 增加 flink 管理 ec 支持

• [Streamis-jobmanager] Streamis 作业任务启动增加启动检查

• [Streamis-jobmanager] 启动作业时，会自动检查 yarn 上同名应用

• [Streamis-jobmanager] streamis 应用参数配置导入

• [Streamis-jobmanager] 采集并聚合流应用日志，在 streamis 端写入本地

• [Streamis-appconn] Streamis 数据接口权限调整

• [Streamis-appconn] 配合 DSS 切换代理用户

• [Streamis-jobmanager] 作业支持标签筛选

 

功能增强

• [Streamis-Web] 任务配置界面的渲染和接口调整

• [Streamis-jobmanager] 实现流应用自动重启并优化幂问题

• [Streamis-jobmanager] Streamis 任务中止流程调整，优化了作业停止功能，加入调度

• [Streamis-jobmanager] 采集端增加关键字过滤策略

• [Streamis-jobmanager] 应用初始化支持应用在线导入及版本管理

• [Streamis-jobmanager] 任务启动前检查失败告警人

• [Streamis-jobmanager] 支持多盘符存储流应用日志

• [Streamis-projectmanager] 上传项目资源文件添加 md5

 

BUG 修复

• [Streamis-Web] 修复历史任务日志页面不能显示下一页的问题，在日志界面显示 flink ec 分页日志

• [Streamis] 修复了代码扫描的漏洞和异味

 

贡献者

Streamis 0.3.0 的发布离不开 Streamis 社区的贡献者，感谢所有的社区贡献者。

 

安装包

Streamis0.3.0 安装包：https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.3.0/wedatasphere-streamis-0.3.0-dist.tar.gz

 

Streamis0.3.0 appconn 插件包：https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.3.0/streamis-appconn-0.3.0.zip

 

DSS1.1.2&Linkis1.4.0 一键安装包：https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/DataSphereStudio/1.1.2/dss_linkis_one-click_install_20230809.zip

 

 

— END —

 

如何成为社区贡献者

1 ► 官方文档贡献。发现文档的不足、优化文档，持续更新文档等方式参与社区贡献。通过文档贡献，让开发者熟悉如何提交 PR 和真正参与到社区的建设。参考攻略：保姆级教程：如何成为 Apache Linkis 文档贡献者

 

2 ► 代码贡献。我们梳理了社区中简单并且容易入门的的任务，非常适合新人做代码贡献。请查阅新手任务列表：https://github.com/apache/incubator-linkis/issues/1161

 

3 ► 内容贡献：发布 WeDataSphere 开源组件相关的内容，包括但不限于安装部署教程、使用经验、案例实践等，形式不限，请投稿给小助手。例如：

• 技术干货 | Linkis 实践：新引擎实现流程解析

• 技术干货 | Prophecis 保姆级部署教程

• 社区开发者专栏 | MariaCarrie：Linkis1.0.2 安装及使用指南

 

4 ► 社区答疑：积极在社区中进行答疑、分享技术、帮助开发者解决问题等；

 

5 ► 其他：积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等；