流式应用开发管理系统 Streamis 0.2.0

Streamis 简介

GitHub:https://github.com/WeBankFinTech/Streamis

Streamis是一个基于开源社区联合共建的流式应用开发管理系统,初期版本由微众银行、天翼云、仙翁科技和萨摩耶云参与共建开发。

Streamis在框架层面直接接壤DataSphere Studio,同时底层引擎层面又直接对接了Linkis的Flink引擎,可以让用户低成本完成流式应用的开发、调试、发布和生产管理。同时随着Linkis和DataSphereStudio开源版本的发布迭代,对Streamis的功能特性也是持续地优化和增强。

Streamis 0.2.0版本发布,主要增加了对架构的优化和调整,并提供了一些重要功能特性,为后续版本迭代打下基础

新增的核心功能特性主要包括:

  • 流式任务状态(Checkpoint和Savepoint)管理,使得用户可以为Flink应用程序做快照处理并具备从快照中恢复的能力;
  • 新的流式任务配置模块,支持弹性增删流式任务的配置定义项;
  • Streamis AppConn, 数据层面打通和DataSphereStudio的同步;
  • 流式作业批量管理(如批量启动和批量暂停),让用户可以对流式任务进行批操作,结合任务状态管理功能,从而做到任务异常自恢复;

缩写列表:

  • SJL: Stream Job Launcher Module
  • SJDA: Stream Job Deploy API Module
  • SJHV: Stream Job History And Version Module
  • SBO: Stream Bulk Operation Module
  • SA: Stream AppConn Module

版本新特性

  • SJL: 添加任务作业状态管理模块,并提供状态获取器JobStateFetcher来获取作业状态信息(包括checkpoint/savepoint).[Streamis-23]
  • SJL: 能够自动重启失败的流式任务作业,并自动恢复其状态.[Streamis-22]
  • SBO: 任务作业批量操作接口集合. [Streamis-19]
  • SJDA: 能够获取任务作业对应的Yarn应用日志 (该特性依赖Linkis版本>=1.1.2). [Streamis-27]
  • SA: Streamis AppConn 同步项目和权限信息(该特性依赖DSS版本>=1.1.0). [Streamis-24]

功能增强

  • SJHV: 重构作业配置模块,提供新的作业配置获取和添加接口.[Streamis-21]
  • SJDA: 增加两种停止作业的方式:“直接停止”和“快照并停止” [Streamis-20]

修复功能

  • SJDA: 修复流式作业出现异常,但无法查看错误日志的问题 [Streamis-17]

云资源

  • 前端编译包:

https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.2.0/streamis-0.2.0-dist.zip

  • 后端编译包:

https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.2.0/wedatasphere-streamis-0.2.0-dist.tar.gz

— END —

如何成为社区贡献者

 

1 ► 官方文档贡献。发现文档的不足、优化文档,持续更新文档等方式参与社区贡献。通过文档贡献,让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略:保姆级教程:如何成为Apache Linkis文档贡献者

2 ►代码贡献。我们梳理了社区中简单并且容易入门的的任务,非常适合新人做代码贡献。请查阅新手任务列表:https://github.com/apache/incubator-linkis/issues/1161

3 ►内容贡献:发布WeDataSphere开源组件相关的内容,包括但不限于安装部署教程、使用经验、案例实践等,形式不限,请投稿给小助手。例如:

4 ►社区答疑:积极在社区中进行答疑、分享技术、帮助开发者解决问题等;

5 ►其他:积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等;

优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/202697/streamis-0-2-0-released

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
优质分享Android(本站安卓app)

优质分享Android(本站安卓app)

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario,低调大师唯一一个Java游戏作品

Mario,低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Java Development Kit(Java开发工具)

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。