流式应用开发管理系统 Streamis 0.2.0-低调大师

流式应用开发管理系统 Streamis 0.2.0

2022-07-12 454

Streamis 简介

GitHub：https://github.com/WeBankFinTech/Streamis

Streamis是一个基于开源社区联合共建的流式应用开发管理系统，初期版本由微众银行、天翼云、仙翁科技和萨摩耶云参与共建开发。

Streamis在框架层面直接接壤DataSphere Studio，同时底层引擎层面又直接对接了Linkis的Flink引擎，可以让用户低成本完成流式应用的开发、调试、发布和生产管理。同时随着Linkis和DataSphereStudio开源版本的发布迭代，对Streamis的功能特性也是持续地优化和增强。

Streamis 0.2.0版本发布，主要增加了对架构的优化和调整，并提供了一些重要功能特性，为后续版本迭代打下基础。

新增的核心功能特性主要包括：

流式任务状态（Checkpoint和Savepoint）管理，使得用户可以为Flink应用程序做快照处理并具备从快照中恢复的能力；
新的流式任务配置模块，支持弹性增删流式任务的配置定义项；
Streamis AppConn, 数据层面打通和DataSphereStudio的同步；
流式作业批量管理（如批量启动和批量暂停），让用户可以对流式任务进行批操作，结合任务状态管理功能，从而做到任务异常自恢复；

缩写列表：

SJL: Stream Job Launcher Module
SJDA: Stream Job Deploy API Module
SJHV: Stream Job History And Version Module
SBO: Stream Bulk Operation Module
SA: Stream AppConn Module

版本新特性

SJL: 添加任务作业状态管理模块，并提供状态获取器JobStateFetcher来获取作业状态信息(包括checkpoint/savepoint).[Streamis-23]
SJL: 能够自动重启失败的流式任务作业，并自动恢复其状态.[Streamis-22]
SBO: 任务作业批量操作接口集合. [Streamis-19]
SJDA: 能够获取任务作业对应的Yarn应用日志 (该特性依赖Linkis版本>=1.1.2). [Streamis-27]
SA: Streamis AppConn 同步项目和权限信息(该特性依赖DSS版本>=1.1.0). [Streamis-24]

功能增强

SJHV: 重构作业配置模块，提供新的作业配置获取和添加接口.[Streamis-21]
SJDA: 增加两种停止作业的方式：“直接停止”和“快照并停止” [Streamis-20]

修复功能

SJDA: 修复流式作业出现异常，但无法查看错误日志的问题 [Streamis-17]

云资源

前端编译包：

https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.2.0/streamis-0.2.0-dist.zip

后端编译包：

https://osp-1257653870.cos.ap-guangzhou.myqcloud.com/WeDatasphere/Streamis/0.2.0/wedatasphere-streamis-0.2.0-dist.tar.gz

项目部署安装手册：https://github.com/WeBankFinTech/Streamis/blob/main/docs/zh_CN/0.2.0/Streamis%E5%AE%89%E8%A3%85%E6%96%87%E6%A1%A3.m

— END —

如何成为社区贡献者

1 ► 官方文档贡献。发现文档的不足、优化文档，持续更新文档等方式参与社区贡献。通过文档贡献，让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略：保姆级教程：如何成为Apache Linkis文档贡献者

2 ►代码贡献。我们梳理了社区中简单并且容易入门的的任务，非常适合新人做代码贡献。请查阅新手任务列表：https://github.com/apache/incubator-linkis/issues/1161

3 ►内容贡献：发布WeDataSphere开源组件相关的内容，包括但不限于安装部署教程、使用经验、案例实践等，形式不限，请投稿给小助手。例如：

4 ►社区答疑：积极在社区中进行答疑、分享技术、帮助开发者解决问题等；

5 ►其他：积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等；

微信关注我们

原文链接：https://www.oschina.net/news/202697/streamis-0-2-0-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

开源一站式机器学习平台 Prophecis 0.3.2

Prophecis 简介 GitHub：https://github.com/WeBankFinTech/Prophecis Prophecis 是微众银行自研的一站式机器学习平台，集成多种开源机器学习框架，具备机器学习计算集群的多租户管理能力，提供生产环境全栈化容器部署与管理服务。本次版本更新内容主要为Prophecis MLFlow模块对接DSS 1.1.0 版本，实验模块、MLFlow Appconn、MLSS Appconn均对DSS 1.1.0版本进行了适配。备注：prophecis 0.3.2版本镜像将在7月10号前完成更新。 Prophecis 0.3.2 新版本特性更新 MLFlow Appconn 模块，实验工作流模块对接DSS 1.1.0版本；更新 MLSS/MLFlow Appconn 模块，对接DSS1.1.0新版AppConn；更新 Doc 模块，更新用户手册(user_manual)相关文档； BUG修复修复模型列表接口报错；修复Helm Chart安装模板部分错误变量；贡献者 Prophecis 0.3.2的发布离不开Prophecis的贡...

2022-07-12

488

Schedulis简介 Schedulis 是一个基于LinkedIn 的开源项目 Azkaban 开发的工作流任务调度系统。该调度系统具备高性能，高可用（去中心化多调度中心和多执行器）和多租户资源隔离等金融级特性；现已被集成到数据应用开发门户 DataSphere Studio（以下简称DSS）。本次发布的 0.7.0 版本，与上个版本 0.6.2 相比，主要完成与DSS 1.1.0 以及Apache Linkis 1.1.1 的适配，修复用户在使用过程中出现的一些问题和优化文档。推荐用户升级到此版本。 GitHub：https://github.com/WeBankFinTech/Schedulis Schedulis 0.7.0 新版本特性特性增强 - 适配 DSS 1.1.0、Linkis Apache 1.1.1 版本问题修复 - 编译项目缺少 pentaho-aggdesigner-algorithm 依赖问题修复 - 修复由于 session 失效时间过短导致点击跳转登录界面的问题 - 合并 GitHub PR 云资源项目 jobtype 插件的依赖和配置，打包下...

2022-07-12

402

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。