【里程碑】Linkis 1.0.0-RC1 版本发布

Linkis 1.0.0-RC1 是 Linkis 里程碑式的重大版本,提供了超 60 个新特性和功能增强, 标志着 Linkis 正式进入1.0版本时代。

Linkis是什么?

Linkis 在上层应用和底层引擎之间构建了一层计算中间件,上层应用只需对接 Linkis 提供的 REST/WS/JDBC 等标准接口,就能连接到 MySQL/Spark/Hive/Presto/Flink 等各种底层计算存储引擎,并实现上层应用间的互通。 Linkis1.0.0-RC1 带来了“计算治理”理念的全新架构实现,提供了全栈计算/存储引擎的架构支持,包括离线批量型、交互式型、实时流式型和存储型,并新增了多种新特性,向下兼容 Linkis0.X 版本的所有接口。

开源链接:

https://github.com/WeBankFinTech/Linkis

https://gitee.com/WeBankFinTech/Linkis

新版简介

丰富的底层计算存储引擎支持度。

已支持的计算存储引擎:Spark、Hive、Python、Presto、ElasticSearch、MLSQL、TiSpark、JDBC和Shell等;

集成中的计算存储引擎:Flink、Impala和Clickhouse等;

已支持的脚本语言:SparkSQL、Scala、Pyspark、R、Python、JDBC、HiveQL和Shell等。

强大的计算治理能力。Linkis 1.0总体分为三大模块:

公共增强服务、计算治理服务、微服务治理服务。三大模块简介如下: 公共增强服务为Linkis 0.X已经提供的物料库服务、上下文服务、数据源服务和公共服务等;

微服务治理服务为Linkis 0.X已经提供Spring Cloud Gateway、Eureka和Open Feign,同时 Linkis1.0还会提供对Nacos的支持;

计算治理服务是Linkis 1.0的核心重点,从 提交 —> 准备 —> 执行三个阶段,来全面升级Linkis 对 用户任务的执行管控能力。

全栈计算存储引擎架构支持。作为计算中间件,将接收、执行和管理针对各种计算存储引擎的任务和请求,包括离线批量型、交互式型、实时流式型和存储型任务,并提供强大的复用、预热、限流、切换、全生命周期管理等计算治理能力;

更强大的资源管理能力。ResourceManager不仅具备Linkis0.X对Yarn和Linkis EngineManager的资源管理能力,还将提供基于标签的多级资源分配和回收能力,让ResourceManager具备跨集群、跨计算资源类型的强大资源管理能力;

全流程标签化。基于多级组合标签,提供跨IDC、跨集群的计算任务路由管控能力,和EngineConnManager, EngineConn的多租户隔离能力;

统一上下文服务。统一用户和系统资源文件(JAR、ZIP、Properties等),跨用户、系统、计算引擎的参数和变量统一管理,一处设置,处处自动引用;

统一物料。系统和用户级物料管理,可分享和流转,跨用户、系统共享物料,支持全生命周期自动管理。

 

全新特性

[Linkis-572] 在“Entrance”模块中新增了EngineConn管理插件。

[Linkis-576] 新增EngineConnPlugin模块,简化用户实现Linkis新计算存储引擎。

[Linkis-579] 新增EngineConn的交互式类型顶层设计,让用户实现交互式引擎更加简单容易。

[Linkis-584]新增LinkisManager Common模块,为LinkisManager提供常用工具类。

[Linkis-585]新增LinkisManager Monitor模块,用于LinkisManager实时监控EngineConn和EngineConnManager的健康状态。

[Linkis-587] 新增EngineConn Common模块,为EngineConn提供常用工具类。

[Linkis-590] 新增EngineConn的核心模块,提供了EngineConn核心接口的定义。

[Linkis-591] 新增Computation Governance Common模块,为计算治理的所有服务提供常用工具类。

[Linkis-599] 新增Linkis ResourceManager Common模块,提供常用工具类。

[Linkis-600] 新增LinkisManager Service Common模块,为AppManager和ResourceManager提供常用工具类。

[Linkis-602] 新增LinkisManager Persistence模块,用于持久化EngineConn和EngineConnManager的。

[Linkis-604] 新增微服务标签功能,并支持为每个微服务添加标签。 [Linkis-609] 新增Linkis Label模块,为Linkis全流程的标签化能力 提供基础支撑。

[Linkis-611] 强化Linkis的管控能力,全新抽象Linkis AppManager模块,用于管理EC和ECM的全生命周期。 [Linkis-630] 新增EngineConn Launch模块,提供EngineConn的main class入口。

功能增强

[Linkis-569] 增强Linkis RPC的处理能力,并向下兼容Linkis0.X的 RPC。

[Linkis-574] 增强Linkis的标签管理功能,支持对EngineConnManager和EngineConn进行标签管理。

[Linkis-575] 增强ResourceManager的能力,并将其集成到LinkisManager中。

[Linkis-578] 增强EngineManager,全新定义实现EngineConnManager模块。

[Linkis-580] 增强SparkEngineConn,以适配Linkis1.0新架构。

[Linkis-583] 增强ShellEngine,以适配Linkis1.0新架构。

[Linkis-592] 增强JDBCEngine,以适配Linkis1.0新架构。

[Linkis-594] 增强IOEngine,以适配Linkis1.0新架构。

[Linkis-596] 增强HiveEngine,以适配Linkis1.0新架构。

[Linkis-597] 增强PipelineEngine,以适配Linkis1.0新架构。

[Linkis-606] 拆分Linkis0.X的EngineReceiver为多种Service,封装到Executor模块。

[Linkis-608] 增强Linkis启动和关闭服务的脚本,优化启动步骤。

[Linkis-618] 增强PublicService和ContextService模块,以适配Linkis1.0新架构。

[Linkis-638] 增强Linkis Common的加密功能。

[Linkis-643] 增强DataSource模块,以适配Linkis1.0新架构。

[Linkis-645] 增强Linkis Hadoop模块,使Linkis支持多套Hadoop 集群。

[Linkis-648] 增强Linkis httpclient模块以支持PUT和Delete请求。

[Linkis-650] 优化Linkis mybatis模块,以与mybatis-plus集成。

[Linkis-652] 增强Linkis protocol模块,以适配Linkis1.0新架构。

[Linkis-654] 增强Linkis Gateway模块,支持通过标签路由转发前端请求。

[Linkis-655] 增强Linkis JobHistory模块,支持缓存Job的结果集,强化Job标签的管理功能。

[Linkis-656] 优化Linkis RPC模块序列化器的底层实现。

[Linkis-660] 增强Linkis Scheduler模块,支持自动清除空闲的Consumer。

[Linkis-662] 增强Linkis user control模块,以适配Linkis1.0新架构。 [Linkis-663] 增强Linkis Entrance模块,以适配Linkis1.0新架构。 [Linkis-666] 优化目录层次结构并删除无用的目录。

[Linkis-668] 增强Linkis storage模块,以支持viewFS和多hadoop集群。 [Linkis-674] 增强PythonEngineConn,以适配Linkis1.0新架构。 [Linkis-675] 优化目录,更新所有pom文件的版本信息。

社区贡献

Linkis 1.0.0-RC1的发布与WeDataSphere社区的贡献者密不可分。他们无私奉献自己的时间,并为文档的构建、简化部署和完善用户体验提出了许多有价值的建议。没有他们的帮助,Linkis 1.0.0-RC1不能如此顺利地发布。

谢谢社区的所有贡献者!

升级向导

原则上,Linkis 1.0.0-RC1的所有接口都向下兼容,因此升级对上层应用无感。 作为计算中间件,除了PublicService的用户配置数据外,Linkis数据库中的其他数据无需迁移。 有关PublicService用户配置数据的迁移,请参阅Linkis Wiki:Linkis1.0.0-RC1升级文档。

优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/133558/linkis-1-0-0-rc1-released

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
优质分享Android(本站安卓app)

优质分享Android(本站安卓app)

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario,低调大师唯一一个Java游戏作品

Mario,低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Eclipse(集成开发环境)

Eclipse(集成开发环境)

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。

Java Development Kit(Java开发工具)

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包,主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心,它包含了JAVA的运行环境(JVM+Java系统类库)和JAVA工具。