社区贡献版本 | Apache Linkis(incubating) 1.1.0 版本发布

Linkis 1.1.0 版本简介

Apache Linkis发布了进入Apache孵化项目之后第一个大版本-1.1.0。该版本在天翼云主导和社区同学的积极代码贡献下，不仅稳定性得到极大提升，而且此版本发布了围绕统一数据源管理服务的重磅特性。对于提供统一源数据管理服务特性，从开始讨需求特性讨论，到功能详细设计，到最后的代码迭代实现，历经前后大半年时间，并且此特性已经在部分公司的生产环境得到使用和验证。

本版本在Linkis 1.0.3基础上增加了数据源管理服务，支持对hive/mysql的元数据信息查询，修复了1.0.3版本的一些已知bug，增加了多个单元测试用例规范和代码。

GitHub：https://github.com/apache/incubator-linkis

版本主要添加了以下功能：

•  提供Restful接口针对数据源进行增删查改，以及数据源的连接测试。

•  提供Restful接口针对元数据进行数据库、表、分区、列属性查询。

•  提供针对数据源及元数据服务管理的Java客户端。

缩写：

• EC: Engineconn

• ECM: EngineConnManager

• ECP: EngineConnPlugin

• DMS: Data Source Manager Service

• MDS: MetaData Manager Service

版本新特性

• [DMS-Common][Linkis-1335] 增加新的模块 linkis-datasource-manager-common，新增数据源数据结构、异常类、工具类。

• [MDS-Common][Linkis-1340] 增加新的模块 linkis-metadata-manager-common，新增元数据数据结构、异常类、工具类。

• [MDS-Server][Linkis-1352] 增加新的模块linkis-datasource-manager-server，提供数据源管理服务，通过restful接口提供了数据源的增删查改、连接测试等功能。

• [MDS-Server][Linkis-1356] 增加新的模块linkis-metadata-manager-server，提供元数据管理服务，通过restful接口提供了元数据的数据库、表、列查询。

• [MDS-Services][Linkis-1366] 增加新的模块linkis-metadata-manager-service-es，提供针对的elasticsearch元数据查询服务。

• [MDS-Services][Linkis-1368] 增加新的模块linkis-metadata-manager-service-hive，提供针对hive的元数据查询服务。

• [MDS-Services][Linkis-1371] 增加新的模块linkis-metadata-manager-service-kafka，提供针对kafka的元数据查询服务。

• [MDS-Services][Linkis-1373] 增加新的模块linkis-metadata-manager-service-mysql，提供针对mysql的元数据查询服务。

• [DMS-Client&MDS-Client][Linkis-1418] [Linkis-1434][Linkis-1438][Linkis-1441] 增加新的数据源管理Java客户端模块 linkis-datasource-client，方便通过sdk方式进行数据源管理。

• [DMS-Web&MDS-Web][Linkis-1456] [Linkis-1510] 增加数据源前端管理页面，通过该页面可以对数据源进行简单的创建，测试。

功能增强

• [Install-Script][Linkis-1377] 引入Skywalking组件, 提供分布式 trace 和 troubleshooting的基础能力

• [ECP][Linkis-1408] 调整引擎资源的默认的最大空闲时间为0.5h，优化多用户场景下，资源竞争等待的时长问题

• [ECP][Linkis-1535] 设置JAVA_ENGINE_REQUEST_INSTANCE 的值为常量1

• [DB][Linkis-1554] 添加DataSource DDL和DML SQL

• [MDS][Linkis-1583] 添加功能以获取Hive 数据源中分区的属性并修复连接问题

• [Commons-Gateway][Linkis-1636]使用正则表达式匹配网关 URL，如果匹配则正常通过

• [Commons][Linkis-1397] 添加maven wrapper，支持使用mvnw脚本进行编译打包

• [EC][Linkis-1425]将ec的日志配置文件统一为log4j2.xml

• [Install-Script][Linkis-1563] 优化linkis-cli 客户端脚本，移除冗余的linkis-cli-start脚本文件

• [Install-Script][Linkis-1559] 优化安装部署脚本，安装部署时，添加数据库连接测试检查;进行数据库初始化之前，打印数据库的信息，以便人员再次确认

• [Install-Script][Linkis-1559] 添加必要的部署日志信息以及关键信息的颜色标识，如执行步骤/创建目录的日志等。

• [Install-Script][Linkis-1559] 为spark/hadoop/hive 添加基本环境检查

• [Install-Script][Linkis-1559] 将hive元数据库HIVE_META 信息配置从linkis-env.sh迁移到 db.sh

• [Commons][Linkis-1557] Spring-boot/Spring-cloud版本控制使用官方依赖管理器的pom文件方式，避免引入了太多的版本配置

• [Commons][Linkis-1621] Spring升级，Spring-boot升级至2.3.12.RELEASE，Spring-cloud升级至Hoxton.SR12

• [Commons][Linkis-1558] 单元测试JUnit 4 迁移升级至 JUnit 5

• [Commons-Eureka][Linkis-1313] 移除不必要的第三方依赖，一定程度减小打包后的物料包大小

• [Commons-Gateway][Linkis-1660] 使用spring-boot-starter-jetty替换直接引入jetty依赖方式，避免jetty版本冲突

修复功能

• [Install-Script][Linkis-1390] 修复安装部署时创建的存储Job结果集文件目录 wds.linkis.resultSet.store.path，使用过程中切换用户后存在的权限不足的问题

• [Commons][Linkis-1469] 修复sql脚本中包含 ';'字符时，无法正确切割SQL问题

• [ECP-JDBC][Linkis-1529] 修复 JDBC 引擎认证类型参数存在的NullPointerException的异常问题

• [Entrance][Linkis-1540] 修复 linkis-entrance 中“kill”方法参数long类型导致null值无法识别问题

• [Commons][Linkis-1600] 修复低版本commons-compress，导致结果集下载为excel时出错

• [Client][Linkis-1603] 修复客户端不支持  -runtimeMap 参数问题

• [ECP-JDBC][Linkis-1610] 修复 jdbc引擎 对于postgresql 无法支持"show databases;"语句问题

• [Commons][Linkis-1618] 修复 http response 返回结果为xml格式，而不是json格式问题

• [ECP-JBDC][Linkis-1646] 修复 JDBC 引擎查询复杂类型字段时，值显示为对象地址。

• [ECP-Python][Linkis-1731] 修复python引擎的showDF函数结果集字段行反转的问题

• [PS-BML][Linkis-1556] 修复文件下载接口可能出现的HttpMessageNotWritableException异常

【详细指引】

• 数据源介绍&功能使用指引: https://linkis.apache.org/zh-CN/docs/latest/release

• 详细安装部署见指引：https://linkis.apache.org/zh-CN/docs/latest/deployment/quick_deploy

• 官方下载链接：https://linkis.apache.org/zh-CN/download/main

贡献者寄语

Apache Linkis(incubating) 1.1.0的发布离不开Linkis社区的贡献者，感谢所有的社区贡献者，包括但不仅限于本次版本的贡献者：Contributors: Alexkun、CCweixiao、Celebrate-future、Davidhua1996、FireFoxAhri、WenxiangFan、Zosimer、aleneZeng、casionone、dddyszy、det101、ganlangjie、huapan123456、huiyuanjjjjuice、husofskyzy、iture123、jianwei2、legendtkl、peacewong、pjfanning、silly-carbon、xiaojie19852006、Adamyuanyuan

如何参与贡献

（1）新手任务：认领入门任务，详见 https://github.com/apache/incubator-linkis/issues/1161；  

（2）作品沉淀：发布WeDataSphere开源组建相关内容，包括但不限于安装部署教程、使用经验、案例实践等，形式不限，请投稿给小助手。如：社区开发者专栏 | MariaCarrie：Linkis1.0.2安装及使用指南

（3）贡献代码：PR和Issue；

（4）答疑：热心为开发者答疑，如社区群回答开发者问题、issue答疑等；

（5）其他：沙箱体验、参与活动、成为社区志愿者等。