Apache Linkis(Incubating) 计算中间件 1.1.2 版本发布-低调大师

Apache Linkis(Incubating) 计算中间件 1.1.2 版本发布

2022-07-12 487

Linkis 1.1.2 版本简介

GitHub：https://github.com/apache/incubator-linkis

本次发布主要支持在无 HDFS 的环境下进行精简化部署（支持部分引擎），方便更轻量化的学习使用和调试；新增对数据迁移工具 Sqoop 引擎的支持；异常处理日志优化；部分安全漏洞组件升级等；修复社区反馈的已知 bug。

主要功能如下：

支持在无HDFS的环境下进行精简化部署（支持部分引擎），方便更轻量化的学习使用和调试
新增对数据迁移工具 Sqoop 引擎的支持
优化日志等，提高问题排查效率
修复用户越权等接口的安全问题
部分依赖包的升级和社区已知问题修复

缩写：

COMMON: Linkis Common
EC: Engineconn
ECM: EngineConnManager
ECP: EngineConnPlugin
DMS: Data Source Manager Service
MDS: MetaData Manager Service
LM: Linkis Manager
PS: Linkis Public Service
PE: Linkis Public Enhancement
RPC: Linkis Common RPC
CG: Linkis Computation Governance

版本新特性

[Deployment]Linkis-1804,1811,1841,1843,1846,1933 支持在无HDFS的环境下进行精简化部署（支持部分引擎），方便更轻量化的学习使用和调试
[PS]Linkis-1949 增加未完成作业的列表接口 (/listundone)，并利用定时调度优化查询性能
[BML]Linkis-1811,1843 BML物料服务新增对本地文件系统存储模式部署的支持
[Common]Linkis-1887 RPC模块Sender支持修改负载均衡 Ribbon 等参数
[Common]Linkis-2059 使用任务task id 作为日志中的 trace id
[EC]Linkis-1971 EC AsyncExecutor 支持设置并行 Job Group 的个数
[Engine]Linkis-2109 新增对数据迁移工具 Sqoop 引擎的支持

功能增强

[ECP]Linkis-2074 Flink 引擎支持自定义配置
[Deployment]Linkis-1841 支持用户部署时关闭对 Spark/Hive/HDFS 环境检测
[Deployment]Linkis-1971 修复在多块网卡机器部署时，自动获取ip错误的问题
[Entrance]Linkis-1941 Entrance 支持将原始的 jobId 传递给 EngineConn 和 LinkisManager
[Entrance]Linkis-2045 重构EntranceInterceptor实现类中脚本类型和运行类型匹配关系
[RPC]Linkis-1903 修改 RPC 模块异常处理逻辑，透传 EngineConnPlugin 异常的原始错误信息
[RPC]Linkis-1905 增加参数支持传递 LoadBalancer 的参数，比如 Ribbon
[Orchestrator]Linkis-1937 编排器任务调度器creator配置参数支持配置多个Creator值
[PE][Linkis-1959 ContextService 增加必要的日志打印，方便错误排查
[EC]Linkis-1942 EC支持将taskID塞入到底层引擎的conf中，方便做任务的血缘分析关联到具体的linkis任务
[EC]Linkis-1973 Task 的执行错误日志获取方式由 cat 改为 tail -1000 控制日志数量，避免全量加载大文件
[CG,PE]Linkis-2014 增加配置 add/get/delete，优化同步锁
[Common]Linkis-2016 调整cglib依赖的使用，将 cglib 依赖替换为 spring 内置的cglib
[Gateway]Linkis-2071 HTTP请求Header中增加 GatewayURL属性值

修复功能

[Engine]Linkis-1931 修复 Python 错误加载的是Pyspark的函数，非单机Python本身的函数问题
[Deployment]Linkis-1853 修复安装初始化 DDL 报错的问题
[UDF]Linkis-1893 为 udf 相关接口增加用户权限校验
[EC]Linkis-1933 给非 deploy 用户组的用户执行作业增加 resultSet 的写权限
[EC]Linkis-1846 修复 ResultSet 配置本地路径无效的问题
[EC]Linkis-1966 使用 System.properties 替换 System.ev
[EC-Python]Linkis-2131 修复 Python 引擎由于 pandas 引入导致异常的问题
[PS]Linkis-1840 下载 csv 格式数据时，增加灵活选择，防止数据格式错乱
[Orchestrator]Linkis-1992 修复 Orchestrator Reheater 模块的并发问题
[PE]Linkis-2032 配置接口的优化，获取Label的配置参数时，修改为直接获取Key-value对
[Web]Linkis-2036 管理台ECM 页面实例显示问题修复
[Web]Linkis-1895 资源页面显示问题修复
[ECP]Linkis-2027 修复 ECP 物料下载字节截取导致的异常错误
[ECP]Linkis-2088 修复 hive task 运行过程中存在进度回退的问题
[ECP]Linkis-2090 修复 Python3 找不到的问题
[CG]Linkis-1751 脚本自定义变量运行类型和后缀约束配置化
[CG]Linkis-2034 对超时任务的描述信息不匹配的修复
[CG]Linkis-2100 优化高并发下的 db 死锁问题

安全相关

[UDF]Linkis-1893 修复 udf 部分接口（/udf/list，/udf/tree/add，/udf/tree/update）的用户越权问题
[PS]Linkis-1869 修复 Linkis PlublicService 相关接口越权问题
[PS]Linkis-2086 方法 /updateCategoryInfo 增加权限校验

依赖变更

[MDS]Linkis-1947 mys2168ql-connector-java 从 5.1.34 升级到 8.0.16
[ECP]Linkis-1951 hive-jdbc 从 1.2.1 升级至 2.3.3
[ECP]Linkis-1968 protobuf-java 版本升级至 3.15.8
[ECP]Linkis-2021 移除 Flink 模块的一些冗余依赖包
[RPC]Linkis-2018 统一 json4s 的版本
[Web]Linkis-2336 引入web组件jsencrypt-3.2.1的依赖，作为登陆密码加解密工具

详细指引

本版本总览: https://linkis.apache.org/zh-CN/docs/latest/release
详细安装部署见指引：https://linkis.apache.org/zh-CN/docs/latest/deployment/quick_deploy
官方下载链接：https://linkis.apache.org/zh-CN/download/main

贡献者寄语

Apache Linkis(incubating) 1.1.2的发布离不开Linkis社区的贡献者,感谢所有的社区贡献者，包括但不仅限于以下Contributors（排名不分先后）:

Alexyang, David hua, GodfreyGuo, Jack Xu, Zosimer, allenlliu, ericlu, huapan123456, husofskyzy, iture123, legendtkl, luxl@chinatelecom.cn, maidangdang44, peacewong, pengfeiwei, seedscoder, weixiao, xiaojie19852006, めぐみん, 李为

— END —

如何成为社区贡献者

1 ► 官方文档贡献。发现文档的不足、优化文档，持续更新文档等方式参与社区贡献。通过文档贡献，让开发者熟悉如何提交PR和真正参与到社区的建设。参考攻略：保姆级教程：如何成为Apache Linkis文档贡献者

2 ►代码贡献。我们梳理了社区中简单并且容易入门的的任务，非常适合新人做代码贡献。请查阅新手任务列表：https://github.com/apache/incubator-linkis/issues/1161

3 ►内容贡献：发布WeDataSphere开源组件相关的内容，包括但不限于安装部署教程、使用经验、案例实践等，形式不限，请投稿给小助手。例如：

4 ►社区答疑：积极在社区中进行答疑、分享技术、帮助开发者解决问题等；

5 ►其他：积极参与社区活动、成为社区志愿者、帮助社区宣传、为社区发展提供有效建议等；

微信关注我们

原文链接：https://www.oschina.net/news/202692/apache-linkis-1-1-2-released

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

行如蜗牛，决定入海 | 访 StarRocks 社区大使流木

身处技术创新驱动的时代，只有开放协作才能带来巨大进步，创造非凡成就。 StarRocks 社区的发起和发展，正是立足于各个开发者的“贡献”和“集智”。流木，物联网领域的大数据开发者，主导将 StarRocks 应用在所在公司多个大数据项目。在 StarRocks 社区记录学习了几百个问答后，他撰写了 7 章 39 节 10 多万字的 “手把手教你玩转StarRocks”系列教程，被社区伙伴戏称为“流木大佬”。在教程中，流木把日常学习和使用 StarRocks 的经验，按照安装部署、数据模型设计、数据导入进行归纳，加入很多使用技巧与避坑指南，以及使用上的拓展内容。近期，流木接受社区邀请，正式成为 StarRocks 社区大使。他如何看待当下的 OLAP 产品，如何走上了社区之路？StarRocks 社区和顺势而为、心怀大海的社区之人流木聊了聊。社区大使首先是开发者，谈起“开发者”的身份，你会怎么说？回答这个问题有些心虚，我不像 StarRocks 很多前辈那样站在技术和时代的前沿领域，对 StarRocks 的代码贡献也不够大。我认为“开发者”是一群很纯粹的人，心...

2022-07-12

520

Prophecis 简介 GitHub：https://github.com/WeBankFinTech/Prophecis Prophecis 是微众银行自研的一站式机器学习平台，集成多种开源机器学习框架，具备机器学习计算集群的多租户管理能力，提供生产环境全栈化容器部署与管理服务。本次版本更新内容主要为Prophecis MLFlow模块对接DSS 1.1.0 版本，实验模块、MLFlow Appconn、MLSS Appconn均对DSS 1.1.0版本进行了适配。备注：prophecis 0.3.2版本镜像将在7月10号前完成更新。 Prophecis 0.3.2 新版本特性更新 MLFlow Appconn 模块，实验工作流模块对接DSS 1.1.0版本；更新 MLSS/MLFlow Appconn 模块，对接DSS1.1.0新版AppConn；更新 Doc 模块，更新用户手册(user_manual)相关文档； BUG修复修复模型列表接口报错；修复Helm Chart安装模板部分错误变量；贡献者 Prophecis 0.3.2的发布离不开Prophecis的贡...

2022-07-12

526

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。