Linkis 0.9.2 版本发布
什么是Linkis?
Linkis是微众银行自研的一个打通了多个计算存储引擎如:Spark、TiSpark、Hive、Python和HBase等,对外提供统一REST/WebSocket/JDBC接口,提交执行SQL、Pyspark、HiveQL、Scala等脚本的计算中间件。
Linkis 0.9.2发布,主要优化了部署和启动脚本,并对hadoop和HttpClient的依赖进行了优化。
特性增强
- [Linkis-193] 部署增强:脚本会自动识别是单机部署还是分布式部署,单机部署和启动时,不再使用SSH和SCP。
- [Linkis-194] 环境检查:在安装Linkis之前先检查依赖的所有Linux命令和环境,如果检查失败,则直接退出安装部署。
- [Linkis-195] 服务检测:在start-all脚本里面对服务是否正常启动进行检查,如果服务不正常则给出错误日志。
- [Linkis-191] 依赖优化:将hadoop相关工具类从公共core/common模块移到单独的core/hadoop-common模块,减少包冲突问题.
- [Linkis-192] 依赖优化:core/common模块不再依赖httpclient相关jar包,统一移到core/linkis-httpclient模块.
- [Linkis-196] 统一分配Linkis各个服务的端口,从9100开始分配.
- [Linkis-197] Linkis支持通过配置SERVER_HEAP_SIZE环境变量,统一指定所有微服务的堆内存大小.
- [Linkis-198] Linkis-RM除了通过读取yarn-site.xml自动获取Yarn的JMX URL的方式之外,新增一种通过参数配置的方式获取。
- [Linkis-199] 统一微服务的启动脚本,方便后续统一修改.
- [Linkis-200] 将公共依赖的模块放到public-module,减少包冲突和降低安装包大小.
- [Linkis-201] 默认将hadoop/hive/spark环境变量写到各个微服务的配置文件中.
- [Linkis-208 ] 在安装脚本中新增haoop/hive/spark版本兼容性检测,如果版本不兼容,会提醒用户是否选择继续安装.
- [Linkis-221 ] 增强Linkis-RM模块,使RM可以获取更多hadoop版本的Yarn队列信息.
- [Linkis-174 ] 增强metadata模块,使metadata支持访问postgresql类型的hive元数据库.
Bug修复
- [Linkis-175] 将yarn的默认队列从ide修改为default.
- [Linkis-202] 移除Entrance错误码功能对hdfs的依赖,使精简版可以完全不依赖hadoop.
- [Linkis-205] SQL注释优化,在--后面加空格.
- [Linkis-210] 修复BML访问hdfs的权限问题.
- [Linkis-218] 从start和install脚本中移除yum命令,兼容更多的unix系统.
- [Linkis-226] 优化metadata模块,使引入的hive包,排除对Jackson包的依赖,降低包冲突风险.
- [Linkis-229] 排除公共依赖public-module中的Jasper包,降低包冲突风险.
- [Linkis-143] Linkis的配置文件增加对中文配置的支持.
贡献者
最后但是最重要的一点是,如果没有以下贡献者不可能发布此版本,在此感谢各位社区的贡献者!
排名不分先后(按字母排序):
allwefantasy: 增加了MLSQL引擎.
chenxi0599: 修复filesystem在日志打印错误问题.
hj2016: 解决当Yarn为Capacity调度获取最大资源时,由于maxEffectiveCapacity参数不存在导致的bug.
houjunxiong: 增强模块metadata对hive的元数据库类型为postgresql的支持.
Just-do-it-Fan: 增加ResourceManager模块对Yarn的Capacity调度支持.
leisore: 修复start和stop脚本命名问题.
liangqilang: 修复httpclient下载文件抛NullPointException的bug和增加流传输下载结果集功能,等多个特性.
nimuyuhan: 修复配置文件不支持中文bug.
patinousward: 修复多个bug,并在metadata模块中增加建表功能.
wForget:提供了linkis的CDH5.7.6可用的发布版本.
zhanghaicheng1: 增加部署安装问题文档.
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
SuperSocket 2.0 发布了第二个预览版
近日,SuperSocket 2.0 发布了第二个预览版。SuperSocket是一个.NET平台上的Socket服务器框架,它提供了一个统一的用于互联网协议解析和客户端连接管理的API。自2010年10月 SuperSocket 1.0发布之后,它开始被全球开发者应用于实时网络应用服务,物联网和网络游戏等等领域。 SuperSocket 2.0 基于 .NET Core重新设计,充分利用System.IO.Pipelines带来的高效的流式数据处理能力,将会给大家带来更好的开发运行体验: 更高效(zero copy),更好用的协议解析API; 云原生的支持(Cloud Native),轻松运行于Docker和Kubernetes; Middleware的设计简化核心代码的同时支持更好的扩展能力; 其它由.NETCore带来的优点,如更灵活的日志抽象和更多样化的配置支持等等; 今年(2019)上半年,SuperSocket发布了2.0的第一个预览版,社区反应积极,作者获得了不少来自用户的反馈和支持。 刚刚发布的SuperSocket 2.0第二个预览版相较于第一个预览版,包含如...
- 下一篇
云计算解析:告诉你如何选择云
随着云计算技术的快速发展和普及,越来越多的机构通过采用云服务的方式来搭建网站及服务器。 为了方便不同需求的用户,很多云计算服务商都会提供很多形式的云服务,这里面比较常见的就是公有云、私有云以及混合云,品牌有腾讯云、阿里云等,还有些服务商会提供社群云(社区云)等。那么这些云计算的形式有什么区别呢?用户又该如何选择呢? 1、公有云 公有云是为广大用户、个人或企业提供的云基础设施。公有云就是第三方的公有云供应商为用户提供可通过互联网访问的虚拟环境中的服务器空间。用户可以通过购买云服务器、数据存储和其他与云相关的服务等公有云服务来访问这些服务器。 在公有云中,所有硬件、软件和其他支持性基础结构均为云提供商所拥有和管理。 在公有云中,你与其他组织或云“租户”共享相同的硬件、存储和网络设备。你可以使用 Web 浏览器访问服务和管理帐户。公有云部署通常用于提供基于 Web 的电子邮件、网上办公应用、存储以及测试和开发环境。 公有云非常适合计算能力需求有波动的企业或专门面向公众的应用程序。 公有云优势: 成本更低 — 无需购买硬件或软件,仅对使用的服务付费。 无需维护 — 维护由服务提供商提供。 近乎...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- Mario游戏-低调大师作品
- 2048小游戏-低调大师作品
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- 设置Eclipse缩进为4个空格,增强代码规范
- Windows10,CentOS7,CentOS8安装Nodejs环境
- MySQL8.0.19开启GTID主从同步CentOS8
- Docker快速安装Oracle11G,搭建oracle11g学习环境