Apache Doris 2.1.1 版本正式发布!

亲爱的社区小伙伴们,Apache Doris 2.1.1 版本已于 2024 年 4 月 3 日正式发布。该版本针对 2.1.0 版本出现的问题进行较为全面的优化,提交了若干改进项以及问题修复,进一步提升了系统的性能及稳定性,欢迎大家下载体验。

1 行为变更

  1. 改变了 Float 类型字段返回值序列化的方式,可以提升大数据量下 Float 返回的性能。

  1. 将部分 Table Valued Function 变更为系统表 active_queries(), workload_groups()

  1. 由于 show query``/l``oad profile stmt 语句在实际用户场景中使用较少,该语句将不再支持与维护。同时该功能在 Pipeline 与 PipelineX 引擎中不支持。

  1. 升级 Arrow Flight 版本至 15.0.2,同时用户需要使用 ADBC 15.0.2 版本访问 Doris。

2 升级问题

  1. 修复了从 2.0.x 滚动升级至 2.1.x 的过程中,部分 BE 节点升级出现 Core 的问题。

  1. 修复了在 2.0.x 滚动升级至 2.1.x 过程中,使用 JDBC Catalog 会出现 Query 报错的问题。

3 新功能

  1. 默认开启列级权限。

  1. Pipeline 和 PipelineX 引擎能够在 K8S 下准确获取 CPU 核数。

  1. 支持读取 Parquet INT96 类型

  1. 支持 IP 透传的协议,以方便在 FE 之前启用代理的同时还能获取客户端准确的 IP 地址,实现白名单权限控制。

  1. 增加对 Workload Queue 检测指标。

  1. 增加系统表 backend_active_tasks,以实时监测每个 BE 上活跃任务以及消耗的资源信息。

  1. 在 Spark Doris Connector 中增加 IPV4 和 IPV6 的支持。

  1. CCR 支持倒排索引。

  1. 支持查询 Experimental 的 Session Variable。

  1. 支持建立 bitmap_union(bitmap_from_array()) 函数的物化视图。

  1. 支持对 Hive 中 HIVE_DEFAULT_PARTITION 分区进行列裁剪。

  1. 支持 set variable 语句中使用函数。

  1. Arrow 序列化方式增加对 Variant 类型的支持。

4 改进与优化

  1. 当系统自动重启或者滚动升级之后,自动启动 Routine Load 导入任务。

  1. 优化了 Routine Load 任务在各个 BE 上的分布方式,让各个 BE 负载更加均衡。

  1. 升级 Spark 的版本,解决部分 Spark Load 的安全问题。

  1. 在冷热分离过程中,自动跳过被删除的 Tablet.

  1. Workload Group 支持对 Routine Load 的资源进行限制。

  1. 大幅度优化多表物化视图查询改写性能。

  1. 优化 Broker Load 任务对 FE 的内存使用

  1. 优化 Partition 的裁剪逻辑。

  1. 优化 Tablet Schema Cache 对 BE 内存使用。

  1. 多表物化视图增加更多对 JOIN 类型的支持,包括 INNER JOIN、LEFT OUTER JOIN、RIGHT OUTER JOIN、FULL OUTER JOIN、LEFT SEMI JOIN、RIGHT SEMI JOIN、LEFT ANTI JOIN、RIGHT ANTI JOIN

5 Bugs 修复

  1. 修复 TopN 下推导致的问题。

  1. 修复 JAVA UDF 带来的内存泄露问题。

  1. 修复 ODBC 表备份恢复问题。

  1. 修复对 Variant 类型进行运算时常量折叠会导致 BE 出错的问题

  1. 修复了部分导入任务失败时 Routine Load 卡住的问题。

  1. 修复 SEMI JOIN 结果不正确的问题。

  1. 当列的数据为空时,修复建立倒排索引会出错的问题。

  1. 修复<=> join 操作会出现 Core 的问题。

  1. 修复部分列更新在有 Sequence 列结果准确性的问题。

  1. 修复 Select Outfile 导出到 Parquet 或者 ORC 格式的列类型映射问题。

  1. 修复在 Restore 过程中 BE 有时候会 Core 的问题。

  1. 修复 array_agg函数结果不对的问题。

  1. 使 Variant 类型应当一直是 nullable.

  1. 修复 Schema Change 没有正确处理空 Block 的问题。

  1. 修复使用 json_length() 函数时部分场景会出错的问题。

  1. 修复 Iceberg 表没有正确处理 Date Cast 转换的问题。

  1. 修复 Variant 类型建立 Index 时出现的部分 Bug。

  1. 修复当多个 map_agg 函数同时使用时结果不正确的问题。

  1. 修复 money_format 函数的返回结果不正确的问题。

  1. 修复在高并发的建立链接时部分请求会卡住的问题。

优秀的个人博客,低调大师

微信关注我们

原文链接:https://www.oschina.net/news/286108/apache-doris-2-1-1-released

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
Mario,低调大师唯一一个Java游戏作品

Mario,低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

Apache Tomcat7、8、9(Java Web服务器)

Apache Tomcat7、8、9(Java Web服务器)

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Eclipse(集成开发环境)

Eclipse(集成开发环境)

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。

Sublime Text 一个代码编辑器

Sublime Text 一个代码编辑器

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。