Apache Doris (incubating) 1.0 Release 版本正式发布！-低调大师

Apache Doris (incubating) 1.0 Release 版本正式发布！

2022-04-18 604

亲爱的社区小伙伴们，历时数月，我们很高兴地宣布，Apache Doris (incubating) 于 2022 年 4 月 18 日迎来了 1.0 Release 版本的正式发布！这是 Apache Doris 在进入 Apache 基金会孵化以来的第一个 1 位版本，也是迄今为止对 Apache Doris 核心代码重构幅度最大的一个版本！有 114 位 Contributor 为 Apache Doris 提交了超过 660 项优化和修复，感谢每一个让 Apache Doris 变得更好的你！

在 1.0 版本中，我们引入了向量化执行引擎、Hive 外部表、Lateral View 语法及 Table Function 表函数、Z-Order 数据索引、Apache SeaTunnel 插件等重要功能，增加了对 Flink CDC 同步更新和删除数据的支持，优化了诸多数据导入和查询过程中的问题，对 Apache Doris 的查询性能、易用性、稳定性等多方特效进行了全面加强，欢迎大家下载使用！

特别鸣谢

每一个不曾发版的日子，背后都有无数贡献者枕戈待旦，不敢停歇半分。在此我们尤其要感谢来自向量化执行引擎、查询优化器、可视化运维平台等 SIG （专项兴趣小组）的小伙伴。自 2021 年 8 月 Apache Doris 社区 SIG 小组成立以来，来自百度、美团、小米、京东、蜀海、字节跳动、腾讯、网易、阿里巴巴、PingCAP、Nebula Graph 等十余家公司的数十名贡献者作为首批成员加入到 SIG 中，第一次以专项小组的开源协作形式完成了向量化执行引擎、查询优化器、 Doris Manager 可视化监控运维平台等如此重大功能的开发，历时半年以上、开展技术调研和分享数十次、召开远程会议近百次、累计提交 Commits 多达数百个、涉及代码行数高达十余万行，正是因为有他们的贡献，才有 1.0 版本的问世，让我们再次对他们的辛勤付出表示最真诚的感谢！

与此同时，Apache Doris 的贡献者数量已超过 300 人（点击回顾：社区动态｜Apache Doris 迎来第 300 位 Contributor ！），每月活跃的贡献者数量超过了 60 人，近几周平均每周提交的 Commits 数量也超过 80，社区聚集的开发者规模及活跃度已经有了极大的提升。我们十分期待有更多的小伙伴参与社区贡献中来，与我们一道把 Apache Doris 打造成全球顶级的分析型数据库，也期待所有小伙伴可以与我们一起收获宝贵的成长。如果你想参与社区，欢迎通过开发者邮箱 dev@doris.apache.org 与我们取得联系。

重要更新

过去 Apache Doris 的 SQL 执行引擎是基于行式内存格式以及基于传统的火山模型进行设计的，在进行 SQL 算子与函数运算时存在非必要的开销，导致 Apache Doris 执行引擎的效率受限，并不适应现代 CPU 的体系结构。向量化执行引擎的目标是替换 Apache Doris 当前的行式 SQL 执行引擎，充分释放现代 CPU 的计算能力，突破在 SQL 执行引擎上的性能限制，发挥出极致的性能表现。

基于现代 CPU 的特点与火山模型的执行特点，向量化执行引擎重新设计了在列式存储系统的 SQL 执行引擎：

重新组织内存的数据结构，用 Column替换 Tuple，提高了计算时 Cache 亲和度，分支预测与预取内存的友好度
分批进行类型判断，在本次批次中都使用类型判断时确定的类型，将每一行类型判断的虚函数开销分摊到批量级别。
通过批级别的类型判断，消除了虚函数的调用，让编译器有函数内联以及 SIMD 优化的机会

从而大大提高了 CPU 在 SQL 执行时的效率，提升了 SQL 查询的性能。

在 Apache Doris 1.0 版本中，通过 set batch_size = 4096 和 set enable_vectorized_engine = true 开启向量化执行引擎，多数情况下可显著提升查询性能。在 SSB 和 OnTime 标准测试数据集下，多表关联和宽列查询两大场景的整体性能分别有 3 倍和 2.6 倍的提升。

Lateral View 语法 [Experimental]

通过 Lateral View 语法，我们可以使用 explod_bitmap 、explode_split、explode_jaon_array 等 Table Function 表函数，将 bitmap、String 或 Json Array 由一列展开成多行，以便后续可以对展开的数据进行进一步处理（如 Filter、Join 等）。

Hive 外表 [Experimental]

Hive External Table 为用户提供了通过 Doris 直接访问 Hive 表的能力，外部表省去了繁琐的数据导入工作，可以借助 Doris 本身 OLAP 的能力来解决 Hive 表的数据分析问题。当前版本支持将 Hive 数据源接入 Doris，并支持通过 Doris 与 Hive 数据源中的数据进行联邦查询，进行更加复杂的分析操作。

支持 Z-Order 数据排序格式

Apache Doris 数据是按照前缀列排序存储的，因此在包含前缀查询条件时，可以在排序数据上进行快速的数据查找，但如果查询条件不是前缀列，则无法利用数据排序的特征进行快速数据查找。通过 Z-Order Indexing 可以解决上述问题，在 1.0 版本中我们增加了 Z-Order 数据排序格式，在看板类多列查询的场景中可以起到很好过滤效果，加速对非前缀列条件的过滤性能。

支持 Apache SeaTunnel (incubating) 插件

Apache SeaTunnel 是一个高性能的分布式数据集成框架，架构于 Apache Spark 和 Apache Flink 之上。在 Apache Doris 1.0 版本中，我们增加了 SaeTunnel 插件，用户可以借助 Apache SeaTunnel 进行多数据源之间的同步和 ETL。

新增函数

支持更多 bitmap 函数，具体可查看函数手册：

bitmap_max
bitmap_and_not
bitmap_and_not_count
bitmap_has_all
bitmap_and_count
bitmap_or_count
bitmap_xor_count
bitmap_subset_limit
sub_bitmap

支持国密算法 SM3/SM4；

注意：以上标记 [Experimental] 的功能为实验性功能，我们将会在后续版本中对以上功能进行持续优化和迭代，并后续版本中进一步完善。在使用过程中有任何问题或意见，欢迎随时与我们联系。

重要优化

功能优化

降低大批量导入时，生成的 Segment 文件数量，以降低 Compaction 压力。
通过 BRPC 的 attachment 功能传输数据，以查询过程中的降低序列化和反序列化开销。
支持直接返回 HLL/BITMAP 类型的二进制数据，用于业务在外侧解析。
优化并降低 BRPC 出现 OVERCROWDED 和 NOT_CONNECTED 错误的概率，增强系统稳定性。
增强导入的容错性。
支持通过 Flink CDC 同步更新和删除数据。
支持自适应的 Runtime Filter。
显著降低 insert into 操作的内存占用

易用性改进

Routine Load 支持显示当前 offset 延迟数量等状态。
FE audit log 中增加查询峰值内存使用量的统计。
Compaction URL 结果中增加缺失版本的信息，方便排查问题。
支持将 BE 标记为不可查询或不可导入，以快速屏蔽问题节点。

重要 Bug 修复

修复若干查询错误问题。
修复 Broker Load 若干调度逻辑问题。
修复 STREAM 关键词导致元数据无法加载的问题。
修复 Decommission 无法正确执行的问题。
修复部分情况下操作 Schema Change 操作可能出现 -102 错误的问题。
修复部分情况下使用 String 类型可能导致 BE 宕机的问题。

其他

增加 Minidump 功能；

补充说明

Doris Manger 可视化监控运维平台也将在近期发布 1.0 版本，目前已经进入 Release 流程中，后续将独立发布发版通告，请大家持续关注。

下载使用

http://doris.apache.org/zh-CN/downloads/downloads.html

升级说明

您可以从 Apache Doris 0.15.0 或 0.15.x 发行版本直接升级到 1.0 Release 版本，升级过程请参考文档：

http://doris.apache.org/zh-CN/installing/upgrade.html

更新日志

详细 Release Note 请查看链接：

https://github.com/apache/incubator-doris/issues/8549

意见反馈

如果您遇到任何使用上的问题，欢迎随时通过 GitHub Discussion 论坛或者 Dev 邮件组与我们取得联系。

GitHub 论坛：https://github.com/apache/incubator-doris/discussions

Dev 邮件组：dev@doris.apache.org‍

致谢

Apache Doris(incubating) 1.0 Release 版本的发布离不开所有社区用户的支持，在此向所有参与版本设计、开发、测试、讨论的社区贡献者们表示感谢。

他们分别是：

@924060929

@adonis0147

@Aiden-Dong

@aihai

@airborne12

@Alibaba-HZY

@amosbird

@arthuryangcs

@awakeljw

@bingzxy

@BiteTheDDDDt

@blackstar-baba

@caiconghui

@CalvinKirs

@cambyzju

@caoliang-web

@ccoffline

@chaplinthink

@chovy-3012

@ChPi

@DarvenDuan

@dataalive

@dataroaring

@dh-cloud

@dohongdayi

@dongweizhao

@drgnchan

@e0c9

@EmmyMiao87

@englefly

@eyesmoons

@freemandealer

@Gabriel39

@gaodayue

@GoGoWen

@Gongruixiao

@gwdgithubnom

@HappenLee

@Henry2SS

@hf200012

@htyoung

@jacktengg

@jackwener

@JNSimba

@Keysluomo

@kezhenxu94

@killxdcj

@lihuigang

@littleeleventhwolf

@liutang123

@liuzhuang2017

@lonre

@lovingfeel

@luozenglin

@luzhijing

@MeiontheTop

@mh-boy

@morningman

@mrhhsg

@Myasuka

@nimuyuhan

@obobj

@pengxiangyu

@qidaye

@qzsee

@renzhimin7

@Royce33

@SleepyBear96

@smallhibiscus

@sodamnsure

@spaces-X

@sparklezzz

@stalary

@steadyBoy

@tarepanda1024

@THUMarkLau

@tianhui5

@tinkerrrr

@ucasfl

@Userwhite

@vinson0526

@wangbo

@wangshuo128

@wangyf0555

@weajun

@weizuo93

@whutpencil

@WindyGao

@wunan1210

@xiaokang

@xiaokangguo

@xiedeyantu

@xinghuayu007

@xingtanzjr

@xinyiZzz

@xtr1993

@xu20160924

@xuliuzhe

@xuzifu666

@xy720

@yangzhg

@yiguolei

@yinzhijian

@yjant

@zbtzbtzbt

@zenoyang

@zh0122

@zhangstar333

@zhannngchen

@zhengshengjun

@zhengshiJ

@ZhikaiZuo

@ztgoto

@zuochunwei

Erupt 1.10.6 发布，通用后台管理框架

Erupt 通用后台管理框架 Erupt 是一个低代码全栈类框架，它使用Java 注解动态构建页面，及增、删、改、查、权限控制等功能。零前端代码、零 CURD、自动建表，仅需一个类文件+简洁的注解配置，快速开发企业级 Admin 管理后台。提供企业级中后台管理系统的全栈解决方案，大幅压缩研发周期，专注核心业务本次更新内容 🐞 修复 impala 方言分页BUG 🐞 修复40x页面不展示的BUG 🐞 修复 BI 图表报表共存时显示BUG 🧩 优化 BI 报表的整体间距，提升视觉效果 🌟 增加strictRoleMenuLegal配置，配置化非管理员角色菜单权限 🌟 支持自定义登录页配置，可实现验证码登录与微扫码登录等个性化登录场景 🌟 升级spring boot版本至2.6.4 项目官网：www.erupt.xyz @Erupt( name = "简单的例子", power = @Power(importable = true, export = true) ) @Table(name = "t_simple") //数据库表名 @Entity pub...

2022-04-18

758

摘要 Fabric 网络启动的过程中需要进行大量配置，新学时对各个配置的作用一无所知，这导致我曾在网络出问题时先对配置文件的内容进行排列组合后再祈祷它能在某个时刻顺利运行，因此掌握 fabric 各个配置项的含义至关重要。本文对 configtxgen 的配置文件 configtx.yaml 进行了详细的分析解释，对 peer 、 orderer 、 fabric-ca 容器的常用环境变量也给除了详细说明，其中某些配置由于比较罕见因此并没有展开介绍，直接使用默认值即可，会在将来用上时再更新。准备介绍 Fabric 节点的主配置路径为 FABRIC_CFG_PATH 环境变量所指向路径（默认为/etc/hyperledger/fabric）。在不显式指定配置路径时，会尝试从主配置路径下查找相关的配置文件。项配置文件路径说明 peer $FABRIC_CFG_PATH/core.yaml 指定 peer 节点运行时参数 orderer $FABRIC_CFG_PATH/orderer.yaml 指定 orderer 节点运行时参数 fabric-ca $FABRIC_CA_SERV...

2022-04-18

509

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。