版本通告｜Apache Doris 0.15 Release 版本正式发布！-低调大师

版本通告｜Apache Doris 0.15 Release 版本正式发布！

2021-11-30 1134

亲爱的社区小伙伴们，历时数个月精心打磨，我们很高兴地宣布， Apache Doris 于 2021 年 11 月 29 日迎来了 0.15.0 Release 版本的正式发布！有 99 位 Contributor为 Apache Doris 提交了近 700 项优化和修复，在此我们也对所有贡献者表示最真诚的感激！

在 0.15.0 Release 版本中，我们增加了诸多新功能，对 Apache Doris 的查询性能、易用性、稳定性方面等进行了全面优化：新增资源划分和隔离功能，用户可以通过资源标签的方式将集群中的 BE 节点划分为资源组，实现对在线、离线业务的统一管理和资源隔离；增加了 Runtime Filter 及 Join Reorder 功能，对多表 Join 场景的查询效率进行了大幅提升，在 Star Schema Benchmark 测试数据集下有 2-10 倍的性能提升；新增导入方式 Binlog Load ，使 Doris 可以增量同步 MySQL 中对数据更新操作的 CDC ；支持 String 列类型，长度最大支持 2GB ；支持 List 分区功能，可以通过枚举值创建分区；支持 Unique Key 模型上的 Update 语句；Spark-Doris-Connector 支持数据写入 Doris …… 还有更多重要特性。

我们欢迎大家在使用过程中，有任何问题通过 GitHub Discussion 或者 Dev 邮件组与我们取得联系，也期待大家参与社区讨论和建设中。

重要更新

资源划分与隔离

用户可以通过资源标签的方式将一个 Doris 集群中的 BE 节点划分成多个资源组，从而可以进行在线、离线业务的统一管理和节点级别的资源隔离。

同时，还可以通过限制单个查询任务的 CPU、内存开销以及复杂度，来控制单个查询的资源开销，从而降低不同查询之间的资源抢占问题。

性能优化

新增 Runtime Filter 及 Join Reorder 功能。Runtime Filter 功能通过使用 Join 算子中右表的 Join Key 列条件来过滤左表的数据，在大部分 Join 场景下可以显著提升查询效率。如在 Star Schema Benchmark (TPCH 的精简测试集) 下可以获得 2-10 倍的性能提升。

Join Reorder 功能可以通过通过代价模型自动帮助调整 SQL 中 Join 的顺序，以帮助获得最优的 Join 效率。可通过会话变量 set enable_cost_based_join_reorder=true 开启。

新增功能

支持直接对接 Canal Server 同步 MySQL binlog 数据。
支持 String 列类型，长度范围 1-2GB 。
支持 List 分区功能，可以针对枚举值创建分区。
支持事务性 Insert 语句功能。可以通过 begin ; insert ; insert; ,… ; commit ; 的方式批量导入数据。
支持在 Unique Key 模型上的 Update 语句功能。可以在 Unique Key 模型表上执行 Update Set where 语句。
支持 SQL 阻塞名单功能。可以通过正则、Hash 值匹配等方式阻止部分 SQL 的执行。
支持 LDAP 登陆验证。

拓展功能

支持 Flink-Doris-Connector 。
支持 DataX doriswriter 插件。
Spark-Doris-Connector 支持数据写入 Doris 。

功能优化

查询

支持在 SQL 查询规划阶段，利用 BE 的函数计算能力计算所有常量表达式。

导入

支持导入文本格式文件时，指定多字节行列分隔符或不可见分隔符。
支持通过 Stream Load 导入压缩格式文件。
Stream Load 支持导入多行格式的 Json 数据。

导出

支持 Export 导出功能指定 where 过滤条件。支持导出文件使用多字节行列分隔符。支持导出到本地文件。
Export 导出功能支持仅导出指定的列。
支持通过 outfile 语句导出结果集到本地磁盘，并支持导出后写入导出成功的标记文件。

易用性

动态分区功能支持创建、保留指定的历史分区、支持自动冷热数据迁移设置。
支持在命令行使用可视化的树形结构展示查询、导入的计划和 Profile。
支持记录并查看 Stream Load 操作日志。
通过 Routine Load 消费 Kafka 数据时，可以指定时间点进行消费。
支持通过 show create routine load 功能导出 Routine Load 的创建语句。
支持通过 pause/resume all routine load 命令一键启停所有 Routine Load Job。
支持通过 alter routine load 语句修改 Routine Load 的 Broker List 和 Topic。
支持 create table as select 功能。
支持通过 alter table 命令修改列注释和表注释。
show tablet status 增加表创建时间、数据更新时间。
支持通过 show data skew 命令查看表的数据量分布，以排查数据倾斜问题。
支持通过 show/clean trash 命令查看 BE 文件回收站的磁盘占用情况并主动清除。
支持通过 show view 语句展示一个表被哪些视图所引用。

新增函数

bitmap_min , bit_length
yearweek , week , makedate
percentile 精确百分位函数
json_array，json_object，json_quote
支持为 AES_ENCRYPT 和 AES_DECRYPT 函数创建自定义公钥。
支持通过 create alias function 创建函数别名来组合多个函数。

其他

支持访问 SSL 连接协议的 ES 外表。
支持在动态分区属性中指定热点分区的数量，热点分区将存储在 SSD 磁盘中。
支持通过 Broker Load 导入 Json 格式数据。
支持直接通过 libhdfs3 库访问 HDFS 进行数据的导入导出，而不需要 Broker 进程。
select into outfile 功能支持导出 Parquet 文件格式，并支持并行导出。
ODBC 外表支持 SQLServer。

下载使用

下载地址

http://doris.apache.org/master/zh-CN/downloads/downloads.html

升级说明

您可以从 Apache Doris 0.14.0 或 0.14.x 发行版本直接升级到 0.15.0 Release 版本，升级过程请参考文档：

http://doris.apache.org/master/zh-CN/installing/upgrade.html

更新日志

详细 Release Note 请查看链接：

https://github.com/apache/incubator-doris/issues/6806

意见反馈

如果您遇到任何使用上的问题，欢迎随时通过 GitHub Discussion 论坛或者 Dev 邮件组与我们取得联系。

GitHub 论坛：https://github.com/apache/incubator-doris/discussions

Dev 邮件组：dev@doris.apache.org

致谢

Apache Doris 0.15.0 Release 版本的发布离不开所有社区用户的支持，在此向所有参与版本设计、开发、测试、讨论的社区贡献者们表示感谢，他们分别是：

一贡献者名单一

@924060929
@acelyc111
@Aimiyoo
@amosbird
@arthur-zhang
@azurenake
@BiteTheDDDDt
@caiconghui
@caneGuy
@caoliang-web
@ccoffline
@chaplinthink
@chovy-3012
@ChPi
@copperybean
@crazyleeyang
@dh-cloud
@DinoZhang
@dixingxing0
@dohongdayi
@e0c9
@EmmyMiao87
@eyesmoons
@francisoliverlee
@Gabriel39
@gaodayue
@GoGoWen
@HappenLee
@harveyyue
@Henry2SS
@hf200012
@huangmengbin
@huozhanfeng
@huzk8
@hxianshun
@ikaruga4600
@JameyWoo
@Jennifer88huang
@JinLiOnline
@jinyuanlu
@JNSimba
@killxdcj
@kuncle
@liutang123
@luozenglin
@luzhijing
@MarsXDM
@mh-boy
@mk8310
@morningman
@Myasuka
@nimuyuhan
@pan3793
@PatrickNicholas
@pengxiangyu
@pierre94
@qidaye
@qzsee
@shiyi23
@smallhibiscus
@songenjie
@spaces-X
@stalary
@stdpain
@Stephen-Robin
@Sunt-ing
@Taaang
@tarepanda1024
@tianhui5
@tinkerrrr
@TobKed
@ucasfl
@Userwhite
@vinson0526
@wangbo
@wangliansong
@wangshuo128
@weajun
@weihongkai2008
@weizuo93
@WindyGao
@wunan1210
@wuyunfeng
@xhmz
@xiaokangguo
@xiaoxiaopan118
@xinghuayu007
@xinyiZzz
@xuliuzhe
@xxiao2018
@xy720
@yangzhg
@yx91490
@zbtzbtzbt
@zenoyang
@zh0122
@zhangboya1
@zhangstar333
@zuochunwei

微信关注我们

原文链接：https://www.oschina.net/news/171366

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Java 进程启停及诊断 Jarboot v2.2.0 新增导入导出功能

v2.2.0版本，服务管理增加了导入、导出的功能，方便系统间迁移，也可用于备份。 Jarboot 是一个集Java进程管理、诊断的平台，可以在线启停、守护、监控及诊断一系列的Java进程。 🌈 浏览器界面管理，一键启、停服务进程，不必挨个手动执行 🔥 支持启动、停止优先级配置，配置依赖启动，默认并行启动 ⭐️ 支持进程守护，开启后若服务异常退出则自动启动并通知 ☀️ 支持文件更新监控，开启后若服务目录的文件更新则自动重启 🚀 调试命令执行，同时远程诊断多个Java进程，界面更友好 💎 支持通过SPI自定义调试命令实现，支持开发插件如上图，增加了导出、导入两个工具栏按钮。可通过Gitee和GitHub下载最新的安装包，使用Docker的请更新下Jarboot的Docker镜像。 GitHub:https://github.com/majianzheng/jarboot Gitee:https://gitee.com/majz0908/jarboot Docker Hub:https://registry.hub.docker.com/r/mazheng0908/jarboot...

2021-11-30

516

随着应用开发的复杂度增加，监控成为了应用的一个重要组成部分。及时、准确的监控既能满足快速迭代的周期性需求，又能够确保应用的稳定性和流畅性。如何选择一个适合的监控，以提升应用的可观测性，成为了每个开发者都必须面临的一道难题。 Apache APISIX 将监控和可观测性从应用中解耦了出来，给开发人员带来了一个优势：在构建应用的时候，只需要关注业务逻辑，而 Apache APISIX 可以和开发人员选定的监控平台对接，处理可观测性的问题。 Apache APISIX 最近发布了一个新的插件：APISIX-Datadog，以提供与 Datadog 监控平台的集成。这篇文章介绍了 APISIX-Datadog 插件的实现原理及功能。 APISIX-Datadog plugin 工作原理 APISIX-Datadog 插件将其自定义指标推送到 DogStatsD server。而 DogStatsD server 通过 UDP 连接与 Datadog agent 捆绑在一起。DogStatsD 是 StatsD 协议的一个实现。它为 Apache APISIX agent 收集自定义指标，将其聚...

2021-11-30

635

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。