Apache Doris Roadmap 2021-低调大师

Apache Doris Roadmap 2021

2021-04-13 516

随着 Doris 越来越广泛的被在各个公司落地使用，Doris 开发团队也在不断地收集社区用户的需求和问题反馈。

为了更好地帮助用户了解 Doris 的发展方向和开发计划，百度 Doris 团队梳理了 2021 年正在进行和将要开展的工作计划。

1. 向量化执行引擎

Doris 一直以易用性和功能性著称、并且在高并发点查询、多表 Join 等复杂多维分析场景有良好的性能表现。

但是在单纯的算子性能方面依然有非常大的优化空间。今年我们会将查询层所有执行算子实现向量化，该工作预计将Doris的整体性能提升5倍左右。

2. 稳定性改进

随着Doris用户的增长，一些稳定性方面的共性问题也开始凸显。这些问题主要集中在内存OOM、查询耗时不稳定，以及一些新功能合入后引发的系统稳定性问题。Doris今年也会重点提升Doris的稳定性，包括更合理的内存管理、更精细的线程调度等。

同时我们将尝试引入更加规范的单元测试和回归测试框架以进一步提升代码质量。

3. 查询优化器的改进

Doris 现有的查询优化器源自早期版本的 Impala 查询优化器。但随着多年的不断迭代、修复和功能升级，目前的优化器已经和Impala社区有很大的不同，并且因为一些历史原因导致当前的优化器框架在扩展性和维护性方面都存在问题。所以在现有框架上增加更高级的优化器功能时往往会引发更多的问题。

因此，我们计划引入一套新的查询优化器框架来改善这个问题。新的优化器可能会和现有优化器在很长一段时间内同时存在，以期通过社区用户的反馈和迭代来不断完善。

4. 复合类型的支持

部分业务会有包括Array、Map、Struct等复合类型的需求。比如在用户画像和用户行为分析中经常使用的 Array 类型。Doris 社区目前已经完成了部分复合类型的工作，今年我们将会继续推进这方面的研发。

5. 大数据生态建设

随着ES、Flink、Pulsar、数据湖等新一代的大数据组件的流行，Doris 也在不断的和这些系统进行整合。目前社区已经完成了部分 Flink 相关的工作。

我们也在推进和其他系统的整合。这个工作能够帮助Doris更好的和企业现有的数据基础组件进行打通，进一步降低Doris的接入成本。

6. 多租户和存储计算分离

多租户从两个角度出发，一方面是企业对于多业务线权限管理的需求，另一方面是对不同租户资源隔离的需求。目前很多企业在使用 Doris 时都不得不分别建立一套离线集群和一套在线集群，以隔离不同的业务场景防止资源上的相互抢占，这样也极大的增加了数据维护成本。

我们将会在今年尝试通过两种途径来解决这个问题，一个是通过资源标签的方式将Doris集群进行节点级的划分，并限制不同的用户只能使用指定资源标签下的节点，从而达到在一个集群内物理隔离的效果。

第二个途径是存储计算分离，采用存储资源共享，计算资源独立的方式来满足业务需求。

7. 可观测性

系统的可观测性直接影响到运维人员对系统的把控程度。如一些用户反馈的慢查询无法定位、节点运行状态不透明、系统瓶颈无法排查等问题。我们将尝试引入如 OpenTelemetry 等标准化的 tracing 框架来改善这个问题，希望能够帮助运维人员更快的定位系统问题。

Join US

以上研发方向都已处于正在进行或即将展开中。我们诚邀社区的小伙伴一同参与讨论开发，共同打造一款完美的分析型数据库系统。

如果你对以上任何方向感兴趣，希望一同开发，或者有其他的建议或意见，可以通过以下渠道参与：

1. 订阅并发送邮件至dev@doris.apache.org‍

以 Apache Way 的方式参与社区，订阅方式见官网：

http://doris.incubator.apache.org/master/zh-CN/community/subscribe-mail-list.html#_1-发送订阅邮件

邮件列表是 Apache 社区最常用的沟通方式。我们会积极回复邮件列表中的问题。

2. 在Doris论坛发帖留言

在百度开发者社区Doris论坛发帖留言讨论：

https://ai.baidu.com/forum/topic/list/209

我们也会不定期的将一些用户常见问题在论坛中进行汇总和答复，方便用户查找。

3. 微信公众号后台留言
直接在 ApacheDoris 微信公众号后台留言，您可以留下您的联系方式，我们将与您取得联系。

4. 加入Baidu Doris 团队
Baidu Doris 团队主要负责Doris内核研发、商业化支持、云端服务和私有化部署。同时也负责维护Doris开源社区，欢迎有大数据系统内核研发经验的同学加入我们。您可以通过公众号后台留言或者发送简历至 talent-doris.baidu.com，我们虚位以待。

clop v0.1.0 发布，Go 实现的纯结构体命令行解析器

clop v0.1.0 已经发布，这是一个 Go 实现的纯结构体命令行解析器。地址 https://gitee.com/guonaihong/clop https://github.com/guonaihong/clop 更新内容修复使用tag且使用数据校验提示信息不对的问题 feature 支持环境变量绑定env DEBUG=xx ./proc 支持参数搜集cat a.txt b.txt，可以把a.txt, b.txt散装成员归归类，收集到你指定的结构体成员里支持短选项proc -d或者长选项proc --debug不在话下 posix风格命令行支持，支持命令组合ls -ltr是ls -l -t -r简写形式，方便实现普通posix 标准命令子命令支持，方便实现git风格子命令git add，简洁的子命令注册方式，只要会写结构体就行，3,4,5到无穷尽子命令也支持，只要你喜欢，用上clop就可以实现默认值支持default:"1"，支持多种数据类型，让你省去类型转换的烦恼贴心的重复命令报错严格的短选项，长选项报错。避免二义性选项诞生效验模式支持，不需要写一堆的if...

2021-04-13

616

文章目录什么是Hash 普通Hash的分析普通Hash存在的问题一致性Hashg概念实现普通Hash和一致性Hash 普通Hash实现一致性Hash实现不带虚拟节点实现带虚拟节点实现什么是Hash Hash就是把任意长度的输入,通过散列算法,变换成固定长度的输出,该输出就是散列值。例如Integer.hashCode()，String.hashCode() 等。就算是输入的那内容不一致也有可能导致输出的hash值一致，这种情况就是hash碰撞，hash碰撞是不可避免的，设计出高效的hash算法是不容易的。假设服务有四台服务器，多个用户来访问我们的服务，以下的分析都用此假设普通Hash的分析当用户来访问我的服务我们对请求和服务数量进行简单的运算等到hash，然后根据算出的hash分发请求到不同的服务上。 hash计算方式为 hash = 请求%serverCount 假设现在有四个请求分别是请求1，请求2，请求3，请求4，现在对四个请求进行计算分发请求到不同非服务上，计算结果如下图普通Hash存在的问题通过上图我们可以看到通过计算我们把不同的请求通过计算分别...

2021-04-13

600

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。