您现在的位置是:首页 > 文章详情

Apache Doris(incubating)0.11.0 版本正式发布

日期:2019-10-30点击:1002

经历了三个多月的研发,Apache Doris(incubating) 0.11.0版本今天正式发布了。这是Doris进入Apache社区孵化以来第三个正式版本。

Doris功能、性能在0.11.0版本都有极大的提升,总计有29名社区同学贡献了382个commitDoris的contributor数目也增长到了57名。

在过去的一个月,外部同学的代码提交量已经达到了主创团队代码提交量的一半。同时也迎来了Doris第一个海外用户Shopee。

 引擎重构 

本次版本最大的改进就是重构了存储引擎。通过重构存储引擎工作,引擎的代码框架变得更加清晰,之前版本很多的Corner Case也在本版本修复。除此外,通过本次的引擎重构,代码的可读性、扩展性都得到了极大的提升。也正是基于此次工作,正在优化存储结构,预计在0.12版本中,能够支持字符串字典压缩,压缩比比现在提升1倍左右。以及在未来的版本中增加倒排索引等工作。

 Bitmap类型支持 

在这个版本中,Doris支持了Bitmap类型,用户如果有精确去重的需求可以通过使用这种类型来实现。用户可以在聚合模型下创建Bitmap类型的value列,然后向这个字段导入数据时,Doris内部会将所有导入的数据求并呈现为一个Bitmap。当用户进行查询的时候能够对这个字段进行union、count等计算,从而能够达到精确去重的功能。

这个功能是由美团@kangkaisen(github.com/kangkaisen)同学贡献,在美团内部,性能已经达到可上线标准。

 文档工作 

文档一直被用户所抱怨,在这个版本中,重构了文档结构,将之前需要写多份的文档变成“书写一次,多次应用”。这样能够保证无论是用户从官网上看到的,以及用户通过help查看到的文档内容都是一致的。同时也在不断的增加文档内容。此外,还增加了我们的英文文档内容,当前大部分英文文档内容是通过翻译软件获得。

用户可以从Doris官网(doris.apache.org/)获得文档的内容。

 导入优化 

parquet

通过社区同学们的努力,Doris现在能够直接导入Parquet格式的数据内容了。

识别分区列

同时也能够从导入文件路径中获得对应的列信息,这样能够更好的兼容Hadoop/Spark生态,让用户能够更加方便的导入数据。

指定过滤条件

用户可以在导入的时候指定过滤条件。通过这个机制,用户能够在数据导入到Doris前,完成对数据的抽取功能,将不需要的数据过滤掉,是的用户在导入数据的时候能够更加灵活地进行数据导入。

时区支持

在这个版本中,京东的同学@HangyuanLiu(github.com/HangyuanLiu)为Doris支持了时区功能。现在用户无论导入、查询都能够设定时区来完成时间数据的相关转化。

除了上述所列功能外,还有很多其他功能、性能方面的修复。用户可以访问这里(github.com/apache/incubator-doris/issues/1891)来获取所有相关改进。

原文链接:https://www.oschina.net/news/110953/apache-doris-0-11-0-released
关注公众号

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。

持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。

文章评论

共有0条评论来说两句吧...

文章二维码

扫描即可查看该文章

点击排行

推荐阅读

最新文章