druid.io 海量实时OLAP数据仓库 (翻译+总结) (1)——分析框架如hive或者redshift（MPPDB）、ES等

2017-11-15 511

介绍

我是NDPmedia公司的大数据OLAP的资深高级工程师，专注于OLAP领域, 现将一个成熟的可靠的高性能的海量实时OLAP数据仓库介绍给大家: druid.io

NDPmedia在2014年3月就开始使用, 见链接: http://blog.csdn.net/chenyi8888/article/details/37594771

druid是个很新的平台， 2013年底才开源出来，虽然出现的比较晚，但druid发展很快, 中国有几个公司开始使用， 2015年druid将会是爆发的一年

最近druid 的华人作者Fangjin从Metamarkets离职，专门从事druid研发和推广.

以下翻译自http://druid.io/docs/0.7.1.1/, 并添加了自己的注解

什么是Druid

Druid 是一个开源的，能在海量时序数据上 (万亿级别数据量, 1000 TB级别数据)上面提供实时分析查询的OLAP数据仓库，Druid提供了廉价的实时数据插入和任意数据探索的能力。
Druid的主要功能

    为分析而生 - Druid是为了解决在OLAP工作流中进行探索分析而生的. 它提供了大量的filters, aggregators和 query 类型，并且提供了一个用户添加新功能的框架. 用户可以利用Druid的集群实现例如topN和直方图等功能。
      (注: 传统数据库，查询几千万的数据，就会出问题，查不出来)
      (注： druid就是一个能力超强的数据库，执行例如SQL: select aColumn, bColumn sum(cColumn) from tableName where aColumn like 'xxx' and bColumn = 5 group by aColumn, bColumn having sum(cColumn) > 5 order by aColumn.)
      (注： druid对SQL支持有限，现在是实验版本。YeahMobi 重新开发适配了SQL, 屏蔽了下层平台, SQL 语句可以路由到这三个平台 druid, impala, hive)
    高交互式 - Druid的低延时数据插入允许数据在生成之后的毫秒范围之内就可以被用户查询到。Druid通过读取和扫描需要的数据来优化查询的延时。
    高可用性 - Druid可以被用来实现需要持续提供服务的SaaS应用。即使是在系统升级的过程中，你的数据仍然可以被查询。而且Druid 集群的扩容或者缩减不会带来数据的丢失。

(注：已经在生产环境之中验证：添加字段，集群扩容，集群缩减）
可扩展性 - 现有的Druid系统可以很轻松的处理每天数十亿条记录和TB级别的数据。Druid本身是被设计来解决PB级别数据的。

为什么要用Druid?

Druid的初衷是为了解决在使用Hadoop进行查询时所遇见的高延时问题来提高交互性查询。尤其是当你对数据进行汇总之后并在你汇总之后的数据上面进行查询时效果更好。将你汇总之后的数据插入Druid，随着你的数据量在不断增长，你仍然可以对Druid的查询能力非常有信心。当前的Druid 安装实例已经可以很好的处理以每小时数TB实时递增的数据量。
（注：在我们的实践中 druid 查询统计100亿数据，在5秒内响应。查询1个月的数据，基本可以在毫秒内完成。比hadoop的常用的T+1 Map Reduce 高效多了.

你可以在拥有Hadoop的同时创建一个Druid系统。Druid提供了以一种互动式切片、切块方式来访问数据的能力，它在查询的灵活性和存储格式直接寻找平衡从而来提供更好的查询速度。
如果想了解更多细节，请参考 White Paper 和Design 文档.

什么情况下需要Druid?

    当你需要在大数据集上面进行快速的，交互式的查询时
    当你需要进行特殊的数据分析，而不只是简单的键值对存储时
    当你拥有大量的数据时 (每天新增数百亿的记录、每天新增数十TB的数据)
    当你想要分析实时产生的数据时
    当你需要一个24x7x365无时无刻不可用的数据存储时

架构概述

druid在一定程度上是受搜索框架的启发，通过建立不变数据视图和使用便于filter和aggregation的高度优化的格式来提高性能. Druid 集群有一系列不同类型的节点组成，每种节点将一小部分事情做到极致。

Druid vs…

    Druid-vs-Impala-or-Shark
    Druid-vs-Redshift
    Druid-vs-Vertica
    Druid-vs-Cassandra
    Druid-vs-Hadoop
    Druid-vs-Spark
    Druid-vs-Elasticsearch

   数据框架世界一直在巨大的混乱的变化之中，这个网页希望帮助潜在的用户评估和确定druid适合用户解决遇到的问题。如果有错误请通过邮件列表或者其他渠道反馈.

转自：http://www.cnblogs.com/lpthread/p/4519687.html

本文转自张昺华-sky博客园博客，原文链接：http://www.cnblogs.com/bonelee/p/6490891.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/397938

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

阿里云在美推出MaxCompute大数据计算平台

2017年11月16日，阿里巴巴集团旗下云计算平台阿里云，宣布在美推出MaxCompute大数据计算平台。平台由阿里云独立研发，拥有多项特点：包括升级计算和机器学习能力、可扩展性和安全防护，将进一步加强阿里云作为美国企业云端解决方案供货商的竞争优势。对于MaxCompute，持续不断的用技术打磨产品，为开发者和企业释放技术红利是前进的动力和目标。在今年10月的杭州云栖大会主论坛上，阿里巴巴集团副总裁周靖人发布基于公共云的BigBench on MaxCompute，全球首次将规模拓展到100TB，性能达到7000 BBQpm，成为首个基于公共云服务的Benchmark。大会结束后，MaxCompute开放了一个月的测试环境，并开源BigBench On MaxCompute的SDK，供开发者验证试用。在刚刚过去的双11全球狂欢节中

2017-11-16

676

function_score Query Thefunction_scorequeryis the ultimate tool for taking control of the scoring process.It allows you to apply a function to each document that matches the main query in order to alter or completely replace the original query_score. In fact, you can apply different functions tosubsetsof the main result set by using filters, which gives you the best of both worlds: efficient scoring with cacheable filters. It supports several predefined functions out of the box: weight Apply a s...

2017-11-16

527

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。