Apache Kylin：基于Hadoop的OLAP引擎-低调大师

Apache Kylin：基于Hadoop的OLAP引擎

2017-07-02 575

传统上，Hadoop(包括MapReduce，Pig以及Hive)通常用于外部私有OLAP Cube引擎准备数据。如今，Zaloni的客户基于Apache Kylin的OLAP技术实现了实时查询的能力，这些Cube的事实表包含了400亿条以上的原始数据。我们正在帮助客户统一归集来自于多个独立系统的账单数据，并构建OLAP Cube以支持实时分析，这是以前系统所无法实现的。现在，Hadoop集群都可以做到了。

基于Hadoop的分析演化

Hadoop已经从通用计算能力(MapReduce)的分布式数据平台演化为一个更强大的平台。Hadoop及其生态系统已经有能力处理更广泛的用例，远超最初设计时的低成本分布式批处理能力。支持了从迭代式的机器学习算法，到OLAP及OLTP系统，这些基于“hadoop集群”的开源分析能力给传统的大玩家们(Oralce，SAS，Teradata，IBM等)带来了很大的压力。

为规模设计

Apache Kylin是开源的多维在线分析处理引擎(MOLAP)，名字来源于中国的一种神兽“麒麟”。项目最初诞生于eBay，专为分析处理PB级数据集而设计。这里引用一段Apache基金会2015年12月的Blog：“Apche Kylin是目前为止大数据领域最好的OLAP引擎”，eBay数据服务与解决方案部门高级总监Wilson Pang说到，“在eBay，我们收集用户在每一个页面的每一个行为。当其他OLAP引擎挣扎于数据量的极大膨胀时，Kylin可以在毫秒级获得查询响应。除此之外，基于Kylin我们还实现了近实时的数据流存储和分析。总之，Kylin在eBay产品分析平台中扮演了至关重要的后台核心组件角色。”

如何工作

Kylin通过预计算实现查询速度的提升，利用Hive查询计算多个维度的组合(译者注：此处原文有误，正确应为，Kylin是通过Hive获取数据源，并利用MapReduce计算多个维度的任意组合)，计算各类指标的聚合值，并将这些中间结果保存在HBase中。Kylin拥有用户友好的查询界面，也支持通过API和JDBC、ODBC提交查询。查询引擎基于Apache Calcite查询处理器和HBase的检索功能(比如fuzzy row filters)实现结果集快速获取。HBase的rowkeys利用Trie Data Structure技术实现维度字段字典数据的高效压缩。

当前，Kylin只支持星型模型，因此每个Cube只能有单一的事实表。

建模向导

设计Cube很容易。假设你已经有了一张Hive的表，建模向导将帮助你一步步走完设计的流程，包括选择维度(包括层级维度)，选择维表，选择指标等。也支持按照日期时间分区，使得Cube分段刷新易如反掌，这广泛用在了流数据的增量式构建。一旦Cube定义好了，我们通过Kylin的监控界面查看Cube的构建进度。

除了原生的Kylin Web界面，你可以通过JDBC查询OLAP Cube，也可以通过Zeppelin(Zeppelin已经内置了Kylin的解释器)，或者设计良好的REST API。

基于Hadoop的OLAP的其他选项

Kylin是基于Hadoop的OLAP技术的一个开源选项。Apache Lens是另一个，它是一个ROLAP解决方案，并不能实现Kylin这种预计算技术所能达到的快速查询响应能力。Druid也是一个选项，它采用了自己的集群技术(并不依赖Hadoop)。也有一些第三方的解决方案，声称支持Hadoop之上的OLAP能力。

本文转自d1net（转载）

微信关注我们

原文链接：https://yq.aliyun.com/articles/172443

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

《Storm分布式实时计算模式》——2.2　Storm技术栈简介

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第2章，第2.2节,作者：（美）P. Taylor Goetz　Brian O’Neill 更多章节内容可以访问云栖社区“华章计算机”公众号查看。 2.2　Storm技术栈简介在安装Storm之前，我们来看看Storm和topology是基于哪些技术建立的。2.2.1　Java和ClojureStorm运行在Java虚拟机上，大部分是使用Java和Clojure进行开发的。Storm的主要接口都是通过Java语言定制的，Storm使用Python实现了可执行程序。除了这些程序，由于Java使用了Apache Thrift接口，Java还友好的兼容多种其他语言。Storm的组件（spout和bot）实际上可以使用任何当前服务器安装支持的语言进行开发。JVM虚拟机支持的语言可

2017-07-03

539

随着大数据业务的日渐火热，越来越多的分析机构着重看好这一领域。知名分析机构Forrester最近预测，未来五年，大数据技术市场的年复合增长率将达到12.8%。Forrester将大数据市场分为六大部分：企业数据仓库、NoSQL、Hadoop、大数据集成、数据虚拟化和内存数据结构。Forrester调研发现，在2016年，有近40%的企业正在实施和扩大大数据技术的应用，另有30%计划在未来12个月内应用大数据。内存数据结构正在崛起，Forrester数据显示，内存数据结构在预测期内每年将增长29%。对非关系型数据库（NoSQL和Hadoop）的兴趣亦正在增强。NoSQL和Hadoop在预测期内每年将分别增长25%、33%。在受访者中，41%正在实施和扩大NoSQL的使用，另有20%计划在未来12个月中实施。有30%的受访者在今年实现了Hadoop，这一数字在2015年仅为26%。而采用Hadoop实现的云端非结构化数据存储的增幅将从2015年的29%增至35%。此外，市场增长因行业而异。未来五年中，制药、运输和初级生产行业将最大限度地采用大数据技术。目前，专业服务、电信、政府和金融服...

2017-07-03

447

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。