全网最详细Apache Kylin1.5安装(单节点)和测试案例-低调大师

全网最详细Apache Kylin1.5安装(单节点)和测试案例

2016-06-28 663

微视频链接: Apache Kylin初识



1.版本(当前实验版本组合,版本一定要兼容,否则各种问题)
Hadoop2.7.2+HBase1.1.5+Hive2.0.0
kylin-1.5.2.1   (apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz)

2.Hadoop环境编译以支持Snappy解压缩库
重新编译hadoop-2.7.2-src的native以支持Snappy解压压缩库

3.环境准备
Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA)
Hadoop2.7实战v1.0之HBase1.1.5 HA分布式搭建
配置Hadoop2.7.2和Hbase1.1.5支持Snappy解压压缩库

Hadoop2.7实战v1.0之Hive-2.0.0+MySQL本地模式安装

4. 配置Hadoop2.7.2和Hbase1.1.5支持Snappy解压压缩库

5. 主机规划
IP                Host                    安装软件                 进程
172.16.101.55 sht-sgmhadoopnn-01   apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz RunJar

6. 添加hive_dependency和KYLIN_HOME环境变量

点击(此处)折叠或打开

[root@sht-sgmhadoopnn-01 ~]# vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/hadoop/hadoop
export HBASE_HOME=/hadoop/hbase
export ZOOKEEPER_HOME=/hadoop/zookeeper
export HIVE_HOME=/hadoop/hive
export hive_dependency=/hadoop/hive/conf:/hadoop/hive/lib/*:/hadoop/hive/hcatalog/share/hcatalog/hive-hcatalog-core-2.0.0.jar
export KYLIN_HOME=/hadoop/kylin
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$HBASE_HOME/bin:$HIVE_HOME/bin:$KYLIN_HOME/bin:$PATH
"/etc/profile" 99L, 2592C written
[root@sht-sgmhadoopnn-01 ~]# source /etc/profile

7.同步/etc/profile到集群其他节点,生效

8.下载安装配置kylin

点击(此处)折叠或打开

# 在sht-sgmhadoopnn-01上执行以下命令
[root@sht-sgmhadoopnn-01 ~]# cd /hadoop
[root@sht-sgmhadoopnn-01 hadoop]# wget https://dist.apache.org/repos/dist/release/kylin/apache-kylin-1.5.2.1/apache-kylin-1.5.2.1-HBase1.x-bin.tar.gz
[root@sht-sgmhadoopnn-01 hadoop]# tar -zxvf apache-kylin-1.5.1-HBase1.1.3-bin.tar.gz
[root@sht-sgmhadoopnn-01 hadoop]# ln -s /hadoop/apache-kylin-1.5.2.1-bin /hadoop/kylin
[root@sht-sgmhadoopnn-01 hadoop]# vi /hadoop/kylin/bin/kylin.sh
export KYLIN_HOME=/hadoop/kylin # 改成绝对路径
export HBASE_CLASSPATH_PREFIX=${tomcat_root}/bin/bootstrap.jar:${tomcat_root}/bin/tomcat-juli.jar:${tomcat_root}/lib/*:$hive_dependency:$HBASE_CLASSPATH_PREFIX #在路径中添加$hive_dependency

9.修改kylin.properties

点击(此处)折叠或打开

[root@sht-sgmhadoopnn-01 conf]# vi $KYLIN_HOME/conf/kylin.properties
######修改
# List of web servers in use, this enables one web server instance to sync up with other servers.
kylin.rest.servers=sht-sgmhadoopnn-01:7070
######新增
kylin.job.jar=$KYLIN_HOME/lib/kylin-job-1.5.2.1.jar
kylin.coprocessor.local.jar=$KYLIN_HOME /lib/kylin-coprocessor-1.5.2.1.jar

10.启动kylin
[root@sht-sgmhadoopnn-01 kylin]# $KYLIN_HOME/bin/kylin.sh start
.........
.........
KYLIN_DEBUG_SETTINGS is not set, will not enable remote debuging
KYLIN_LD_LIBRARY_SETTINGS is not set, Usually it's okay unless you want to specify your own native path
A new Kylin instance is started by root, stop it using "kylin.sh stop"
Please visit <a href="http://http://:7070/kylin

You can check the log at /hadoop/kylin/logs/kylin.log<a href="http://http://:7070/kylin

You can check the log at

###http://172.16.101.55:7070/kylin 账号: ADMIN 密码:KYLIN

11.检查kylin是否启动成功

点击(此处)折叠或打开

[root@sht-sgmhadoopnn-01 kylin]# netstat -nlp |grep 7070
tcp 0 0 0.0.0.0:7070 0.0.0.0:* LISTEN 30939/java
[root@sht-sgmhadoopnn-01 kylin]#

12.导入官网测试案例

点击(此处)折叠或打开

[root@sht-sgmhadoopnn-01 kylin]# $KYLIN_HOME/bin/kylin.sh stop
[root@sht-sgmhadoopnn-01 kylin]# $KYLIN_HOME/bin/sample.sh
[root@sht-sgmhadoopnn-01 kylin]# $KYLIN_HOME/bin/kylin.sh start

1>.选中'kylin_sales_cube'示例立方体，点击'Actions'->'Build'，选择一个截止日期，本试验中选择的是'2016-01-10'
(具体小时,分,秒随便选,因为最终hive sql的语句类似 WHERE (KYLIN_SALES.PART_DT >= '2012-01-01' AND KYLIN_SALES.PART_DT < '2016-01-10');)

2>.在'Monitor'标签中通过刷新页面检查进度条，直到100%

3>.在'Insight'标签中执行下面的SQL查询：
select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers from kylin_sales group by part_dt order by part_dt;
###耗时2.87s
4>.在hive中执行同一个SQL查询，验证kylin的查询结果(会开启MapReduce Job计算)
###耗时65.205s
查询执行和结果如图所示

Build成功后，hive中建立了3+n个表，如图所示(3个官网案例hive表,n个build的hive表)

Build成功后，hbase中建立了1+n个表，如图所示(1个元数据表,n个build的hbase表)

<a href="http://http://:7070/kylin

You can check the log at

微信关注我们

原文链接：https://yq.aliyun.com/articles/578759

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

E-MapReduce的HBase集群使用Hue

E-MapReduce产品的emr-2.0.0以下的版本创建的HBase集群，实现Hue访问HBase步骤如下： 1. 启动HBase thrift(emr集群的master节点) >su -l hdfs -c '/opt/apps/hbase-1.1.1/bin/hbase thrift start >/dev/null 2>&1 &' 2.安装Hue(本地或者emr集群的master节点) 备注:对于emr-2.0.0版本的集群，Hue已经安装，忽略步骤2. 下面以在emr集群的master节点安装Hue为例 >cd /opt/apps 若已经有/opt/apps/hue，忽略下载 >wget http://emr-agent-pack.oss-cn-hangzhou.aliyuncs.

2016-06-28

678

引言 5W1H（WWWWWH）分析法也叫六何分析法，是一种思考方法，也可以说是一种创造技法。我们也对大数据问些问题，相信这也是很多中小企业面临的现实问题。大数据这个词也是从12年开始慢慢热起来的，经过4年的发展，如今，很多企业已经开始有自己的大数据平台，但是对于更多的企业是没有的。笔者也在成都的云栖大会分享了笔者的一些思考与总结，由于后续没有录像放出来，应一些朋友、同学、用户的要求，笔者直接文字写出来。文字都是笔者经过推敲写出来的，肯定要比现场讲的思路更加缜密。最后会涉及到怎么做，如果对前面没兴趣，可以直接拉到最后。大数据是什么? 这是一个很大的话题，大数据特点总结起来大约有5个，大量、高速、多样、价值、真实性。笔者也只能根据自己的看法，阐述一二。大量，根据中投顾问的数据，最近几年的数据增长为100%-200%左右，国内可使用的数据

2016-06-30

729

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。