0002-CENTOS7.2安装CDH5.10和Kudu1.2(二)
5 Kudu安装
CDH从5.10开始,打包集成Kudu1.2,并且Cloudera正式提供支持。这个版本开始Kudu的安装较之前要简单很多,省去了Impala_Kudu,安装完Kudu,Impala即可直接操作Kudu。
以下安装步骤基于用户使用Cloudera Manager来安装和部署Kudu1.2
5.1 安装csd文件
5.2 安装Kudu服务
3.检查http显示Kudu正常:
4.通过CM界面配置Kudu的Parcel地址,并下载,分发,激活Kudu。
5.通过CM安装Kudu1.2
添加Kudu服务
选择Master和Tablet Server
配置相应的目录,注:无论是Master还是Tablet根据实际情况数据目录(fs_data_dir)应该都可能有多个,以提高并发读写,从而提高Kudu性能
启动Kudu服务
安装完毕
5.3 配置Impala
在CDH5.10中,安装完Kudu1.2后,默认Impala即可直接操作Kudu进行SQL操作,但为了省去每次建表都需要在TBLPROPERTIES中添加kudu_master_addresses属性,建议在Impala的高级配置KuduMaster的地址:--kudu_master_hosts=ip-172-31-2-159:7051
6 快速组件服务验证
6.1 HDFS验证(mkdir+put+cat+get)
6.2 Hive验证
6.3 MapReduce验证
6.4 Impala验证
6.5 Spark验证
6.6 Kudu验证
“醉酒鞭名马,少年多浮夸! 岭南浣溪沙,呕吐酒肆下!挚友不肯放,数据玩的花!”

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
技术和商业的碰撞,谈阿里云与天猫双11这十年
2009年,发生了两件看似不起眼的事。 初春刚过,阿里云在北京一栋没有暖气的写字楼写下了飞天第一行代码。 同年11月11日,淘宝商城启动了一个叫做双11的促销活动。 谁也没想到,多年以后他们会是现在这模样。 前传 2007年淘宝的交易额突破了400亿,技术团队却喜忧参半:现有集中式架构已经捉襟见肘,该如何应对? 随即启动的分布式改造获得巨大成功,淘宝所有的业务都做了模块化。 尽管这次技术升级在现在看来存在诸多局限性:更多的是为了应对不断增多的图片缓存,在CDN端对海量的图片缓存做了一些限流操作。但就是这次改造成就了历史上第一个双11,2009年双11当天的流量达到了一个高峰,在旧的架构体系下,这几乎是一项不可能完成的任务。 一年后,飞天的第一个版本上线,仅有几十台机器的集群开始服务第一个内部客户——阿里金融。 这些探索让所有人看到了一个趋势:用分布
-
下一篇
Hadoop技术创新方案
如今有很多公司都在努力挖掘他们拥有的大量数据,包括结构化、非结构化、半结构化以及二进制数据等,来探索对数据的深入利用。大多数公司估计他们只分析了已有数据的12%,剩余88%还没有被充分利用。大量的数据孤岛和分析能力的缺乏是造成这种局面的主要原因。另外一个难题是如何判断数据是否有价值。尤其是在大数据时代,为了避免数据丢失你必须采集并存储这些数据。一些看起来与业务无关的数据,如手机GPS数据,将来也可能会有大用处。所以,大量公司都寄希望于使用Hadoop解决如下难题:采集并存储与公司业务职能相关的所有数据。支撑先进的分析功能,包括商业智能,采用现代方式对数据进行先进的可视化和预测性分析。将数据快速分享给所需之人。整合多个数据孤岛来解答以前根本没人提过,甚至是未知的复杂问题。Hadoop支持解决方案规模的快速、有效扩大,使不断增长的容量、速度以及多样的数据能够得到快速的处理。如今Hadoop的购买周期正处于上升阶段,因此在该领域催生了越来越多的厂商。尽管Hadoop是Apache的开源项目,任何人都可以免费下载,但大多数消费者还是倾向于采用厂商的打包方案。除了将所有的Hadoop组件打包并保...
相关文章
文章评论
共有0条评论来说两句吧...