0002-CENTOS7.2安装CDH5.10和Kudu1.2(二)

2018-11-12 638

5 Kudu安装

CDH从5.10开始，打包集成Kudu1.2，并且Cloudera正式提供支持。这个版本开始Kudu的安装较之前要简单很多，省去了Impala_Kudu，安装完Kudu，Impala即可直接操作Kudu。

以下安装步骤基于用户使用Cloudera Manager来安装和部署Kudu1.2

5.1 安装csd文件

5.2 安装Kudu服务

3.检查http显示Kudu正常：

4.通过CM界面配置Kudu的Parcel地址，并下载，分发，激活Kudu。

5.通过CM安装Kudu1.2

添加Kudu服务

选择Master和Tablet Server

配置相应的目录，注：无论是Master还是Tablet根据实际情况数据目录(fs_data_dir)应该都可能有多个，以提高并发读写，从而提高Kudu性能

启动Kudu服务

安装完毕

5.3 配置Impala

在CDH5.10中，安装完Kudu1.2后，默认Impala即可直接操作Kudu进行SQL操作，但为了省去每次建表都需要在TBLPROPERTIES中添加kudu_master_addresses属性，建议在Impala的高级配置KuduMaster的地址：--kudu_master_hosts=ip-172-31-2-159:7051

6 快速组件服务验证

6.1 HDFS验证(mkdir+put+cat+get)

6.2 Hive验证

6.3 MapReduce验证

6.4 Impala验证

6.5 Spark验证

6.6 Kudu验证

“醉酒鞭名马，少年多浮夸！岭南浣溪沙，呕吐酒肆下！挚友不肯放，数据玩的花！”

微信关注我们

原文链接：https://yq.aliyun.com/articles/668104

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

技术和商业的碰撞，谈阿里云与天猫双11这十年

2009年，发生了两件看似不起眼的事。初春刚过，阿里云在北京一栋没有暖气的写字楼写下了飞天第一行代码。同年11月11日，淘宝商城启动了一个叫做双11的促销活动。谁也没想到，多年以后他们会是现在这模样。前传 2007年淘宝的交易额突破了400亿，技术团队却喜忧参半：现有集中式架构已经捉襟见肘，该如何应对？随即启动的分布式改造获得巨大成功，淘宝所有的业务都做了模块化。尽管这次技术升级在现在看来存在诸多局限性：更多的是为了应对不断增多的图片缓存，在CDN端对海量的图片缓存做了一些限流操作。但就是这次改造成就了历史上第一个双11，2009年双11当天的流量达到了一个高峰，在旧的架构体系下，这几乎是一项不可能完成的任务。一年后，飞天的第一个版本上线，仅有几十台机器的集群开始服务第一个内部客户——阿里金融。这些探索让所有人看到了一个趋势：用分布

2018-11-12

558

如今有很多公司都在努力挖掘他们拥有的大量数据，包括结构化、非结构化、半结构化以及二进制数据等，来探索对数据的深入利用。大多数公司估计他们只分析了已有数据的12%，剩余88%还没有被充分利用。大量的数据孤岛和分析能力的缺乏是造成这种局面的主要原因。另外一个难题是如何判断数据是否有价值。尤其是在大数据时代，为了避免数据丢失你必须采集并存储这些数据。一些看起来与业务无关的数据，如手机GPS数据，将来也可能会有大用处。所以，大量公司都寄希望于使用Hadoop解决如下难题：采集并存储与公司业务职能相关的所有数据。支撑先进的分析功能，包括商业智能，采用现代方式对数据进行先进的可视化和预测性分析。将数据快速分享给所需之人。整合多个数据孤岛来解答以前根本没人提过，甚至是未知的复杂问题。Hadoop支持解决方案规模的快速、有效扩大，使不断增长的容量、速度以及多样的数据能够得到快速的处理。如今Hadoop的购买周期正处于上升阶段，因此在该领域催生了越来越多的厂商。尽管Hadoop是Apache的开源项目，任何人都可以免费下载，但大多数消费者还是倾向于采用厂商的打包方案。除了将所有的Hadoop组件打包并保...

2018-11-13

503

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。