基于Cloudera Manager 5和CDH5(版本5.3.3)的Hadoop集群安装-低调大师

基于Cloudera Manager 5和CDH5(版本5.3.3)的Hadoop集群安装

2017-11-28 547

一、Cloudera Manager/CDH5

1、关于cloudera manager和CDH是什么，这里不做详细介绍了。有官网和百科介绍。

附上官网地址：cloudera manager

2、官网的安装指南

官方文档提供了三种安装方式：在线自动安装/手动安装包安装/手动使用cloudera manager管理安装

此处使用第三种方式安装hadoop集群。

二、环境规划

1、系统：CentOS 6.4_x86

master：4G内存，硬盘尽量大容量

slave1：2G内存，硬盘尽量大容量

slave2：2G内存，硬盘尽量大容量

2、Cloudera Manager 5.3.3

3、CDH 5.3.3

安装包下载：

Cloudera Manager 5.3.3：http://archive-primary.cloudera.com/cm5/cm/5/
CDH 5.5.5：http://archive-primary.cloudera.com/cdh5/parcels/5.3.3/

下载软件包：

三、系统环境准备工作

此次执行权限均为root用户
所有的机器都必须ssh互信模式
修改主机名使用hosts文件或者DNS服务器
关闭iptables和selinux
卸载系统自带的openjdk,安装oracle的jdk
master节点安装mysql
所有节点的时间必须同步(ntp服务器或其他方法)
修改所有节点的内核参数

i. echo 0 > /proc/sys/vm/swappiness

ii.echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag

四、正式开始安装

1、cloudera manager默认的目录是在/opt下，解压到/opt目录下。

 
        # tar xf cloudera-manager-el6-cm5.3.3_x86_64.tar.gz -C /opt/
       
        # ls /opt/
       
        cloudera  cm
        -
        5.3
        .
        3 
       
        #
       
        # 安装mysql-connector-java
       
        # yum -y install mysql-connector-java

2、初始化数据库

 
        # /opt/cm-5.3.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm
       
        # mysql -uroot -p123456 -e "show databases;"    查看下cm数据库是否创建成功

3、复制数据到其他节点

 
        # 修改配置文件server_host为master节点的主机名
       
        # grep server_host /opt/cm-5.3.3/etc/cloudera-scm-agent/config.ini
       
        server_host
        =
        master 
       
        # scp -rp /opt/cm-5.3.3 slave1:/opt/
       
        # scp -rp /opt/cm-5.3.3 slave2:/opt/
       
        #
       
        # 每个节点创建系统用户
       
        # useradd --system --home=/opt/cm-5.3.3/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "cloudera scm user" cloudera-scm

4、数据库的配置

 
        # hive
       
        # create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
       
        # active monitor
       
        # create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
       
        # 授权master主机
       
        # grant all on *.* to 'root'@'master' identified by 'PASSWD';

5、准备parcels安装包到/opt/cloudera/parcel-repo/

 
        # ls /opt/cloudera/parcel-repo/
       
        CDH
        -
        5.3
        .
        3
        -
        1.cdh5
        .
        3.3
        .p0.
        5
        -
        el6.parcel  CDH
        -
        5.3
        .
        3
        -
        1.cdh5
        .
        3.3
        .p0.
        5
        -
        el6.parcel.sha  manifest.json 
       
        # 注意：CDH-5.3.3-1.cdh5.3.3.p0.5-el6.parcel.sha下载后的文件重命名的
       
        #
       
        # 启动master节点的server和agent脚本
       
        # /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start
       
        # /opt/cm-5.3.3/etc/init.d/cloudera-scm-server start
       
        # server端口启动较慢
       
        #
       
        # 启动其他所有节点的agent脚本
       
        # /opt/cm-5.3.3/etc/init.d/cloudera-scm-agent start

五、CDH 5安装配置

1、访问http://master-ip:7180端口开始安装

登陆名:admin 密码:admin

2、选择一个版本进行安装，此处选择第一个免费版。然后下一步-->下一步

3、选中所有主机：

4、如果配置正确，会出现如下界面

5、然后继续下一步,由于我们已经下载了离线包，所以下载是很快就能完成的

6、主机检测，检测主机是否符合安装要求，符合要求后会全部通过，否则请按照要求设置

7、然后选择需要安装的软件包，可以全选或自定义，也可以选择集成了某一个组件功能的软件包来安装

8、角色分配，此处默认，可以按需调整

9、数据库测试:

10、审核更改参数，可以使用默认，也可以按需更改

11、启动正常的安装配置了，等待安装完成后再次访问主页即可。

12、完成后的登陆界面

由于主机性能较低，数据延迟很大，查询经常无法显示。而且由于此处的磁盘空间不足，所以有很多警告信息。到此安装已全部完成。

六、其他问题说明

oozie的web界面的开启：

cloudera的文档中有说明配置oozie：

安装这个操作即可：

 
        # mv ext-2.2.zip /var/lib/oozie/
       
        # cd /var/lib/oozie
       
        # unzip ext-2.2.zip

刷新界面：

hadoop2.x版本更新了一些新功能，支持HDFS的高可用等。cloudera manager管理界面可以直接操作等这一系列的功能，还是很方便的。

在集群里的HDFS界面的右上角有操作选项栏：

点击后根据提示就能正常的配置了。管理界面添加移除集群中的主机也是非常方便的，具体的操作就不一一演示了。

七、Hadoop测试程序

 
        # 计算pi值
       
        # sudo -u hdfs hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar pi 10 100
       
        ...
       
        Job Finished 
        in 
        126.439 
        seconds 
       
        Estimated value of Pi 
        is 
        3.14800000000000000000 
       
        # 可以看到执行结果

可以在YARN的web界面看到详细job的信息

还有很多测试程序可以运行测试。这里就不一一演示了。

另外，这种安装方式虽然快捷方便，但是不利于对整体的理解，建议还是使用下载安装包的方式安装，配置文件等都是需要手动编写的，对于理解比较深刻。

本文转自Mr_陈 51CTO博客，原文链接：http://blog.51cto.com/chenpipi/1640255，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/478214

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

MongoDB分布式存储的MapReduce并行查询

今天要介绍的是如何使用MONGODB中提供的MapReduce功能进行查询。今天介绍如何基于sharding机制进行mapreduce查询。在MongoDB的官方文档中，这么一句话： Sharded Environments In sharded environments, data processing of map/reduce operations runs in parallel on all shards. 即: map/reduce操作会并行运行在所有的shards上。下面我们就用之前这篇文章中白搭建的环境来构造mapreduce查询：首先要说的是，基于sharding的mapreduce与非sharding的数据在返回结构上有一些区别，我目前注意到的主要是不支持定制式的json格式的返回数据，也就是下面方式可能会出现问题： return { count : total }; 注意：上面的情况目前出现在了我的测试环境下，如下图：就需要改成 return count; 下面是测试代码，首先是按帖子id来查询相应数量(基于分组查询实例方式)： Code highli...

2017-11-29

632

达观数据文辉近十年来，随着Hadoop生态系统的不断完善，Hadoop早已成为大数据事实上的行业标准之一。面对当今互联网产生的巨大的TB甚至PB级原始数据，利用基于Hadoop的数据仓库解决方案Hive早已是Hadoop的热点应用之一。达观数据团队长期致力于研究和积累Hadoop系统的技术和经验，并构建起了分布式存储、分析、挖掘以及应用的整套大数据处理平台。本文将从Hive的原理、架构及优化等方面来分享Hive的一些心得和使用经验，希望对大家有所收货。（达观数据文辉） &amp;lt;img src=&quot;https://pic4.zhimg.com/d980a053722fc9aa035e1faff78f82ef_b.png&quot; data-rawwidth=&quot;600&quot; data-rawheight=&quot;400&quot; class=&quot;origin_image zh-lightbox-thumb&am...

2017-11-29

727

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。