VM+CentOS+hadoop2.7搭建hadoop完全分布式集群

2016-07-24 692

写在前边的话：

最近找了一个云计算开发的工作，本以为来了会直接做一些敲代码，处理数据的活，没想到师父给了我一个课题“基于质量数据的大数据分析”，那么问题来了首先要做的就是搭建这样一个平台，毫无疑问，底层采用hadoop集群，在此之上，进行一些其他组件的安装和二次开发

hadoop伪分布部署参考：点击打开链接

hadoop单机版部署参考：点击打开链接

zookeeper,hive,hbase的分布式部署参考：点击链接

Spark，Sqoop，Mahout的分布式部署参考：点击链接

hadop高可用部署：点击连接

一：安装VM 12.x

下载地址：链接：http://pan.baidu.com/s/1c2KA3gW密码：3r67

二：安装CentOS6.5

这里采用3台机器，其对应的IP和主机分别如下（他们的用户名都是master）

主机名	ip	对应的角色
master1	192.168.48.130	NameNode
slave1	192.168.48.131	Datanode1
slave2	192.168.48.132	Datanode2

这里我们可以采用安装一台虚拟机，然后进行克隆的方法，克隆出五台机器，然后修改对应的ip地址和用户名，VM安装虚拟机有三种网络连接方式，分别是桥接，NAT，仅主机模式，这里采用默认设置，即使用NAT，NAT模式下实用的是Vmnet8

修改IP地址：

1：查看本机ip

我的电脑ip地址为：192.168.69.30

Vmnet8的ipv4地址为：192.168.48.1

2：确定虚拟机IP地址范围和网关地址，下图红线标示

3：打开虚拟机终端

输入：sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0

修改后的信息如下，需要修改的地方有红线标示出来了：

eth0--->eth1

dhcp--->static

HWADDR MAC地址修改为本虚拟机的mac地址，mac地址查看 ip addr，选择eth1那个

之后便可以使用ifconfig查看ip了

修改主机名和对应IP：

1：编辑hosts文件

sudo vim /etc/hosts

清空内容，添加 192.168.48.129 master （这里不要清空hosts文件，具体看评论）

2：便捷network文件

sudo vim /etc/sysconfig/network

修改HOSTNAME为master

重启生效

三：安装hadoop集群

0：每台机器上关闭防火墙和selinux

永久关闭防火墙：chkconfig --level 35 iptables off

永久关闭selinux：

vim /etc/selinux/config

找到SELINUX 行修改成为：SELINUX=disabled:

1：每台机器上安装java环境（ jdk-7u51-linux-x64.tar）

解压到指定目录，这里我选择的是/opt

tar -zxvf jdk-7u51-linux-x64.tar /opt

修改文件夹名字为java

mv /opt/jdk1.7.0_51 /opt/java

配置环境变量，打开/etc/profile文件，加入java的路径

vim /etc/profile (如果没有权限可以前边加入sudo)

文件前边写上：

export JAVA_HOME=/opt/java
export CLASSPATH=.:%JAVA_HOME%/lib/dt.jar:%JAVA_HOME%/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

2：配置每台机器的主机名

清空每台机器上的/etc/hosts文件内容，添加如下：

192.168.48.130 master1
192.168.48.131 slave1
192.168.48.132 slave2

执行完之后source/etc/hosts

同时修改每台机器上的/etc/sysconfig/network 中hostname对应的用户名（此步骤一定要注意，否则容易找不到主机名）

3：给master用户增加sudo权限

1）切换到root用户，su 输入密码

2）给sudoers增加写权限：chmod u+w /etc/sudoers

3）编译sudoers文件：vim /etc/sudoers
在root ALL=(ALL) ALL下方增加 master ALL=(ALL)NOPASSWD:ALL
4）去掉sudoers文件的写权限：chmod u-w /etc/sudoers

4：每台机器都切换到master用户下

su master

5：配置SSH免密码登录

进入~/.ssh目录

每台机器执行：ssh-keygen -t rsa，一路回车

生成两个文件，一个私钥，一个公钥，在master1中执行：cp id_rsa.pub authorized_keys

a：本机无密钥登录

修改authorized_keys权限：chmod 644 authorized_keys

此时重启ssh服务：sudo service sshd restart

ssh master1

yes!!!

b：master与其他节点无密钥登录

从master中把authorized_keys分发到各个结点上(会提示输入密码，输入thinkgamer即可)：

scp /home/master/.ssh/authorized_keys slave1:/home/master/.ssh

scp /home/master/.ssh/authorized_keys slave2:/home/master/.ssh

然后在各个节点对authorized_keys执行(一定要执行该步，否则会报错)：chmod 644 authorized_keys

测试如下（第一次ssh时会提示输入yes/no，输入yes即可）：

6：解压hadoop到指定目录（我这里使用的是/opt/目录）

tar -zxvf hadoop-2.7.0.tar.gz /opt/hadoop-2.7.0

重命名文件：mv /opt/hadoop-2.7.0 /opt/hadoop

7：修改配置文件

hadoop-env.sh：

       export JAVA_HOME=/opt/java

core-site.xml：

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://master1:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/hadoop/tmp</value>
  </property>
</configuration>

hdfs-site.xml：

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>2</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/opt/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/opt/hadoop/dfs/data</value>
  </property>
</configuration>

mapred-site.xml：

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>Master:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>Master:19888</value>
  </property>
</configuration>

yarn-site.xml：

<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>master1:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master1:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master1:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>master1:8033</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master1:8088</value>
  </property>
</configuration>

8：编辑slaves文件

清空加入从节点的名字

slave1

slave2

9：将hadoop分发到各个节点（因为权限问题，先将该文件夹分发到各个节点的/home/master目录下，再进入各个节点将文件夹移到/opt下）

scp -r /opt/hadoop slave1:/home/master/hadoop ,进入该节点执行：sudo mv hadoop /opt/

scp -r /opt/hadoop slave2:/home/master/hadoop ,进入该节点执行：sudo mv hadoop /opt/

10：在master节点格式化hdfs

bin/hdfs namenode -format

看见status 0表示安装成功

四：web页面查看

1：http://192.168.48.130:8088/

2：http://192.168.48.130:50070/

五：问题记录

1：linux文件夹权限

eg：

第一列共有十位
第一位，d：表示是一个目录，-：表示一个普通的文件
第2-4位：rwx：分别表示读，写，执行，这里显示为rwx表示文件所有者对该文件拥有读写执行的权利（补充一点，rwx用数字表示为4,2,1）
第5-7位：r-x：表示与该文件所有者的同组用户拥有该文件的读和执行的权限
第8-10位：r-x：表示其他组的用户对该文件拥有读和执行的权利

2：linux基本命令

查看用户所属用户组 id hostname / groups hostname

vim命令：查找：/xxxx

清空： gg dG

参考： http://www.cnblogs.com/laov/p/3421479.html

http://www.aboutyun.com/thread-7781-1-1.html

http://blog.sina.com.cn/s/blog_821d83720102vkx5.html

http://www.aboutyun.com/thread-10572-1-1.html(HA配置)

微信关注我们

原文链接：https://yq.aliyun.com/articles/413067

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

海量数据计算应该如何选择数据库

背景随着大数据的应用越来越广泛，应用的行业也越来越低，我们每天都可以看到大数据的一些新奇的应用，从而帮助人们从中获取到真正有用的价值。在阿里云的云数据库RDS版中，提供了大数据计算服务(MaxCompute，原名ODPS)，它是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。通过数据集成服务，可将 RDS 数据导入 MaxCompute，实现大规模的数据计算。下面以 MaxCompute 和 RDS 搭配为例介绍大数据应用计算方案。前提需开通MaxCompute 服务，并完成项目设置。需开通数据集成服务操作步骤 1. 登录RDS 管理控制台，选择目标实例。 2. 在 RDS 实例上增加数据集成的白名单。 3.登录MaxCompute 管理控制台，创建 MaxCompute 数据表。 4. 登录数据集成管理控制台，设置 RDS 源库和 MaxCompute 目标库信息。 5 设置数据集成同步字段。 6. 设置数据集...

2016-07-24

716

阿里云E-Mapreduce动态 E-Mapreduce团队 1.4版本（已经发布）作业运行失败报警作业并行提交添加sqoop、shell类型的作业 1.4.1版本（正在研发）完善失败报警完善定时任务，增加小时、分钟定时任务 1.5.0版本（正在研发）集群整体运行情况的仪表盘集群状态监控报警 1.5.0版本交互式查询（支持hive、spark）资讯中国大数据发展10大趋势5大挑战中国大数据发展10大趋势5大挑战，如：大数据的首席数据官开始崛起、可视化推动大数据平民化、智能化嵌入、机器学习迎来上扬态势、开源应用加速等10大趋势及相应的挑战。数据在工业的崛起将重塑整个商业社会，你信吗？无论是德国的工业4.0，还是美国的工业互联网，或是我国的中国制造2025，都离不开大数据，可以说，大数据在工业的崛起将重塑整个商业社会，其影响力甚至不是互联网所

2016-07-25

611

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。