部署HDFS HA的环境-低调大师

部署HDFS HA的环境

2017-11-11 566

===> 环境架构部署规划：

bigdata1 NameNode ResourceManager Zookeeper JournalNode failOverController

bigdata2 NameNode ResourceManager Zookeeper JournalNode failOverController

bigdata3 DataNode NodeManager Zookeeper

bigdata4 DataNode NodeManager

===> 准备环境：

（*）清除之前的配置

（*）安装JDK、修改/etc/hosts文件、关闭防火墙、免密码登录

###############################################################################

hdfs-site.xml

<!--nameservice 名子

此处必须与core-site文件中fs.defaultFS的值一致-->

<name>dfs.nameservices</name>

<value>mycluster</value>

</property>

<name>dfs.ha.namenodes.mycluster</name>

</property>

<name>dfs.namenode.rpc-address.mycluster.nn1</name>

<value>bigdata1:8020</value>

</property>

<name>dfs.namenode.rpc-address.mycluster.nn2</name>

<value>bigdata2:8020</value>

</property>

<name>dfs.namenode.http-address.mycluster.nn1</name>

<value>bigdata1:50070</value>

</property>

<name>dfs.namenode.http-address.mycluster.nn2</name>

<value>bigdata2:50070</value>

</property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://bigdata1:8485;bigdata2:8485/mycluster</value>

</property>

<name>dfs.client.failover.proxy.provider.mycluster</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>

</property>

<name>dfs.ha.fencing.methods</name>

<value>

sshfence

shell(/bin/true)

</value>

</property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

</property>

<name>dfs.ha.fencing.ssh.connect-timeout</name>

</property>

<name>dfs.journalnode.edits.dir</name>

<value>/data/journal</value>

</property>

<!--开启 NameNode 失败自动切换

这指定应将群集设置为自动故障转移。在你的core-site.xml文件中，添加：

<name> ha.zookeeper.quorum </name>

<value> bigdata1:2181,bigdata2:2181,bigdata3:2181 </value>

</property>-->

<name> dfs.ha.automatic-failover.enabled </name>

</property>

###############################################################################

core-site.xml

<name>hadoop.tmp.dir</name>

<value>/data/app/hadoop-2.7.1/tmp/</value>

</property>

<name>fs.defaultFS</name>

<value>hdfs://mycluster</value>

</property>

<name>ha.zookeeper.quorum</name>

<value>bigdata1,bigdata2,bigdata3</value>

</property>

###############################################################################

mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

###############################################################################

yarn-site.xml

<name>yarn.resourcemanager.ha.enabled</name>

</property>

<name>yarn.resourcemanager.cluster-id</name>

</property>

<name>yarn.resourcemanager.ha.rm-ids</name>

</property>

<name>yarn.resourcemanager.hostname.rm1</name>

<value>bigdata1</value>

</property>

<name>yarn.resourcemanager.hostname.rm2</name>

<value>bigdata2</value>

</property>

<name>yarn.resourcemanager.zk-address</name>

<value>bigdata1:2181,bigdata2:2181,bigdata3:2181</value>

</property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

###############################################################################

slaves

bigdata3

bigdata4

###############################################################################

===> 将配置好的安装文件拷贝到其它几台主机上

scp -r hadoop-2.7.1 bigdata2:/data/app

scp -r hadoop-2.7.1 bigdata3:/data/app

scp -r hadoop-2.7.1 bigdata4:/data/app

===> 启动journalnode:

hadoop-daemon.sh start journalnode

===> 格式化NameNode

注意，这里需要创建core-site.xml 文件中 hadoop.tmp.dir 所指定的目录，否则会报错，

此配置文件指定的目录为/data/app/hadoop-2.7.1/tmp/，因此需要先创建目录

mkdir /data/app/hadoop-2.7.1/tmp/

格式化NameNode

hdfs namenode -format

===> 将 tmp 目录下的 dfs 目录拷贝到 bigdata2 中相同的目录下

scp -r /data/app/hadoop-2.7.1/tmp/dfs bigdata2:/data/app/hadoop-2.7.1/tmp

===> 格式化 zookeeper(bigdata1):

需启动 zookeeper 才能执行成功，否则会提示：WARN zookeeper.ClientCnxn: Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect

java.net.ConnectException: 拒绝连接

zkServer.sh start (在 bigdata1,bigdata2,bigdata3上启动，即，zookeeper 集群所在的机器)

hdfs zkfc -formatZK

===> 至此，环境部署完毕，启动整个集群环境：

1. 启动 zookeeper(bigdata1,bigdata2,bigdata3)：

(若不先启动zookeeper，namenode会全部为standby 状态)

zkServer.sh start

2. 启动 hdfs 集群：

start-all.sh (在bigdata1上启动)

yarn-daemon.sh start resourcemanager (在 bigdata2 上启动)

===> 各主机执行 jps 状态：

##############################################################

[root@bigdata1 app]# jps

22224 JournalNode

22400 DFSZKFailoverController

22786 Jps

22019 NameNode

21405 QuorumPeerMain

22493 ResourceManager

##############################################################

[root@bigdata2 app]# jps

9408 QuorumPeerMain

9747 DFSZKFailoverController

9637 JournalNode

9929 Jps

9850 ResourceManager

9565 NameNode

##############################################################

[root@bigdata3 app]# jps

7664 DataNode

7531 QuorumPeerMain

7900 Jps

7775 NodeManager

##############################################################

[root@bigdata4 ~]# jps

7698 NodeManager

7587 DataNode

7823 Jps

##############################################################

测试：访问 50070 端口网页，其中有显示namenode 的状态信息（active/ standby）

可以kill 掉 activ 机器的 NameNode 进程，然后查看另一台 NameNode 的状态信息

本文转自菜鸟的征程 51CTO博客，原文链接:http://blog.51cto.com/songqinglong/2064665

微信关注我们

原文链接：https://yq.aliyun.com/articles/512622

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Spark 环境部署

==>Spark集群体系结构 ---> ==>Spark安装与部署 Spark的安装部署有四种模式：Standalone, YARN, Mesos, Amazon EC2,这里主要讲解Standalone方式 --->环境部署准备工作：（此处不作详细讲解） ----四台 Linux主机（虚拟机） ----修改主机名 ----免密码登陆 ----安装 JDK环境 --->Spark Standalone伪分布的部署 1 2 3 4 5 6 7 8 9 10 11 12 13 wget tarzxfspark - 2.2 . 1 - bin - hadoop2. 7.tgz - C / app cd / app / spark - 2.2 . 1 - bin - hadoop2. 7 / conf cpspark - env.sh.templatespark - env.sh cpslaves.templateslaves - - - - - - - - - - - - - - - - - - - - - - - - - - - - ...

2017-11-11

735

实战hadoop2.6.3+zookeeper3.4.6+hbase1.0.2高可用集群方案一、安装前准备 1.环境5台 2、修改hosts文件 [root@hadoop01 ~]# cat /etc/hosts 192.168.10.201hadoop01 192.168.10.202hadoop02 192.168.10.203hadoop03 192.168.10.204hadoop04 192.168.10.205hadoop05 3、ssh 免密码登录在每台操作 [root@hadoop01 ~]# mkidr ~/.ssh [root@hadoop01 ~]# chmod 700 ~/.ssh [root@hadoop01 ~]#cd ~/.ssh/ [root@hadoop01 .ssh ]ssh-keygen -t rsa 五台操作完成后做成公钥文件 [root@hadoop01 .ssh ] ssh hadoop02 cat /root/.ssh/id_rsa.pub >> authorized_keys [root@hadoop01 .ssh ] ...

2017-11-11

607

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。