批量部署Hadoop集群环境(1)
批量部署Hadoop集群环境(1)
1. 项目简介:
- 前言:云火的一塌糊涂,加上自大二就跟随一位教授做大数据项目,所以很早就产生了兴趣,随着知识的积累,虚拟机已经不能满足了,这次在服务器上以生产环境来部署Hadoop。已经搭建完毕,分享出来供大家参考。
- 问题:看到Hadoop部署在一些资料上很是繁琐,一些简单的部署方法只是玩具,无法满足企业的部署条件,如果一台台服务器去部署,显然是不可行。
- 解决:在学习及其他资料后,准备以《Apache Hadoop Yarn: Moving Beyond Mapreduce and Batch Processing with Apache Hadoop 2》为依据,其他资料辅助。
- 注意:《Apache Hadoop Yarn: Moving Beyond Mapreduce and Batch Processing with Apache Hadoop 2》这本书有一处错误。
- P53 原版“nm_host” 应改正为“nn_host”
- 这么小的错误,影响是巨大的,我也是在实践本书内容时候,发现的错误,它会导致namenode不存在,而影响服务器节点无法启动。
2. 项目环境
- 阿里云服务器ESC (4台)
- Centos 7
- Hadoop-YARN(2.7.1)
- java version “1.8.0_72”
- pdsh version “2.31”(批处理主要工具)
- Xmanager Enterprise 5(使用xshell来连接服务器)
3. 服务器分配情况
集群节点名字 | 对应字段 | 主机编号 | 主机内网IP | hostname |
---|---|---|---|---|
HDFS NameNode | nn_host | 00 | 10.251.20.244 | iZ28z9sbsgjZ |
YARN ResourceManager | rm_host | 00 | 10.251.20.244 | iZ28z9sbsgjZ |
HDFS SecondaryNameNode | snn_host | 01 | 10.45.202.245 | iZ28fm2wvrwZ |
MapReduce | mr_history_host | 02 | 10.144.27.164 | iZ28n1kabs3Z |
YARN网页代理服务器 | yarn_proxy_host | 03 | 10.163.97.250 | iZ28bwz7umxZ |
YARN NodeManager | nm_hosts | 01、02、03 | 10.45.202.245 10.144.27.164 10.163.97.250 | iZ28fm2wvrwZ iZ28n1kabs3Z iZ28bwz7umxZ |
HDFS DataNode | dn_hosts | 01、02、03 | 10.45.202.245 10.144.27.164 10.163.97.250 | iZ28fm2wvrwZ iZ28n1kabs3Z iZ28bwz7umxZ |
4. 项目目标
- 实现批量部署Hadoop集群环境
5. 项目目录
- 批量部署Hadoop集群环境,ESC服务器提前要准备的工作 —— 批量部署Hadoop集群环境(1)
- 批量部署Hadoop集群环境,搭建Hadoop环境 —— 批量部署Hadoop集群环境(2)
- 批量部署Hadoop集群环境,测试用例 —— 批量部署Hadoop集群环境(3)
6. 一键批量部署Hadoop环境,ESC服务器提前要准备的工作
7. 实现多台ESC内网连接
送上官方教程,图文声茂
阿里云机房内网情况简介
通过安全组实现不同账号下相同地域ECS内网互通
8. 实现无密匙登录
有点小繁琐,但是原理很简单:
8.1每台机器需要生成密匙
生成密匙对
ssh-keygen -t rsa
8.2复制密匙到远程机器(固定机器/本机)
ssh-copy-id -i ~/.ssh/id_rsa.pub 10.x.x.x
- 解析:
ssh-keygen -t rsa
中,-t是type,模式是rsassh-copy-id -i ~/.ssh/id_rsa.pub 10.x.x.x
中,将本机id_rsa.pub复制到远程机器(如内网IP为10.x.x.x,替换为自己的一台固定服务器,这样,依次弄完后,这台“固定机器上边就有了所有机器的密匙”)
9. 修改host
目的是为了使用hostname可以ping通。
写入内网IP和hostname
vim /etc/hosts 10.251.20.244 iZ28z9sbsgjZ 10.45.202.245 iZ28fm2wvrwZ 10.144.27.164 iZ28n1kabs3Z 10.163.97.250 iZ28bwz7umxZ
10. 实现pdsh访问
这次是以“固定机器”依次访问其他服务器(包括自己),如
访问自己
ssh iZ28z9sbsgjZ
访问完毕后,此时在~/.ssh生成known_hosts就包含了所有服务器
[root@iZ28z9sbsgjZ ~]# cd ~/.ssh [root@iZ28z9sbsgjZ .ssh]# ls authorized_keys id_rsa id_rsa.pub known_hosts
11. 开始批处理作业,以后的所有步骤很依赖pdsh,只要是批处理!
在opt文件下做如下操作(opt文件夹或者别的,建议默认,整篇教程都是这个路径)
11.1 创建all_hosts
cd /opt vim all_hosts
#写入自己服务器hostname如: iZ28bwz7umxZ iZ28fm2wvrwZ iZ28n1kabs3Z iZ28z9sbsgjZ
11.2 批量复制固定机器(本机)的authorized_keys 和 known_hosts,到全部集群
pdcp -w ^all_hosts ~/.ssh/authorized_keys ~/.ssh/ pdcp -w ^all_hosts ~/.ssh/known_hosts ~/.ssh/
12. 准备完毕,进入下一步 批量部署Hadoop集群环境(2)
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
2016 大数据版图
原文是 FirstMark Capital 的 Matt Turck 的文章。本文全面总结了大数据领域的发展态势,分析认为尽管大数据作为一个术语似乎已经过气,但是大数据分析与应用才刚刚开始兴起,在与 AI、人工智能等新兴技术的结合下,大数据的机会也许要比大家想象的还要大。 在喜新厌旧的技术初创企业界,已有 3年 历史 “大数据” 听起来似乎已经过气了。虽然 Hadoop 在 2006年 已经出来,但 “大数据” 这个概念大概是在 2011 到 2014年 左右才真正火起来的。也就是在这段时间里,至少是在媒体或者专家眼里,“大数据” 成为了新的 “金子” 或者 “石油”。然而,至少在我跟业界人士交谈中,大家越来越感觉到这项技术已经在某种程度上陷入了停滞。2015年 可能是数据领域的那些酷小子转移兴趣,开始沉迷于 AI 以及机器智能、深度学习等许多相关概念的年份。 抛开不可避免的炒作周期曲线态势不管,我们的 “大数据版图” 已经进入第 4 个年头了,趁这个时候退一步来反思一下去年发生了什么,思考一下这个行业的未来会怎样是很有意义的。 那么 2016年 大数据到底还算不算个 “东西” 呢?我...
- 下一篇
Hive 1.2.1&Spark&Sqoop安装指南
Hive 1.2.1&Spark&Sqoop安装指南.pdf 目录 目录 1 1.前言 1 2.约定 2 3.服务端口 2 4.安装MySQL 2 4.1.安装MySQL 2 4.2.创建Hive元数据库 4 5.安装步骤 5 5.1.下载Hive1.2.1二进制安装包 5 5.2.安装Hive 5 5.3.安装MySQL-Connector 5 5.4.修改配置 5 5.4.1.修改/etc/profile或~/.profile 5 5.4.2.修改其它配置文件 5 5.4.2.1.修改hive-env.sh 6 5.4.2.2.修改hive-site.xml 6 5.4.2.3.修改hive-log4j.properties 7 5.4.2.4.修改hive-exec-log4j.properties 7 6.启动运行 7 7.远程执行HSQL 8 8.基本命令 8 9.单点方案 9 10.和Spark集成 9 11.和Sqoop集成 9 11.1.修改sqoop-env.sh 9 11.2.修改sqoop-site.xml 10 11.3.复制hadoop的jar...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- CentOS8安装Docker,最新的服务器搭配容器使用
- CentOS7安装Docker,走上虚拟化容器引擎之路
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- Docker安装Oracle12C,快速搭建Oracle学习环境
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果