好程序员大数据教程Hadoop全分布安装(非HA)
机器名称 启动服务
linux11 namenode secondrynamenode datanode
linux12 datanode
linux13 datanode
第一步:更改主机名,临时修改+永久修改
临时修改:hostname linux11
永久修改: vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=linux11
临时修改:hostname linux12
永久修改: vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=linux11
临时修改:hostname linux13
永久修改: vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=linux13
第二步:配置ip地址
1.三台机器关闭NetworkManager服务 service NetworkManager stop
2.三台机器禁止开机启动NetworkManager服务 chkconfig NetworkManager off
3. vi /etc/sysconfig/network-scripts/ifcfg-eth0
三台机器依次配置成这样
linux11:
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.91.11
DNS1=8.8.8.8
GATEWAY=192.168.91.1
NETMASK=255.255.255.0
linux12:
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.91.12
DNS1=8.8.8.8
GATEWAY=192.168.91.1
NETMASK=255.255.255.0
linux13:
ONBOOT=yes
BOOTPROTO=static
IPADDR=192.168.91.13
DNS1=8.8.8.8
GATEWAY=192.168.91.1
NETMASK=255.255.255.0
最终结果:
192.168.91.11 linux11
192.168.91.12 linux12
192.168.91.13 linux13
3.三台机器关闭防火墙 service iptables stop
4.三台机器设置禁止开机启动防火墙 chkconfig iptables off
5.三台机器关闭防火墙 service iptables status
显示iptables: Firewall is not running.说明防火墙关闭成功
6.三台机器重启网卡service network restart
第三步配置主机映射
使用命令:vi /etc/hosts
三台机器都改成这样
192.168.91.11 linux11
192.168.91.12 linux12
192.168.91.13 linux13
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
测试:
在linux11上 ping linux12 ping linux13
第四步配置免密码登录
linux11:
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
linux12:
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
linux13:
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
在linux11上
ssh-copy-id linux12
ssh-copy-id linux13
测试:测试结果为linux11可以免密码登录到所有机器。linux12 linux13可以免密码登录本机
例如:在linux11上输入 ssh linux11
第五步安装jdk及hadoop(由于使用root用户操作,为了防止对liunx操作不熟悉的人,误删其他文件。所以没有选择把软件安装在/usr下,而是选择安装在了自己创建的文件目录下)
linux11:
1.在根目录下创建bigdata目录 mkdir /bigdata
2.将hadoop安装包 tar -zxvf /bigdata/hadoop-2.7.1.tar.gz -C /bigdata/
删除hadoop安装包 rm -rf /bigdata/hadoop-2.7.1.tar.gz
3.jdk安装包解压 tar -zxvf /bigdata/jdk-8u151-linux-x64.gz -C /bigdata/
删除jdk安装包 rm -rf /bigdata/jdk-8u151-linux-x64.gz
修改jdk目录的名字为jdk1.8 mv /bigdata/jdk1.8.0_151/ /bigdata/jdk1.8
4.配置环境变量 vi /etc/profile
在文件末尾加入如下配置
export JAVA_HOME=/bigdata/jdk1.8
export HADOOP_HOME=/bigdata/hadoop-2.7.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:
第六步:hadoop的配置
1.hadoop-env.sh的配置
使用命令 vi /bigdata/hadoop-2.7.1/etc/hadoop/hadoop-env.sh
第25行export JAVA_HOME=改成下面的样子
export JAVA_HOME=/bigdata/jdk1.8
2.core-site.xml 的配置
使用命令 vi /bigdata/hadoop-2.7.1/etc/hadoop/core-site.xml
配置成这样:
3
.hdfs-site.xml的配置
使用命令 vi /bigdata/hadoop-2.7.1/etc/hadoop/hdfs-site.xml
配置成这样:
4.slaves文件配置
使用命令 vi /bigdata/hadoop-2.7.1/etc/hadoop/slaves
配置成这样
linux11
linux12
linux13
第七步:远程拷贝
1.将bigdata文件分发给linux12 linux13
scp -r /bigdata linux12:/
scp -r /bigdata linux13:/
2.将/etc/profile文件分发给linux12 linux13
scp /etc/profile linux12:/etc
scp /etc/profile linux13:/etc
3.三台机器刷新环境变量 source /etc/profile
第八步:格式化namenode
在namenode节点linux11上输入命令 hdfs namenode -format
格式化完成后在linux11上启动集群 start-dfs.sh
第九步:验证集群是否启动成功
1.在浏览器上输入192.168.91.11:50070如果页面能打开显示有3个活跃节点说明成功
2.linux11上输入jps 能看到namenode secondrynamenode datanode三个服务
3.linux12上输入jps 能看到datanode
4.linux12上输入jps 能看到datanode
5.上传个文件至集群hdfs dfs -put /bigdata/jdk1.8 /
6.查看web页面是否存在这个文件
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Hbase基础使用与云Hbase2.0体验
又到金三银四的季节,相信各位都已经找到适合自己的工作了~当然我也悄悄告诉你我也找到了,去到更广阔的平台 今年开始决定正式进入大数据领域工作,从事大数据方向方面的开发。因为之前我一直在游戏公司,所以我选择领域是游戏行业的大数据解决方案。目前我的工作主要是负责建立一套游戏大数据运营系统,包括一套完善的游戏数据采集,计算,落地的系统。通过开发一套游戏大数据运营系统提供给我们的游戏运营大佬们。 通过整合海量数据处理、敏捷BI、智能算法等平台能力,提高游戏日志等数据向业务价值转化的效率及智能化水平。 以前游戏大部分处理游戏日志都是把原始数据通过游戏服保存至Mysql,然后GM后台通过一定的定时逻辑运行定时统计,统计后的数据存入Mysql结果库。随着数据量的不断增长,MySQL传统关系型数据库并不能满足日益增长的数据需求。作为数据仓库需要解决高可用,分布式,存储大量数据的数据库。Hbase就是不错的选择。同时传统的数据统计计算交由Mysql的统计语句对数据进行汇总统计,加剧数据库负担,并且对实际生产环境产生一定的影响。Mysql是一款数据存储引擎,并不适合做大量的数据汇总与计算。计算应该交由专业的...
- 下一篇
Flink+HBase场景化解决方案
在中国HBase技术社区第十届Meetup杭州站上,阿里巴巴高级产品工程师高旸为大家分享了实时计算技术相关的发展背景,并介绍了基于Flink+HBase的实时计算场景化解决方案,并对于在线教育、城市大脑、实时风控等典型的实时计算方案应用场景进行了介绍。 演讲嘉宾简介:高旸(花名:吾与),阿里云计算平台事业部实时计算高级产品专家。 以下内容根据演讲视频以及PPT整理而成。 阿里云实时计算团队一直都在思考一个问题,那就是“如今,在客户所面对的实时计算场景越来越复杂的情况之下,单一的产品是否能够解决客户的所有需求?”因此,也就有了本次分享的主题,也就是Flink+HBase所提供实时计算场景解决方案。 实时计算市场竞争分析——传统厂商在实时计算的市场中,IBM以及Oracle等传统IT厂商布局和起步比较早,因此其所能够提供的场景也就非常丰富,无
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS6,CentOS7官方镜像安装Oracle11G
- MySQL8.0.19开启GTID主从同步CentOS8
- Docker安装Oracle12C,快速搭建Oracle学习环境