手动安装hadoop集群-低调大师

手动安装hadoop集群

2017-11-26 474

官网手册：

http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_design.html

主机信息

主机名 ip

hadoop1 10.0.70.242

hadoop2 10.0.70.243

hadoop3 10.0.70.230

hadoop4 10.0.70.231

一．设置主机名映射

# vim /etc/hosts

127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4

::1 localhost localhost.localdomain localhost6 localhost6.localdomain6

10.0.70.242 hadoop1

10.0.70.243 hadoop2

10.0.70.230 hadoop3

10.0.70.231 hadoop4

并拷贝到其他3台机器。

二．配置免密码登录

# cd /root/.ssh/

# ssh-keygen -t rsa

# cat id_rsa.pub >> authorized_keys

将其他3台机器的id_rsa.pub内容追加到authorized_keys文件中，并拷贝给其他3台机器。

#ssh hadoop1（hadoop2、hadoop3、hadoop4）进行验证。

三．安装jdk

# tar zxvf jdk-8u51-linux-x64.tar.gz -C/app/zpy/

配置环境变量

# vim /etc/profile

JAVA_HOME=/app/zpy/jdk1.8.0_51

JAVA_BIN=/app/zpy/jdk1.8.0_51/bin

PATH=$PATH:$JAVA_BIN

export JAVA_HOME JAVA_BIN PATH

# . /etc/profile

# java –version 进行验证

其他3台机器相同操作。

四．安装hadoop

# cd /app/zpy/3rd

# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

# tar zxvf hadoop-2.7.3.tar.gz -C /app/zpy/

配置环境变量

# vim /etc/profile

HADOOP_HOME=/app/zpy/hadoop-2.7.3

HADOOP_BIN=/app/zpy/hadoop-2.7.3/bin

PATH=$PATH:$JAVA_BIN:$HADOOP_HOME:$HADOOP_BIN

export JAVA_HOME JAVA_BIN PATH HADOOP_HOMEHADOOP_BIN

# . /etc/profile

修改主要配置文件

# cd /app/zpy/hadoop-2.7.3/etc/hadoop

# vim hadoop-env.sh

添加

export JAVA_HOME=/app/zpy/jdk1.8.0_51

export HADOOP_HOME_WARN_SUPPRESS=1

# vim yarn-env.sh

更改

JAVA_HOME=/app/zpy/jdk1.8.0_51

# vim core-site.xml

内容如下

<name>fs.defaultFS</name>

<value>hdfs://hadoop1:9000</value>

</property>

<name>hadoop.tmp.dir</name>

</property>

<name>io.file.buffer.size</name>

</property>

</configuration>

# vim hdfs-site.xml

内容如下

<name>dfs.namenode.name.dir</name>

</property>

<name>dfs.datanode.data.dir</name>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.namenode.secondary.http-address</name>

<value>hadoop1:9001</value>

</property>

<name>dfs.webhdfs.enabled</name>

</property>

</configuration>

# cp mapred-site.xml.templatemapred-site.xml

# vim mapred-site.xml

内容如下

<name>mapreduce.framework.name</name>

</property>

</configuration>

# vim yarn-site.xml

内容如下

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<name>yarn.resourcemanager.address</name>

<value>hadoop1:8032</value>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>hadoop1:8030</value>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>hadoop1:8031</value>

</property>

<name>yarn.resourcemanager.admin.address</name>

<value>hadoop1:8033</value>

</property>

<name>yarn.resourcemanager.webapp.address</name>

<value>hadoop1:8088</value>

</property>

<name>yarn.scheduler.maximum-allocation-mb</name>

</property>

</configuration>

# vim slaves

内容如下

hadoop1

hadoop2

hadoop3

hadoop4

创建必须的文件夹

# mkdir -p /data/tmp/

#mkdir /data/hdfs

# mkdir /data/hdfs/data

# mkdir /data/hdfs/name

五．将配置好的文件拷贝到其他主机

# scp –r hadoop-2.7.3 hadoop2:/app/zpy

# scp –r hadoop-2.7.3 hadoop3:/app/zpy

# scp –r hadoop-2.7.3 hadoop4:/app/zpy

# scp /etc/profile hadoop2:/etc

# scp /etc/profile hadoop3:/etc

# scp /etc/profile hadoop4:/etc

刷新另外3台服务器的环境变量。

六．启动

首先格式化namenode节点，注意在master节点上！

# cd /app/zpy/hadoop-2.7.3/bin/

# hadoop namenode –format

然后启动集群

# start-dfs.sh

# start-yarn.sh

在master节点上运行

# jps

看到如下结果：

4083 Jps

30084 DataNode

30261 SecondaryNameNode

30550 NodeManager

29945 NameNode

30430 ResourceManager

切换到slave节点，运行

# jps

看到如下结果：

18561 NodeManager

4362 Jps

18443 DataNode

浏览器中打开http://10.0.70.242:50070/dfshealth.html#tab-overview可看见相应信息

七．运行测试用例

切换到hadoop根目录

执行如下命令解除ｈａｄｏｏｐ安全模式：

# ./bin/hadoop dfsadmin -safemode leave

再执行：

# ./bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar pi 1 1

显示如下结果：

Number of Maps = 1

Samples per Map = 1

Wrote input for Map #0

Starting Job

．．．．．．

Job Finished in 15.972 seconds

Estimated value of Pi is 4.00000000000000000000

证明成功，至此完成！

本文转自周新宇1991 51CTO博客，原文链接：http://blog.51cto.com/zhouxinyu1991/1870183，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/554960

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

haproxy 安装部署文档

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上. haproxy 配置中分成五部分内容，分别如下：1、global：参数是进程级的，通常是和操作系统相关。这些参数一般只设置一次，如果配置无误，就不需要再次进行修改2、defaults：配置默认参数，这些参数可以被用到frontend，backend，Listen组件3、frontend：接收请求的前端虚拟节点，Frontend可以更加规则直接指定具体使用后端的backend4、backend：后端服务集群的配置，是真实服务器，一个Backend对应一个或者多个实体服务器 5、Listen Fronted和backend的组合体一、安装HAProxy 1.下载最新haproxy安装包，官网：http://w...

2017-11-27

541

Hadoop的MR作业支持链式处理，类似在一个生产牛奶的流水线上，每一个阶段都有特定的任务要处理，比如提供牛奶盒，装入牛奶，封盒，打印出厂日期，等等，通过这样进一步的分工，从而提高了生产效率，那么在我们的Hadoop的MapReduce中也是如此，支持链式的处理方式，这些Mapper像Linux管道一样，前一个Mapper的输出结果直接重定向到下一个Mapper的输入，形成一个流水线，而这一点与Lucene和Solr中的Filter机制是非常类似的，Hadoop项目源自Lucene，自然也借鉴了一些Lucene中的处理方式。举个例子，比如处理文本中的一些禁用词，或者敏感词，等等，Hadoop里的链式操作，支持的形式类似正则Map+ Rrduce Map*，代表的意思是全局只能有一个唯一的Reduce，但是在Reduce的前后是可以存在无限多个Mapper来进行一些预处理或者善后工作的。注意： 1. 本人目前使用的版本是1.2.1，因此ChainMapper使用的还是old api。 2. 老的API之中，只支持 N-Mapper + 1-Reducer的模式。 Reduc...

2017-11-27

671

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。