Hadoop的安装

 

来源： http://suxain.iteye.com/blog/1744652

 

本来是用word写的，里面有一些截图，可是iteye的编辑器上传图片不方便，所以，附件中是原版word文档

一、 Hadoop安装
1.1 hosts文件修改
在每个结点修改hosts文件，配置节点IP与别名
Vi /etc/hosts

1.2 建立hadoop用户
Useradd username  //添加用户
Passwd username   //为用户生成密码


1.3 生成公私钥密钥对
用hadoop 用户登录
在各个节点上，分别使用 ssh-keygen –t rsa –f  ~/.ssh/id_rsa来生成密钥
Cd ~/.ssh
cat id_rsa.pub  >> authorized_keys

1.4 密钥合并和相互复制
将各个节点的authorized_keys 合并，并分发到每个节点，如果是从本地免密码登录远程主机，则把本现的id_rsa.pub复制到远程主机。
1.5 安装hadoop
从mirror.bit.edu.cn 用hadoop用户解压到安装目录,
进入hadoop 的conf 目录:


1、 修改core-site.xml
2、

配置  fs.default.name 属性, 即namenode 节点IP和端口
Hadoop.tmp.dir hadoop临时文件目录，弱不配置，则使用操作系统的/tmp，重启后/tmp文件删除，必须重新 格式化hdfs，所以，需要自定义临时目录。

2、修改hdfs-site.xml


dfs.name.dir namenode文件存放目录,此目录在namenode节点
dfs.data.dir  dataNode 数据文件存放目录，应该目录分布在各dataNode 节点
dfs.replication 文件分割数量。小于等于 datanode数

3、修改mapred-site.xml



Mapred.job.tracker mareduce 作业跟踪器主机IP与端口，一般同namenodeIP，配置自定义

4、修改hadoop-env.sh


如图，找到 export_JAVA_HOME，去掉注释，并写上JDK路径

5、其它，在完全分布式安装中，还需要配置 master 和slaves master写nameNode的、slaves中写上各datanode的hostname,配置完后，将hadoop复制到集群中的其它节点。

配置完后，在 namenode上进入hadoop安装目录的bin 第一次使用，运行 hadoop dfs –format格式化文件系统，然后 使用 ./start-all.sh 来启动hadoop
成功启动后，输入JPS命令，如图：


因为我这里是伪分布式，所以namenode和datanode在同一台机上，若为完全分布式，则在datanode主机上查看datanode进程
二、HDFS 文件操作
1、命令行操作
1、列出hadoop 文件列表
Hadoop dfs –ls

详细的，查看API