利用 Cloudera 实现 Hadoop （二）-低调大师

利用 Cloudera 实现 Hadoop （二）

2017-11-13 590

安装

规划好了就开始安装Hadoop，如前言中所说使用Cloudera的Hadoop发布版安装Hadoop是十分方便的，首先当然是在每台主机上一个干净的操作系统（我用的是Ubuntu 8.04，用户设为Hadoop，其它的版本应该差不多），然后就是安装Hadoop了（这样安装的是Hadoop-0.20，也可以安装Hadoop- 0.18的版本，反正安装步骤都差不多。注意，不能同时启用Hadoop-0.20和Hadoop-0.18）。由于每台机器安装步骤都一样，这里就写出了一台主机的安装步骤，主要分为以下几个步骤：

设置Cloudera的源

生成Cloudera源文件（这里采用的是Hadoop-0.20版本）：

sudo vi /etc/apt/sources.list.d/cloudera.list


#稳定版（Hadoop-0.18）

#deb http://archive.cloudera.com/debian hardy-stable contrib

#deb-src http://archive.cloudera.com/debian hardy-stable contrib


#测试版（Hadoop-0.20）

deb http://archive.cloudera.com/debian hardy-testing contrib

deb-src http://archive.cloudera.com/debian hardy-testing contrib

生成源的密钥：

sudo apt-get install curl


curl -s http://archive.cloudera.com/debian/archive.key | sudo apt-key add -

安装Hadoop

更新源包索引：

sudo apt-get update

sudo apt-get dist-upgrade

安装Hadoop：

sudo apt-get install hadoop-0.20 hadoop-0.20-conf-pseudo

部署

安装好这几台主机的Hadoop环境之后，就要对它们进行分布式运行模式的部署了，首先是设置它们之间的互联。

主机互联

Hadoop环境中的互联是指各主机之间网络畅通，机器名与IP地址之间解析正常，可以从任一主机ping通其它主机的主机名。注意，这里指的是主机名，即在Hadoop-01主机上可以通过命令ping Hadoop-02来ping通Hadoop-02主机（同理，要求这几台主机都能相互Ping通各自的主机名）。可以通过在各主机的/etc /hosts文件来实现，具体设置如下：

sudo vi /etc/hosts


127.0.0.1 localhost

10.x.253.201 hadoop-01 hadoop-01

10.x.253.202 hadoop-02 hadoop-02

10.x.253.203 hadoop-03 hadoop-03

10.x.253.204 hadoop-04 hadoop-04

10.x.3.30 firehare-303 firehare-303

将每个主机的hosts文件都改成上述设置，这样就实现了主机间使用主机名互联的要求。

注：如果深究起来，并不是所有的主机都需要知道Hadoop环境中其它主机主机名的。其实只是作为主节点的主机（如NameNode、 JobTracker），需要在该主节点hosts文件中加上Hadoop环境中所有机器的IP地址及其对应的主机名，如果该台机器作Datanode 用，则只需要在hosts文件中加上本机和主节点机器的IP地址与主机名即可（至于JobTracker主机是否也要同NameNode主机一样加上所有机器的IP和主机名，本人由于没有环境，不敢妄言，但猜想是要加的，如果哪位兄弟有兴趣，倒是不妨一试）。在这里只是由于要作测试，作为主节点的主机可能会改变，加上本人比较懒，所以就全加上了。:)

计算帐号设置

Hadoop要求所有机器上hadoop的部署目录结构要相同，并且都有一个相同用户名的帐户。由于这里采用的是Cloudera发布的Hadoop包，所以并不需要这方面的设置，大家了解一下即可。

SSH设置

在 Hadoop 分布式环境中，主节点(NameNode、JobTracker) 需要通过 SSH 来启动和停止从节点(DataNode、TeskTracker)上的各类进程。因此需要保证环境中的各台机器均可以通过 SSH 登录访问，并且主节点用 SSH 登录从节点时，不需要输入密码，这样主节点才能在后台自如地控制其它结点。可以将各台机器上的 SSH 配置为使用无密码公钥认证方式来实现。 Ubuntu上的SSH协议的开源实现是OpenSSH, 缺省状态下是没有安装的，如需使用需要进行安装。

安装OpenSSH

安装OpenSSH很简单，只需要下列命令就可以把openssh-client和openssh-server给安装好：

sudo apt-get install ssh

设置OpenSSH的无密码公钥认证

首先在Hadoop-01机器上执行以下命令：

hadoop@hadoop-01:~$ ssh-keygen -t rsa

Generating public/private rsa key pair.

Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):

Enter passphrase (empty for no passphrase):（在这里直接回车）

Enter same passphrase again:（在这里直接回车）

Your identification has been saved in /home/hadoop/.ssh/id_rsa.

Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.

The key fingerprint is:

9d:42:04:26:00:51:c7:4e:2f:7e:38:dd:93:1c:a2:d6 hadoop@hadoop-01

上述命令将为主机hadoops-01上的当前用户hadoop生成其密钥对，该密钥对被保存在/home/hadoop/.ssh/id_rsa 文件中，同时命令所生成的证书以及公钥也保存在该文件所在的目录中（在这里是：/home/hadoop/.ssh），并形成两个文件 id_rsa，id_rsa.pub。然后将 id_rsa.pub 文件的内容复制到每台主机(其中包括本机hadoop-01)的/home/hadoop/.ssh/authorized_keys文件的尾部，如果该文件不存在，可手工创建一个。

注意：id_rsa.pub 文件的内容是长长的一行，复制时不要遗漏字符或混入了多余换行符。

无密码公钥SSH的连接测试

从 hadoop-01 分别向 hadoop-01, hadoop-04, firehare-303 发起 SSH 连接请求，确保不需要输入密码就能 SSH 连接成功。注意第一次 SSH 连接时会出现类似如下提示的信息：

The authenticity of host [hadoop-01] can't be established. The key fingerprint is: 

c8:c2:b2:d0:29:29:1a:e3:ec:d9:4a:47:98:29:b4:48 Are you sure you want to continue connecting (yes/no)?

请输入 yes, 这样 OpenSSH 会把连接过来的这台主机的信息自动加到 /home/hadoop/.ssh/know_hosts 文件中去，第二次再连接时，就不会有这样的提示信息了。

设置主节点的Hadoop

设置JAVA_HOME

Hadoop的JAVA_HOME是在文件/etc/conf/hadoop-env.sh中设置，具体设置如下：

sudo vi /etc/conf/hadoop-env.sh


export JAVA_HOME="/usr/lib/jvm/java-6-sun"

Hadoop的核心配置

Hadoop的核心配置文件是/etc/hadoop/conf/core-site.xml，具体配置如下：







fs.default.name


hdfs://hadoop-01:8020




hadoop.tmp.dir

/var/lib/hadoop-0.20/cache/${user.name}

设置Hadoop的分布式存储环境

Hadoop的分布式环境设置主要是通过文件/etc/hadoop/conf/hdfs-site.xml来实现的，具体配置如下：







dfs.replication


3



dfs.permissions

false




dfs.name.dir

/var/lib/hadoop-0.20/cache/hadoop/dfs/name

设置Hapoop的分布式计算环境

Hadoop的分布式计算是采用了Map/Reduce算法，该算法环境的设置主要是通过文件/etc/hadoop/conf/mapred-site.xml来实现的，具体配置如下：







mapred.job.tracker


hadoop-01:8021

设置Hadoop的主从节点

首先设置主节点，编辑/etc/hadoop/conf/masters文件，如下所示：

hadoop-01

然后是设置从节点，编辑/etc/hadoop/conf/slaves文件，如下所示：

hadoop-02

hadoop-03

hadoop-04

firehare-303

设置从节点上的Hadoop

从节点上的Hadoop设置很简单，只需要将主节点上的Hadoop设置，复制一份到从节点上即可。

scp -r /etc/hadoop/conf hadoop-02:/etc/hadoop

scp -r /etc/hadoop/conf hadoop-03:/etc/hadoop

scp -r /etc/hadoop/conf hadoop-04:/etc/hadoop

scp -r /etc/hadoop/conf firehare-303:/etc/hadoop

启动Hadoop

格式化分布式文件系统

在启动Hadoop之前还要做最后一个准备工作，那就是格式化分布式文件系统，这个只需要在主节点做就行了，具体如下：

/usr/lib/hadoop-0.20/bin/hadoop namenode -format

启动Hadoop服务

启动Hadoop可以通过以下命令来实现：

/usr/lib/hadoop-0.20/bin/start-all.sh

注意：该命令是没有加sudo的，如果加了sudo就会提示出错信息的，因为root用户并没有做无验证ssh设置。以下是输出信息，注意hadoop-03是故意没接的，所以出现No route to host信息。

hadoop@hadoop-01:~$ /usr/lib/hadoop-0.20/bin/start-all.sh

namenode running as process 4836. Stop it first.

hadoop-02: starting datanode, logging to /usr/lib/hadoop-0.20/bin/../logs/hadoop-hadoop-datanode-hadoop-02.out

hadoop-04: starting datanode, logging to /usr/lib/hadoop-0.20/bin/../logs/hadoop-hadoop-datanode-hadoop-04.out

firehare-303: starting datanode, logging to /usr/lib/hadoop-0.20/bin/../logs/hadoop-hadoop-datanode-usvr-303b.out

hadoop-03: ssh: connect to host hadoop-03 port 22: No route to host

hadoop-01: secondarynamenode running as process 4891. Stop it first.

jobtracker running as process 4787. Stop it first.

hadoop-02: starting tasktracker, logging to /usr/lib/hadoop-0.20/bin/../logs/hadoop-hadoop-tasktracker-hadoop-02.out

hadoop-04: starting tasktracker, logging to /usr/lib/hadoop-0.20/bin/../logs/hadoop-hadoop-tasktracker-hadoop-04.out

firehare-303: starting tasktracker, logging to /usr/lib/hadoop-0.20/bin/../logs/hadoop-hadoop-tasktracker-usvr-303b.out

hadoop-03: ssh: connect to host hadoop-03 port 22: No route to host

这样Hadoop就正常启动了！

测试Hadoop

Hadoop架设好了，接下来就是要对其进行测试，看看它是否能正常工作，具体代码如下：

hadoop@hadoop-01:~$ hadoop-0.20 fs -mkdir input

hadoop@hadoop-01:~$ hadoop-0.20 fs -put /etc/hadoop-0.20/conf/*.xml input

hadoop@hadoop-01:~$ hadoop-0.20 fs -ls input

Found 6 items

-rw-r--r-- 3 hadoop supergroup 3936 2010-03-11 08:55 /user/hadoop/input/capacity-scheduler.xml

-rw-r--r-- 3 hadoop supergroup 400 2010-03-11 08:55 /user/hadoop/input/core-site.xml

-rw-r--r-- 3 hadoop supergroup 3032 2010-03-11 08:55 /user/hadoop/input/fair-scheduler.xml

-rw-r--r-- 3 hadoop supergroup 4190 2010-03-11 08:55 /user/hadoop/input/hadoop-policy.xml

-rw-r--r-- 3 hadoop supergroup 536 2010-03-11 08:55 /user/hadoop/input/hdfs-site.xml

-rw-r--r-- 3 hadoop supergroup 266 2010-03-11 08:55 /user/hadoop/input/mapred-site.xml

hadoop@hadoop-01:~$ hadoop-0.20 jar /usr/lib/hadoop-0.20/hadoop-*-examples.jar grep input output 'dfs[a-z.]+'

10/03/11 14:35:57 INFO mapred.FileInputFormat: Total input paths to process : 6

10/03/11 14:35:58 INFO mapred.JobClient: Running job: job_201003111431_0001

10/03/11 14:35:59 INFO mapred.JobClient:  map 0% reduce 0%

10/03/11 14:36:14 INFO mapred.JobClient:  map 33% reduce 0%

10/03/11 14:36:20 INFO mapred.JobClient:  map 66% reduce 0%

10/03/11 14:36:26 INFO mapred.JobClient:  map 66% reduce 22%

10/03/11 14:36:36 INFO mapred.JobClient:  map 100% reduce 22%

10/03/11 14:36:44 INFO mapred.JobClient:  map 100% reduce 100%

10/03/11 14:36:46 INFO mapred.JobClient: Job complete: job_201003111431_0001

10/03/11 14:36:46 INFO mapred.JobClient: Counters: 19

10/03/11 14:36:46 INFO mapred.JobClient:   Job Counters 

10/03/11 14:36:46 INFO mapred.JobClient:     Launched reduce tasks=1

10/03/11 14:36:46 INFO mapred.JobClient:     Rack-local map tasks=4

10/03/11 14:36:46 INFO mapred.JobClient:     Launched map tasks=6

10/03/11 14:36:46 INFO mapred.JobClient:     Data-local map tasks=2

10/03/11 14:36:46 INFO mapred.JobClient:   FileSystemCounters

10/03/11 14:36:46 INFO mapred.JobClient:     FILE_BYTES_READ=100

10/03/11 14:36:46 INFO mapred.JobClient:     HDFS_BYTES_READ=12360

10/03/11 14:36:46 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=422

10/03/11 14:36:46 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=204

10/03/11 14:36:46 INFO mapred.JobClient:   Map-Reduce Framework

10/03/11 14:36:46 INFO mapred.JobClient:     Reduce input groups=4

10/03/11 14:36:46 INFO mapred.JobClient:     Combine output records=4

10/03/11 14:36:46 INFO mapred.JobClient:     Map input records=315

10/03/11 14:36:46 INFO mapred.JobClient:     Reduce shuffle bytes=124

10/03/11 14:36:46 INFO mapred.JobClient:     Reduce output records=4

10/03/11 14:36:46 INFO mapred.JobClient:     Spilled Records=8

10/03/11 14:36:46 INFO mapred.JobClient:     Map output bytes=86

10/03/11 14:36:46 INFO mapred.JobClient:     Map input bytes=12360

10/03/11 14:36:46 INFO mapred.JobClient:     Combine input records=4

10/03/11 14:36:46 INFO mapred.JobClient:     Map output records=4

10/03/11 14:36:46 INFO mapred.JobClient:     Reduce input records=4

10/03/11 14:36:46 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.

10/03/11 14:36:46 INFO mapred.FileInputFormat: Total input paths to process : 1

10/03/11 14:36:46 INFO mapred.JobClient: Running job: job_201003111431_0002

10/03/11 14:36:47 INFO mapred.JobClient:  map 0% reduce 0%

10/03/11 14:36:56 INFO mapred.JobClient:  map 100% reduce 0%

10/03/11 14:37:08 INFO mapred.JobClient:  map 100% reduce 100%

10/03/11 14:37:10 INFO mapred.JobClient: Job complete: job_201003111431_0002

10/03/11 14:37:11 INFO mapred.JobClient: Counters: 18

10/03/11 14:37:11 INFO mapred.JobClient:   Job Counters 

10/03/11 14:37:11 INFO mapred.JobClient:     Launched reduce tasks=1

10/03/11 14:37:11 INFO mapred.JobClient:     Launched map tasks=1

10/03/11 14:37:11 INFO mapred.JobClient:     Data-local map tasks=1

10/03/11 14:37:11 INFO mapred.JobClient:   FileSystemCounters

10/03/11 14:37:11 INFO mapred.JobClient:     FILE_BYTES_READ=100

10/03/11 14:37:11 INFO mapred.JobClient:     HDFS_BYTES_READ=204

10/03/11 14:37:11 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=232

10/03/11 14:37:11 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=62

10/03/11 14:37:11 INFO mapred.JobClient:   Map-Reduce Framework

10/03/11 14:37:11 INFO mapred.JobClient:     Reduce input groups=1

10/03/11 14:37:11 INFO mapred.JobClient:     Combine output records=0

10/03/11 14:37:11 INFO mapred.JobClient:     Map input records=4

10/03/11 14:37:11 INFO mapred.JobClient:     Reduce shuffle bytes=0

10/03/11 14:37:11 INFO mapred.JobClient:     Reduce output records=4

10/03/11 14:37:11 INFO mapred.JobClient:     Spilled Records=8

10/03/11 14:37:11 INFO mapred.JobClient:     Map output bytes=86

10/03/11 14:37:11 INFO mapred.JobClient:     Map input bytes=118

10/03/11 14:37:11 INFO mapred.JobClient:     Combine input records=0

10/03/11 14:37:11 INFO mapred.JobClient:     Map output records=4

10/03/11 14:37:11 INFO mapred.JobClient:     Reduce input records=4

不难看出，上述测试已经成功，这说明Hadoop部署成功，能够在上面进行Map/Reduce分布性计算了。

本文转自 firehare 51CTO博客，原文链接：http://blog.51cto.com/firehare/586510，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/405586

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Linux中的umask

1.文件和目录的默认权限在Linux中，我们创建文件或者目录的时候，并没有指定user,group,other这三类用户的权限，实际上umask(遮罩码)决定了创建时的默认权限。如果是文件，就用666-umask；如果是目录就用777-umask。记住LINUX的法则之一：文件默认情况下不应具有可执行权限。 2.实验 root用户下： 1 2 3 4 5 6 7 8 9 [root@localhost ~] # touch zfz.file [root@localhost ~] # mkdir zfz.dir [root@localhost ~] # ls -l zfz.file -rw-r--r-- 1 root root 0 May 17 09:42 zfz. file [root@localhost ~] # ls -ld zfz.dir drwxr-xr-x 2 root root 4096 May 17 09:42 zfz. dir [root@localhost ~] # umask 0022 [root@localhost 一般用户下： 1 2 3 4 5 6 7 8 ...

2017-11-14

595

flume打包遇到的一些问题 1.ipc兼容性问题，线上使用2.3.0的hdfs，但是打包时默认为1.2.1的 1 2 3 4 08Apr201519:38:25,122WARN[SinkRunner-PollingRunner-DefaultSinkProcessor](org.apache.flume.sink.hdfs.HDFSEventSink.process:455)-HDFSIOerror org.apache.hadoop.ipc.RemoteException:ServerIPCversion9cannotcommunicatewithclientversion4 atorg.apache.hadoop.ipc.Client.call(Client.java:1113) atorg.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.java:229) 拷贝hadoop-core包即可,或者更改pom.xml文件 1 2 3 4 5 6 < properties > < hadoop.version >1.2...

2017-11-15

783

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。