首页 文章 精选 留言 我的

生产环境下Hadoop大集群安装与配置+DNS+NFS

2017-11-06 1416

《生产环境下Hadoop大集群安装与配置+DNS+NFS》

一 环境

Linux ISO：CentOS-6.0-i386-bin-DVD.iso     32位   

JDK version："1.6.0_25-ea"   for  linux

Hadoop software version：hadoop-0.20.205.0.tar.gz   for  linux

VMware® Workstation   Version： 7.0.0 build-203739

我的linux虚拟机配置   master   slave1   slave2    信息如下

主机名


 

IP


 

节点名


 

备注


 

h1


 

192.168.2.102


 

master


 

namenode和jobtracker


 

h2


 

192.168.2.103


 

slave1


 

datanode和tasktracker


 

H4


 

192.168.2.105


 

slave2


 

datanode和tasktracker


 

DNS服务器安装与配置参考链接，感谢yanggw8071   mikeliu   chizeng

1.      http://f.dataguru.cn/thread-49108-1-1.html

2.      http://f.dataguru.cn/thread-52579-1-1.html

3.      http://f.dataguru.cn/thread-56022-1-3.html

二 Bind安装DNS服务器并成功解析主机名

1.说明一下，我把DNS服务器安装到h1节点（master上）然后对h1 h2 h4 节点的主机名进行解析

2.需要h1节点可以上网，因为我们需要使用yum方式安装DNS的rpm包，上网方式如下

CentOS需要能连入网络，这个比较简单，可以参考《NOSQL系列-memcached安装管理与repcached高可用性》，这篇文章在一开始就介绍了虚拟机如何连接上网

http://f.dataguru.cn/thread-46905-1-1.html

3.原来我们使用的hosts文件来解析主机名，现在可以不使用了直接删除即可，我呢直接改名吧，这样留着备用

[root@h1 etc]# mv /etc/hosts /etc/hosts_20130126

4.有的筒子使用了webmin软件GUI方式配置了DNS服务器，这种方式是挺方便的界面化人性化，但我用惯了命令行（码农的归宿）所以直接使用rpm方式来安装DNS了

5.检查一下bind包有没有，这也是采用chroot机制

[root@h1 ~]# rpm -q bind

package bind is not installed

[root@h1 ~]# rpm -q bind-chroot

package bind-chroot is not installed

这里显示还没有安装，那么我们就需要yum方式安装啦

6.现在使用yum安装bind 和 bind-chroot 软件包

[root@h1 ~]# yum -y install bind bind-chroot

省略。。。。。。

Dependencies Resolved

=======================================================================================

Package     Arch     Version                 Repository       Size

=======================================================================================

Installing:                安装这2个包

bind        i686     32:9.8.2-0.10.rc1.el6_3.6   updates         4.0 M

bind-chroot  i686     32:9.8.2-0.10.rc1.el6_3.6   updates         70 k

Updating for dependencies:  升级2个依赖包

bind-libs    i686      32:9.8.2-0.10.rc1.el6_3.6   updates         882 k

bind-utils  i686     32:9.8.2-0.10.rc1.el6_3.6     updates         180 k

Transaction Summary

=======================================================================================Install       2 Package(s)

Upgrade    2 Package(s)

Installed:

bind.i686 32:9.8.2-0.10.rc1.el6_3.6      bind-chroot.i686 32:9.8.2-0.10.rc1.el6_3.6                                          

Dependency Updated:

bind-libs.i686 32:9.8.2-0.10.rc1.el6_3.6   bind-utils.i686 32:9.8.2-0.10.rc1.el6_3.6                                         

Complete!

到此bind 和 bind-chroot包安装完成

[root@h1 ~]# rpm -q bind

bind-9.8.2-0.10.rc1.el6_3.6.i686

[root@h1 ~]# rpm -q bind-chroot

bind-chroot-9.8.2-0.10.rc1.el6_3.6.i686

哈哈 现在都已经安装好了

7. yum install bind*还有三个包需要安装

[root@h1 etc]# yum install bind*

Dependencies Resolved

=======================================================================================

Package     Arch     Version                 Repository       Size

=======================================================================================

Installing:                安装这3个包

bind-devel   i686    32:9.8.2-0.10.rc1.el6_3.6     updates         376 k

bind-dyndb-ldap i686  1.1.0-0.9.b1.el6_3.1        updates          63 k

bind-sdb   i686   32:9.8.2-0.10.rc1.el6_3.6       updates          305 k

Transaction Summary

=======================================================================================I

Install       3 Package(s)

Upgrade     0 Package(s)

Installed:

bind-devel.i686 32:9.8.2-0.10.rc1.el6_3.6              

bind-dyndb-ldap.i686 0:1.1.0-0.9.b1.el6_3.1              

bind-sdb.i686 32:9.8.2-0.10.rc1.el6_3.6            

Complete!

现在都安装完毕了

8.修改named.conf文件，目录/etc/named.conf

[root@h1 etc]# vim /etc/named.conf        修改2处，标红显示

options {

        listen-on port 53 { any; };       //把127.0.0.1 修改成 any

        listen-on-v6 port 53 { ::1; };

        directory       "/var/named";

        dump-file       "/var/named/data/cache_dump.db";

        statistics-file "/var/named/data/named_stats.txt";

        memstatistics-file "/var/named/data/named_mem_stats.txt";

        allow-query     { any; };      //localhost 修改成 any

        recursion yes;

        dnssec-enable yes;

        dnssec-validation yes;

        dnssec-lookaside auto;

        /* Path to ISC DLV key */

        bindkeys-file "/etc/named.iscdlv.key";

        managed-keys-directory "/var/named/dynamic";

};

logging {

        channel default_debug {

                file "data/named.run";

                severity dynamic;

        };

};

zone "." IN {

        type hint;

        file "named.ca";

};

include "/etc/named.rfc1912.zones";

include "/etc/named.root.key";

9. 修改named.rfc1912.zones文件，目录/etc/named.rfc1912.zones

配置正向反向配置文件

[root@h1 etc]# vim /etc/named.rfc1912.zones     在这个文件末尾添加如下内容，红色是注意的地方

zone "leonarding.com" IN {

        type master;

        file "leonarding.com.zone";       注意这是你自己设置的域名，要牢牢记住

        allow-update { none; };

};

zone "2.168.192.in-addr.arpa" IN {

        type master;

        file "2.168.192.in-addr.zone";      这是反向配置文件

        allow-update { none; };

};

10.创建leonarding.com.zone和2.168.192.in-addr.zon 文件

[root@h1 etc]# cd /var/named          进入这个目录

[root@h1 named]# cp -p named.localhost leonarding.com.zone

[root@h1 named]# cp -p named.localhost 2.168.192.in-addr.zone

对这2个文件进行修改，修改成新的文件，这2个文件就是区域文件，一定要写对了，否则会报错

添加正向文件并且配置

[root@h1 named]# vim leonarding.com.zone

$TTL 86400

@    IN    SOA  h1.leonarding.com. chizk.www.leonarding.com. (

     0 ; serial (d. adams)

     1D ; refresh

     1H ; retry

     1W ; expiry

     3H ) ; minimum

@    IN    NS  h1.leonarding.com.

h1.leonarding.com. IN A 192.168.2.102

h2.leonarding.com. IN A 192.168.2.103

h4.leonarding.com. IN A 192.168.2.105

添加反向文件并且配置

[root@h1 named]# vim 2.168.192.in-addr.zone

$TTL 86400

@    IN    SOA  h1.leonarding.com. chizk.www.leonarding.com. (

     0 ; serial (d. adams)

     1D ; refresh

     1H ; retry

     1W ; expiry

     3H ) ; minimum

@    IN    NS  h1.leonarding.com.

102 IN PTR h1.leonarding.com.

103 IN PTR h2.leonarding.com.

105 IN PTR h4.leonarding.com.

修改正向文件和反向文件属组，使用chgrp即可

[root@h1 named]# chgrp named leonarding.com.zone

[root@h1 named]# chgrp named leonarding.com.rev

11.修改/etc/resolv.conf 添加DNS域名服务器ip

h1（master）

[root@h1 named]# vim /etc/resolv.conf

nameserver 192.168.2.102          在最后面追加此条即可，就是我的master机器ip

说明我们是把master机器作为DNS域名解析服务器，

h2（slave）

[root@h2 sysconfig]# vim /etc/resolv.conf

nameserver 192.168.2.102

h4（slave）

[root@h4 .ssh]# vim /etc/resolv.conf

nameserver 192.168.2.102

添加DNS域名服务器ip，当有域名或主机名解析的时候，就知道去哪台机器上进行映射了

12.启动DNS服务器

[root@h1 named]# service named start

启动  named：                            【确定】

13.使用nslookup命令测试域名解析

测试之前关闭防火墙

[root@h1 named]# service iptables status

Iptables：未运行防火墙

正向解析域名->IP

[root@h1 named]# nslookup h1.leonarding.com

Server:          192.168.2.102                    指域名服务器ip地址

Address:       192.168.2.102#53                     ip+端口号，DNS默认53端口

Name:   h1.leonarding.com                    域名解析

Address: 192.168.2.102                       映射ip

[root@h1 named]# nslookup h2.leonarding.com

Server:          192.168.2.102                    指域名服务器ip地址

Address:       192.168.2.102#53                     ip+端口号，DNS默认53端口

Name:   h2.leonarding.com                    域名解析

Address: 192.168.2.103                       映射ip

[root@h1 named]# nslookup h4.leonarding.com

Server:          192.168.2.102                    指域名服务器ip地址

Address:       192.168.2.102#53                    ip+端口号，DNS默认53端口

Name:   h4.leonarding.com                    域名解析

Address: 192.168.2.105                       映射ip

反向解析IP->域名

[root@h1 named]# nslookup 192.168.2.102

Server:          192.168.2.102

Address:       192.168.2.102#5

102.2.168.192.in-addr.arpa     name = h1.leonarding.com.

[root@h1 named]# nslookup 192.168.2.103

Server:          192.168.2.102

Address:       192.168.2.102#53

103.2.168.192.in-addr.arpa     name = h2.leonarding.com.

[root@h1 named]# nslookup 192.168.2.105

Server:          192.168.2.102

Address:       192.168.2.102#53

105.2.168.192.in-addr.arpa     name = h4.leonarding.com.

我们还可以使用host命令做解析测试

[root@h1 named]# host h2.leonarding.com

h2.leonarding.com has address 192.168.2.103

[root@h1 named]# host 192.168.2.103

103.2.168.192.in-addr.arpa domain name pointer h2.leonarding.com.

小结：到此我们使用Bind安装DNS服务器与配置，终于大功告成了，太不容易了，这是第一次独立完成DNS的配置和排除故障，之前也做过但一直顺风顺水，这次遇到了困难，还是应该多仔细认真反复查询测试，在此感谢ask兄的点拨！

三 生产环境下hadoop大集群NFS安装与配置

1.说明一下，我还是把NFS系统安装到h1节点（master上）然后把共享目录挂载到h1 h2 h4节点，实现ssh密钥的共享

2.NFS参考链接，感谢chizeng   gaojian309

http://f.dataguru.cn/thread-56101-1-4.html

http://f.dataguru.cn/thread-56037-1-1.html

3.三台虚拟操作系统如下

主机名


 

IP


 

节点名


 

备注


 

h1


 

192.168.2.102


 

master


 

namenode和jobtracker


 

h2


 

192.168.2.103


 

slave1


 

datanode和tasktracker


 

H4


 

192.168.2.105


 

slave2


 

datanode和tasktracker


 

4.我们开始做实验啦

检查NFS包是否已经安装

[root@h1 ~]# rpm -qa | grep nfs

nfs-utils-1.2.2-7.el6.i686

nfs4-acl-tools-0.3.3-5.el6.i686

nfs-utils-lib-1.1.5-1.el6.i686

现在都已经安装到系统中了

检查rpcbind包是否已经安装

[root@h1 ~]# rpm -qa | grep rpcbind

rpcbind-0.2.0-8.el6.i686

现在都已经安装到系统中了

如果你的系统显示没有安装，可以使用yum install nfs-utils rpcbind  进行安装，然后配置

5.我们查看一下NFS服务和rpcbind服务是否启动

[root@h1 ~]# service nfs status

rcp.svcgssd  已停

rpc.mountd  已停

nfsd        已停

rpc.rquotad  已停                nfs已经停止了，我们现在应该启动nfs服务

[root@h1 ~]# service rpcbind status

rpcbind (pid  1431)  正在运行…….

6.启动服务

[root@h1 ~]# service nfs start

启动NFS服务                   【确定】

关掉NFS配额                   【确定】

启动FNS守护进程               【确定】

启动NFS mountd                【确定】

设置开机启动

[root@h1 ~]# chkconfig nfs on

[root@h1 ~]# chkconfig rpcbind on

7.把/home/grid/目录设置为共享目录

[root@h1 grid]# vim /etc/exports            在exports文件中添加/home/grid *(sync,rw)字符串

/home/grid *(sync,rw)

解释

/home/grid       是NFS要共享的目录

星号             代表所有ip地址

Rw为读写，ro为只读

Sync为立刻写入硬盘，rsync为优先写入缓存

No_root_squas root用户具有根目录的完全管理访问权限（这个如果不配置会造成远程root用户只读）

[root@h1 grid]# cat /etc/exports

/home/grid *(sync,rw)

8.重启rpcbind和nfs服务

[root@h1 grid]# service rpcbind restart

停止 rpcbind：                    【确定】

正在启动rpcbind                  【确定】

[root@h1 grid]# service nfs restart

全部启动

注意这里也要关闭防火墙设置

9.输出本地挂载点（即master上的共享目录）

[root@h1 grid]# showmount -e localhost

Export list for localhost:

/home/grid *

解释：

/home/grid       是NFS要共享的目录

星号            代表所有ip地址

10.客户端h2 h4上配置

登陆h2

[root@h2 ~]# mkdir /nfs_share               在根目标下创建挂载点

[root@h2 ~]# mount -t nfs 192.168.2.102:/home/grid /nfs_share/   

在h2上访问h1把/home/grid目录挂载到/ nfs_share/目录下

drwx------.  38 grid hadoop  4096   12月   15 15:00 nfs_share

切换到grid用户进入共享目录查看

[grid@h2 ~]$ cd /nfs_share/

-bash: cd: nfs_share/:  权限不够

报错啦，权限不够，这是为什么呢，经过了激烈的测试，发现是h1中/home/grid目录权限问题

[root@h1 home]# chmod -R 777 grid     为了方便我直接给了全部权限，在h1上操作

[root@h2 /]# mount 192.168.2.102:/home/grid/ /nfs_share/    在h2上重新挂载目录

[root@h2 /]# su – grid                 切换用户

[grid@h2 /]$ cd nfs_share/             ok我们现在可以畅通无阻了

[grid@h2 nfs_share]$ cd .ssh           没有问题进来啦，成功

11.小测试

测试什么呢，我们不是设置了共享目录嘛，我在h1的共享目录上创建一个11111111.txt文件，然后登陆h2的挂载点，看看能不能查询到

h1   服务端

[root@h1 grid]# touch 11111111.txt

[root@h1 grid]# ll | grep 11111111.txt

h2   客户端

[grid@h2 nfs_share]$ ll | grep 11111111.txt

-rw-r--r--.  1 root root          0    1月    27 14:27 11111111.txt

12.设置开机后自动挂载nfs共享目录

修改fstab文件，这个文件描述了开机后应该挂载哪些挂载点

[root@h2 ~]# vim /etc/fstab                     在最后添加这行命令

192.168.2.102:/home/grid  /nfs_share            nfs     defaults        1 1

[root@h2 ~]# cat /etc/fstab

tmpfs                   /dev/shm                tmpfs   defaults        0 0

devpts                  /dev/pts                devpts  gid=5,mode=620  0 0

sysfs                   /sys                    sysfs   defaults        0 0

proc                    /proc                   proc    defaults        0 0

192.168.2.102:/home/grid  /nfs_share            nfs     defaults        1 1

现在NFS配置成功

13.使用NFS共享密钥文件

h2   客户端

[grid@h2 .ssh]$ pwd

/nfs_share/.ssh

[grid@h2 .ssh]$ ln -s authorized_keys /home/grid/.ssh/authorized_keys  

这种方式可能会导致软链接文件符号链接的层次过多，创建失败，但会有文件名注意文件名是红色的，这是不正常的，避免的方法是都使用绝对路径

还有另一种方法

[grid@h2 .ssh]$ cd ~/.ssh/

[grid@h2 .ssh]$ ln -s /nfs_share/.ssh/authorized_keys authorized_keys

authorized_keys -> /nfs_share/.ssh/authorized_keys

第一个authorized_keys指的是h2上的，第二个authorized_keys指的是h1上的，注意区分

我们用h1的authorized_keys文件来创建h2上authorized_keys文件软链接

注意如果原来h2上就有/home/grid/.ssh/authorized_keys文件需要先删除在创建

rm -rf /home/grid/.ssh/authorized_keys

我们在h2上看一下h1的authorized_keys文件内容

[grid@h2 .ssh]$ cat /nfs_share/.ssh/authorized_keys

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAr6+D01KKqeMUrkyakulV3su+9RU+jJ6sNJMlydxFq38oGBsJBwcskVL/I9ds7vE5g7coP+cMzgtRyj1ns+elgF0g3/uhtSerad4QdWXVLZgUjyUxijkm+nI3SSdwLihzsNNgH4GzeKX3HQAH/7S+rLoZSBPi//w9HYfO6VeXdo7N2lkvUxNW2z/h7JuYPMEqiaOIWAeLK7AJXhjJaeJkZh/ccGuEx4uBLRxqce5zjbNsFapoD2bact1w80a7mrgzAN3cVcQuQPzmpdj750negxMtai+QRmPDlSx2ZXtbarI4opSVmBiqpY84PJ/h9m5wptQ3hg/1XIxv4gyqwLSxZw== grid@h4

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5iKGfOGKh3d8BYr4vkkNaEtZkxCbBzBn6pfD0n3h82/1f9PwEtT4CEgqzBssYvQ2Nbc6dUy2NbDD9j5dIwQENS/fAJDwccdiJjEYMo5+o4ocPABx6OVM0r9nsUkyU7bxeHjap3ZUmcC1UvgW5asOsRMl7ePCze+rnt5D5ldZ+VOKh0NgtY2/CST8qXHmedfZFbQSEhIPf5Lh4A6oSoRHTFQbDN4apvf5s7Cm5/NgPiyhU+KbHBz96pNCxkjuOwj69a7kx4AgQYJoYc0T9O6YfjfVy3l1a7N2aJ6jp4SMv0GaohgzIrBNXwoFK6skuyf10yIxvNlGzkhTYK9GS9hjJw== grid@h2

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5V1lyss14a8aWFEkTk/aBgKHFLMX/XZX/xtXVUqJl8NkTQVLQ37+XLyqvTfrcJSja70diqB3TrwBp3K5eXNxp3EOr6EGHsi0B6D8owsg0bCDhxHGHu8RX8WB4DH9UOv1uPL5BESAPHjuemQuQaQzLagqrnXbrKix8CzdIEgmnOknYiS49q9msnzawqo3luQFRU7MQvAU9UZqkxotrnzHqh0tgjJ3Sq6O6nscA7w//Xmb0JGobVQAFCDJQdn/z1kOq7E5WNhVa8ynF9GOF7cMdppug7Ibw1RZ9cKa+igi1KhhavS5H7XCM64NuGfC87aQE9nz0ysS3Kh8PT5h6zlxfw== grid@h1

我们在看看h2的软链接文件内容是不是已经链过去了

[grid@h2 .ssh]$ cat authorized_keys

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAr6+D01KKqeMUrkyakulV3su+9RU+jJ6sNJMlydxFq38oGBsJBwcskVL/I9ds7vE5g7coP+cMzgtRyj1ns+elgF0g3/uhtSerad4QdWXVLZgUjyUxijkm+nI3SSdwLihzsNNgH4GzeKX3HQAH/7S+rLoZSBPi//w9HYfO6VeXdo7N2lkvUxNW2z/h7JuYPMEqiaOIWAeLK7AJXhjJaeJkZh/ccGuEx4uBLRxqce5zjbNsFapoD2bact1w80a7mrgzAN3cVcQuQPzmpdj750negxMtai+QRmPDlSx2ZXtbarI4opSVmBiqpY84PJ/h9m5wptQ3hg/1XIxv4gyqwLSxZw== grid@h4

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5iKGfOGKh3d8BYr4vkkNaEtZkxCbBzBn6pfD0n3h82/1f9PwEtT4CEgqzBssYvQ2Nbc6dUy2NbDD9j5dIwQENS/fAJDwccdiJjEYMo5+o4ocPABx6OVM0r9nsUkyU7bxeHjap3ZUmcC1UvgW5asOsRMl7ePCze+rnt5D5ldZ+VOKh0NgtY2/CST8qXHmedfZFbQSEhIPf5Lh4A6oSoRHTFQbDN4apvf5s7Cm5/NgPiyhU+KbHBz96pNCxkjuOwj69a7kx4AgQYJoYc0T9O6YfjfVy3l1a7N2aJ6jp4SMv0GaohgzIrBNXwoFK6skuyf10yIxvNlGzkhTYK9GS9hjJw== grid@h2

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5V1lyss14a8aWFEkTk/aBgKHFLMX/XZX/xtXVUqJl8NkTQVLQ37+XLyqvTfrcJSja70diqB3TrwBp3K5eXNxp3EOr6EGHsi0B6D8owsg0bCDhxHGHu8RX8WB4DH9UOv1uPL5BESAPHjuemQuQaQzLagqrnXbrKix8CzdIEgmnOknYiS49q9msnzawqo3luQFRU7MQvAU9UZqkxotrnzHqh0tgjJ3Sq6O6nscA7w//Xmb0JGobVQAFCDJQdn/z1kOq7E5WNhVa8ynF9GOF7cMdppug7Ibw1RZ9cKa+igi1KhhavS5H7XCM64NuGfC87aQE9nz0ysS3Kh8PT5h6zlxfw== grid@h1

看一模一样

在H4节点上共享密钥文件

h4

[root@h4 ~]# mkdir /nfs_share                      在根目标下创建挂载点

[root@h4 ~]# mount -t nfs 192.168.2.102:/home/grid /nfs_share/

在h4上访问h1把/home/grid目录挂载到/ nfs_share/目录下

[root@h4 ~]# su – grid          切换到grid用户

[grid@h4 /]$ cd nfs_share/.ssh/   我们可以成功进入共享目录来访问h1中的文件

修改fstab文件，这个文件描述了开机后应该挂载哪些挂载点

[root@h4 ruby]# vim /etc/fstab

tmpfs                   /dev/shm                tmpfs   defaults        0 0

devpts                  /dev/pts                devpts  gid=5,mode=620  0 0

sysfs                   /sys                    sysfs   defaults        0 0

proc                    /proc                   proc    defaults        0 0

192.168.2.102:/home/grid  /nfs_share            nfs     defaults        1 1

在最后添加红色字符串一行，这样在重启时系统就会自动挂载NFS共享目录

[grid@h4 .ssh]$ cd ~/.ssh/      进入h4的.ssh目录

[grid@h4 .ssh]$ rm -rf authorized_keys    发现原来存在authorized_keys文件顾删除

[grid@h4 .ssh]$ ln -s /nfs_share/.ssh/authorized_keys ~/.ssh/authorized_keys

authorized_keys -> /nfs_share/.ssh/authorized_keys  软链接文件已经生成

[grid@h4 .ssh]$ cat authorized_keys               查看软链接文件内容

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAr6+D01KKqeMUrkyakulV3su+9RU+jJ6sNJMlydxFq38oGBsJBwcskVL/I9ds7vE5g7coP+cMzgtRyj1ns+elgF0g3/uhtSerad4QdWXVLZgUjyUxijkm+nI3SSdwLihzsNNgH4GzeKX3HQAH/7S+rLoZSBPi//w9HYfO6VeXdo7N2lkvUxNW2z/h7JuYPMEqiaOIWAeLK7AJXhjJaeJkZh/ccGuEx4uBLRxqce5zjbNsFapoD2bact1w80a7mrgzAN3cVcQuQPzmpdj750negxMtai+QRmPDlSx2ZXtbarI4opSVmBiqpY84PJ/h9m5wptQ3hg/1XIxv4gyqwLSxZw== grid@h4

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5iKGfOGKh3d8BYr4vkkNaEtZkxCbBzBn6pfD0n3h82/1f9PwEtT4CEgqzBssYvQ2Nbc6dUy2NbDD9j5dIwQENS/fAJDwccdiJjEYMo5+o4ocPABx6OVM0r9nsUkyU7bxeHjap3ZUmcC1UvgW5asOsRMl7ePCze+rnt5D5ldZ+VOKh0NgtY2/CST8qXHmedfZFbQSEhIPf5Lh4A6oSoRHTFQbDN4apvf5s7Cm5/NgPiyhU+KbHBz96pNCxkjuOwj69a7kx4AgQYJoYc0T9O6YfjfVy3l1a7N2aJ6jp4SMv0GaohgzIrBNXwoFK6skuyf10yIxvNlGzkhTYK9GS9hjJw== grid@h2

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5V1lyss14a8aWFEkTk/aBgKHFLMX/XZX/xtXVUqJl8NkTQVLQ37+XLyqvTfrcJSja70diqB3TrwBp3K5eXNxp3EOr6EGHsi0B6D8owsg0bCDhxHGHu8RX8WB4DH9UOv1uPL5BESAPHjuemQuQaQzLagqrnXbrKix8CzdIEgmnOknYiS49q9msnzawqo3luQFRU7MQvAU9UZqkxotrnzHqh0tgjJ3Sq6O6nscA7w//Xmb0JGobVQAFCDJQdn/z1kOq7E5WNhVa8ynF9GOF7cMdppug7Ibw1RZ9cKa+igi1KhhavS5H7XCM64NuGfC87aQE9nz0ysS3Kh8PT5h6zlxfw== grid@h1

小结：通过对比我们知道h1的authorized_keys授权文件和h2 h4上的软链接文件内容都是一模一样的，到此我们就可以免密码连入了

 


《生产环境下Hadoop大集群安装与配置+DNS+NFS》

一 环境

Linux ISO：CentOS-6.0-i386-bin-DVD.iso     32位   

JDK version："1.6.0_25-ea"   for  linux

Hadoop software version：hadoop-0.20.205.0.tar.gz   for  linux

VMware® Workstation   Version： 7.0.0 build-203739

我的linux虚拟机配置   master   slave1   slave2    信息如下

主机名


 

IP


 

节点名


 

备注


 

h1


 

192.168.2.102


 

master


 

namenode和jobtracker


 

h2


 

192.168.2.103


 

slave1


 

datanode和tasktracker


 

H4


 

192.168.2.105


 

slave2


 

datanode和tasktracker


 

DNS服务器安装与配置参考链接，感谢yanggw8071   mikeliu   chizeng

1.      http://f.dataguru.cn/thread-49108-1-1.html

2.      http://f.dataguru.cn/thread-52579-1-1.html

3.      http://f.dataguru.cn/thread-56022-1-3.html

二 Bind安装DNS服务器并成功解析主机名

1.说明一下，我把DNS服务器安装到h1节点（master上）然后对h1 h2 h4 节点的主机名进行解析

2.需要h1节点可以上网，因为我们需要使用yum方式安装DNS的rpm包，上网方式如下

CentOS需要能连入网络，这个比较简单，可以参考《NOSQL系列-memcached安装管理与repcached高可用性》，这篇文章在一开始就介绍了虚拟机如何连接上网

http://f.dataguru.cn/thread-46905-1-1.html

3.原来我们使用的hosts文件来解析主机名，现在可以不使用了直接删除即可，我呢直接改名吧，这样留着备用

[root@h1 etc]# mv /etc/hosts /etc/hosts_20130126

4.有的筒子使用了webmin软件GUI方式配置了DNS服务器，这种方式是挺方便的界面化人性化，但我用惯了命令行（码农的归宿）所以直接使用rpm方式来安装DNS了

5.检查一下bind包有没有，这也是采用chroot机制

[root@h1 ~]# rpm -q bind

package bind is not installed

[root@h1 ~]# rpm -q bind-chroot

package bind-chroot is not installed

这里显示还没有安装，那么我们就需要yum方式安装啦

6.现在使用yum安装bind 和 bind-chroot 软件包

[root@h1 ~]# yum -y install bind bind-chroot

省略。。。。。。

Dependencies Resolved

=======================================================================================

Package     Arch     Version                 Repository       Size

=======================================================================================

Installing:                安装这2个包

bind        i686     32:9.8.2-0.10.rc1.el6_3.6   updates         4.0 M

bind-chroot  i686     32:9.8.2-0.10.rc1.el6_3.6   updates         70 k

Updating for dependencies:  升级2个依赖包

bind-libs    i686      32:9.8.2-0.10.rc1.el6_3.6   updates         882 k

bind-utils  i686     32:9.8.2-0.10.rc1.el6_3.6     updates         180 k

Transaction Summary

=======================================================================================Install       2 Package(s)

Upgrade    2 Package(s)

Installed:

bind.i686 32:9.8.2-0.10.rc1.el6_3.6      bind-chroot.i686 32:9.8.2-0.10.rc1.el6_3.6                                          

Dependency Updated:

bind-libs.i686 32:9.8.2-0.10.rc1.el6_3.6   bind-utils.i686 32:9.8.2-0.10.rc1.el6_3.6                                         

Complete!

到此bind 和 bind-chroot包安装完成

[root@h1 ~]# rpm -q bind

bind-9.8.2-0.10.rc1.el6_3.6.i686

[root@h1 ~]# rpm -q bind-chroot

bind-chroot-9.8.2-0.10.rc1.el6_3.6.i686

哈哈 现在都已经安装好了

7. yum install bind*还有三个包需要安装

[root@h1 etc]# yum install bind*

Dependencies Resolved

=======================================================================================

Package     Arch     Version                 Repository       Size

=======================================================================================

Installing:                安装这3个包

bind-devel   i686    32:9.8.2-0.10.rc1.el6_3.6     updates         376 k

bind-dyndb-ldap i686  1.1.0-0.9.b1.el6_3.1        updates          63 k

bind-sdb   i686   32:9.8.2-0.10.rc1.el6_3.6       updates          305 k

Transaction Summary

=======================================================================================I

Install       3 Package(s)

Upgrade     0 Package(s)

Installed:

bind-devel.i686 32:9.8.2-0.10.rc1.el6_3.6              

bind-dyndb-ldap.i686 0:1.1.0-0.9.b1.el6_3.1              

bind-sdb.i686 32:9.8.2-0.10.rc1.el6_3.6            

Complete!

现在都安装完毕了

8.修改named.conf文件，目录/etc/named.conf

[root@h1 etc]# vim /etc/named.conf        修改2处，标红显示

options {

        listen-on port 53 { any; };       //把127.0.0.1 修改成 any

        listen-on-v6 port 53 { ::1; };

        directory       "/var/named";

        dump-file       "/var/named/data/cache_dump.db";

        statistics-file "/var/named/data/named_stats.txt";

        memstatistics-file "/var/named/data/named_mem_stats.txt";

        allow-query     { any; };      //localhost 修改成 any

        recursion yes;

        dnssec-enable yes;

        dnssec-validation yes;

        dnssec-lookaside auto;

        /* Path to ISC DLV key */

        bindkeys-file "/etc/named.iscdlv.key";

        managed-keys-directory "/var/named/dynamic";

};

logging {

        channel default_debug {

                file "data/named.run";

                severity dynamic;

        };

};

zone "." IN {

        type hint;

        file "named.ca";

};

include "/etc/named.rfc1912.zones";

include "/etc/named.root.key";

9. 修改named.rfc1912.zones文件，目录/etc/named.rfc1912.zones

配置正向反向配置文件

[root@h1 etc]# vim /etc/named.rfc1912.zones     在这个文件末尾添加如下内容，红色是注意的地方

zone "leonarding.com" IN {

        type master;

        file "leonarding.com.zone";       注意这是你自己设置的域名，要牢牢记住

        allow-update { none; };

};

zone "2.168.192.in-addr.arpa" IN {

        type master;

        file "2.168.192.in-addr.zone";      这是反向配置文件

        allow-update { none; };

};

10.创建leonarding.com.zone和2.168.192.in-addr.zon 文件

[root@h1 etc]# cd /var/named          进入这个目录

[root@h1 named]# cp -p named.localhost leonarding.com.zone

[root@h1 named]# cp -p named.localhost 2.168.192.in-addr.zone

对这2个文件进行修改，修改成新的文件，这2个文件就是区域文件，一定要写对了，否则会报错

添加正向文件并且配置

[root@h1 named]# vim leonarding.com.zone

$TTL 86400

@    IN    SOA  h1.leonarding.com. chizk.www.leonarding.com. (

     0 ; serial (d. adams)

     1D ; refresh

     1H ; retry

     1W ; expiry

     3H ) ; minimum

@    IN    NS  h1.leonarding.com.

h1.leonarding.com. IN A 192.168.2.102

h2.leonarding.com. IN A 192.168.2.103

h4.leonarding.com. IN A 192.168.2.105

添加反向文件并且配置

[root@h1 named]# vim 2.168.192.in-addr.zone

$TTL 86400

@    IN    SOA  h1.leonarding.com. chizk.www.leonarding.com. (

     0 ; serial (d. adams)

     1D ; refresh

     1H ; retry

     1W ; expiry

     3H ) ; minimum

@    IN    NS  h1.leonarding.com.

102 IN PTR h1.leonarding.com.

103 IN PTR h2.leonarding.com.

105 IN PTR h4.leonarding.com.

修改正向文件和反向文件属组，使用chgrp即可

[root@h1 named]# chgrp named leonarding.com.zone

[root@h1 named]# chgrp named leonarding.com.rev

11.修改/etc/resolv.conf 添加DNS域名服务器ip

h1（master）

[root@h1 named]# vim /etc/resolv.conf

nameserver 192.168.2.102          在最后面追加此条即可，就是我的master机器ip

说明我们是把master机器作为DNS域名解析服务器，

h2（slave）

[root@h2 sysconfig]# vim /etc/resolv.conf

nameserver 192.168.2.102

h4（slave）

[root@h4 .ssh]# vim /etc/resolv.conf

nameserver 192.168.2.102

添加DNS域名服务器ip，当有域名或主机名解析的时候，就知道去哪台机器上进行映射了

12.启动DNS服务器

[root@h1 named]# service named start

启动  named：                            【确定】

13.使用nslookup命令测试域名解析

测试之前关闭防火墙

[root@h1 named]# service iptables status

Iptables：未运行防火墙

正向解析域名->IP

[root@h1 named]# nslookup h1.leonarding.com

Server:          192.168.2.102                    指域名服务器ip地址

Address:       192.168.2.102#53                     ip+端口号，DNS默认53端口

Name:   h1.leonarding.com                    域名解析

Address: 192.168.2.102                       映射ip

[root@h1 named]# nslookup h2.leonarding.com

Server:          192.168.2.102                    指域名服务器ip地址

Address:       192.168.2.102#53                     ip+端口号，DNS默认53端口

Name:   h2.leonarding.com                    域名解析

Address: 192.168.2.103                       映射ip

[root@h1 named]# nslookup h4.leonarding.com

Server:          192.168.2.102                    指域名服务器ip地址

Address:       192.168.2.102#53                    ip+端口号，DNS默认53端口

Name:   h4.leonarding.com                    域名解析

Address: 192.168.2.105                       映射ip

反向解析IP->域名

[root@h1 named]# nslookup 192.168.2.102

Server:          192.168.2.102

Address:       192.168.2.102#5

102.2.168.192.in-addr.arpa     name = h1.leonarding.com.

[root@h1 named]# nslookup 192.168.2.103

Server:          192.168.2.102

Address:       192.168.2.102#53

103.2.168.192.in-addr.arpa     name = h2.leonarding.com.

[root@h1 named]# nslookup 192.168.2.105

Server:          192.168.2.102

Address:       192.168.2.102#53

105.2.168.192.in-addr.arpa     name = h4.leonarding.com.

我们还可以使用host命令做解析测试

[root@h1 named]# host h2.leonarding.com

h2.leonarding.com has address 192.168.2.103

[root@h1 named]# host 192.168.2.103

103.2.168.192.in-addr.arpa domain name pointer h2.leonarding.com.

小结：到此我们使用Bind安装DNS服务器与配置，终于大功告成了，太不容易了，这是第一次独立完成DNS的配置和排除故障，之前也做过但一直顺风顺水，这次遇到了困难，还是应该多仔细认真反复查询测试，在此感谢ask兄的点拨！

三 生产环境下hadoop大集群NFS安装与配置

1.说明一下，我还是把NFS系统安装到h1节点（master上）然后把共享目录挂载到h1 h2 h4节点，实现ssh密钥的共享

2.NFS参考链接，感谢chizeng   gaojian309

http://f.dataguru.cn/thread-56101-1-4.html

http://f.dataguru.cn/thread-56037-1-1.html

3.三台虚拟操作系统如下

主机名


 

IP


 

节点名


 

备注


 

h1


 

192.168.2.102


 

master


 

namenode和jobtracker


 

h2


 

192.168.2.103


 

slave1


 

datanode和tasktracker


 

H4


 

192.168.2.105


 

slave2


 

datanode和tasktracker


 

4.我们开始做实验啦

检查NFS包是否已经安装

[root@h1 ~]# rpm -qa | grep nfs

nfs-utils-1.2.2-7.el6.i686

nfs4-acl-tools-0.3.3-5.el6.i686

nfs-utils-lib-1.1.5-1.el6.i686

现在都已经安装到系统中了

检查rpcbind包是否已经安装

[root@h1 ~]# rpm -qa | grep rpcbind

rpcbind-0.2.0-8.el6.i686

现在都已经安装到系统中了

如果你的系统显示没有安装，可以使用yum install nfs-utils rpcbind  进行安装，然后配置

5.我们查看一下NFS服务和rpcbind服务是否启动

[root@h1 ~]# service nfs status

rcp.svcgssd  已停

rpc.mountd  已停

nfsd        已停

rpc.rquotad  已停                nfs已经停止了，我们现在应该启动nfs服务

[root@h1 ~]# service rpcbind status

rpcbind (pid  1431)  正在运行…….

6.启动服务

[root@h1 ~]# service nfs start

启动NFS服务                   【确定】

关掉NFS配额                   【确定】

启动FNS守护进程               【确定】

启动NFS mountd                【确定】

设置开机启动

[root@h1 ~]# chkconfig nfs on

[root@h1 ~]# chkconfig rpcbind on

7.把/home/grid/目录设置为共享目录

[root@h1 grid]# vim /etc/exports            在exports文件中添加/home/grid *(sync,rw)字符串

/home/grid *(sync,rw)

解释

/home/grid       是NFS要共享的目录

星号             代表所有ip地址

Rw为读写，ro为只读

Sync为立刻写入硬盘，rsync为优先写入缓存

No_root_squas root用户具有根目录的完全管理访问权限（这个如果不配置会造成远程root用户只读）

[root@h1 grid]# cat /etc/exports

/home/grid *(sync,rw)

8.重启rpcbind和nfs服务

[root@h1 grid]# service rpcbind restart

停止 rpcbind：                    【确定】

正在启动rpcbind                  【确定】

[root@h1 grid]# service nfs restart

全部启动

注意这里也要关闭防火墙设置

9.输出本地挂载点（即master上的共享目录）

[root@h1 grid]# showmount -e localhost

Export list for localhost:

/home/grid *

解释：

/home/grid       是NFS要共享的目录

星号            代表所有ip地址

10.客户端h2 h4上配置

登陆h2

[root@h2 ~]# mkdir /nfs_share               在根目标下创建挂载点

[root@h2 ~]# mount -t nfs 192.168.2.102:/home/grid /nfs_share/   

在h2上访问h1把/home/grid目录挂载到/ nfs_share/目录下

drwx------.  38 grid hadoop  4096   12月   15 15:00 nfs_share

切换到grid用户进入共享目录查看

[grid@h2 ~]$ cd /nfs_share/

-bash: cd: nfs_share/:  权限不够

报错啦，权限不够，这是为什么呢，经过了激烈的测试，发现是h1中/home/grid目录权限问题

[root@h1 home]# chmod -R 777 grid     为了方便我直接给了全部权限，在h1上操作

[root@h2 /]# mount 192.168.2.102:/home/grid/ /nfs_share/    在h2上重新挂载目录

[root@h2 /]# su – grid                 切换用户

[grid@h2 /]$ cd nfs_share/             ok我们现在可以畅通无阻了

[grid@h2 nfs_share]$ cd .ssh           没有问题进来啦，成功

11.小测试

测试什么呢，我们不是设置了共享目录嘛，我在h1的共享目录上创建一个11111111.txt文件，然后登陆h2的挂载点，看看能不能查询到

h1   服务端

[root@h1 grid]# touch 11111111.txt

[root@h1 grid]# ll | grep 11111111.txt

h2   客户端

[grid@h2 nfs_share]$ ll | grep 11111111.txt

-rw-r--r--.  1 root root          0    1月    27 14:27 11111111.txt

12.设置开机后自动挂载nfs共享目录

修改fstab文件，这个文件描述了开机后应该挂载哪些挂载点

[root@h2 ~]# vim /etc/fstab                     在最后添加这行命令

192.168.2.102:/home/grid  /nfs_share            nfs     defaults        1 1

[root@h2 ~]# cat /etc/fstab

tmpfs                   /dev/shm                tmpfs   defaults        0 0

devpts                  /dev/pts                devpts  gid=5,mode=620  0 0

sysfs                   /sys                    sysfs   defaults        0 0

proc                    /proc                   proc    defaults        0 0

192.168.2.102:/home/grid  /nfs_share            nfs     defaults        1 1

现在NFS配置成功

13.使用NFS共享密钥文件

h2   客户端

[grid@h2 .ssh]$ pwd

/nfs_share/.ssh

[grid@h2 .ssh]$ ln -s authorized_keys /home/grid/.ssh/authorized_keys  

这种方式可能会导致软链接文件符号链接的层次过多，创建失败，但会有文件名注意文件名是红色的，这是不正常的，避免的方法是都使用绝对路径

还有另一种方法

[grid@h2 .ssh]$ cd ~/.ssh/

[grid@h2 .ssh]$ ln -s /nfs_share/.ssh/authorized_keys authorized_keys

authorized_keys -> /nfs_share/.ssh/authorized_keys

第一个authorized_keys指的是h2上的，第二个authorized_keys指的是h1上的，注意区分

我们用h1的authorized_keys文件来创建h2上authorized_keys文件软链接

注意如果原来h2上就有/home/grid/.ssh/authorized_keys文件需要先删除在创建

rm -rf /home/grid/.ssh/authorized_keys

我们在h2上看一下h1的authorized_keys文件内容

[grid@h2 .ssh]$ cat /nfs_share/.ssh/authorized_keys

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAr6+D01KKqeMUrkyakulV3su+9RU+jJ6sNJMlydxFq38oGBsJBwcskVL/I9ds7vE5g7coP+cMzgtRyj1ns+elgF0g3/uhtSerad4QdWXVLZgUjyUxijkm+nI3SSdwLihzsNNgH4GzeKX3HQAH/7S+rLoZSBPi//w9HYfO6VeXdo7N2lkvUxNW2z/h7JuYPMEqiaOIWAeLK7AJXhjJaeJkZh/ccGuEx4uBLRxqce5zjbNsFapoD2bact1w80a7mrgzAN3cVcQuQPzmpdj750negxMtai+QRmPDlSx2ZXtbarI4opSVmBiqpY84PJ/h9m5wptQ3hg/1XIxv4gyqwLSxZw== grid@h4

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5iKGfOGKh3d8BYr4vkkNaEtZkxCbBzBn6pfD0n3h82/1f9PwEtT4CEgqzBssYvQ2Nbc6dUy2NbDD9j5dIwQENS/fAJDwccdiJjEYMo5+o4ocPABx6OVM0r9nsUkyU7bxeHjap3ZUmcC1UvgW5asOsRMl7ePCze+rnt5D5ldZ+VOKh0NgtY2/CST8qXHmedfZFbQSEhIPf5Lh4A6oSoRHTFQbDN4apvf5s7Cm5/NgPiyhU+KbHBz96pNCxkjuOwj69a7kx4AgQYJoYc0T9O6YfjfVy3l1a7N2aJ6jp4SMv0GaohgzIrBNXwoFK6skuyf10yIxvNlGzkhTYK9GS9hjJw== grid@h2

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5V1lyss14a8aWFEkTk/aBgKHFLMX/XZX/xtXVUqJl8NkTQVLQ37+XLyqvTfrcJSja70diqB3TrwBp3K5eXNxp3EOr6EGHsi0B6D8owsg0bCDhxHGHu8RX8WB4DH9UOv1uPL5BESAPHjuemQuQaQzLagqrnXbrKix8CzdIEgmnOknYiS49q9msnzawqo3luQFRU7MQvAU9UZqkxotrnzHqh0tgjJ3Sq6O6nscA7w//Xmb0JGobVQAFCDJQdn/z1kOq7E5WNhVa8ynF9GOF7cMdppug7Ibw1RZ9cKa+igi1KhhavS5H7XCM64NuGfC87aQE9nz0ysS3Kh8PT5h6zlxfw== grid@h1

我们在看看h2的软链接文件内容是不是已经链过去了

[grid@h2 .ssh]$ cat authorized_keys

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAr6+D01KKqeMUrkyakulV3su+9RU+jJ6sNJMlydxFq38oGBsJBwcskVL/I9ds7vE5g7coP+cMzgtRyj1ns+elgF0g3/uhtSerad4QdWXVLZgUjyUxijkm+nI3SSdwLihzsNNgH4GzeKX3HQAH/7S+rLoZSBPi//w9HYfO6VeXdo7N2lkvUxNW2z/h7JuYPMEqiaOIWAeLK7AJXhjJaeJkZh/ccGuEx4uBLRxqce5zjbNsFapoD2bact1w80a7mrgzAN3cVcQuQPzmpdj750negxMtai+QRmPDlSx2ZXtbarI4opSVmBiqpY84PJ/h9m5wptQ3hg/1XIxv4gyqwLSxZw== grid@h4

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5iKGfOGKh3d8BYr4vkkNaEtZkxCbBzBn6pfD0n3h82/1f9PwEtT4CEgqzBssYvQ2Nbc6dUy2NbDD9j5dIwQENS/fAJDwccdiJjEYMo5+o4ocPABx6OVM0r9nsUkyU7bxeHjap3ZUmcC1UvgW5asOsRMl7ePCze+rnt5D5ldZ+VOKh0NgtY2/CST8qXHmedfZFbQSEhIPf5Lh4A6oSoRHTFQbDN4apvf5s7Cm5/NgPiyhU+KbHBz96pNCxkjuOwj69a7kx4AgQYJoYc0T9O6YfjfVy3l1a7N2aJ6jp4SMv0GaohgzIrBNXwoFK6skuyf10yIxvNlGzkhTYK9GS9hjJw== grid@h2

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5V1lyss14a8aWFEkTk/aBgKHFLMX/XZX/xtXVUqJl8NkTQVLQ37+XLyqvTfrcJSja70diqB3TrwBp3K5eXNxp3EOr6EGHsi0B6D8owsg0bCDhxHGHu8RX8WB4DH9UOv1uPL5BESAPHjuemQuQaQzLagqrnXbrKix8CzdIEgmnOknYiS49q9msnzawqo3luQFRU7MQvAU9UZqkxotrnzHqh0tgjJ3Sq6O6nscA7w//Xmb0JGobVQAFCDJQdn/z1kOq7E5WNhVa8ynF9GOF7cMdppug7Ibw1RZ9cKa+igi1KhhavS5H7XCM64NuGfC87aQE9nz0ysS3Kh8PT5h6zlxfw== grid@h1

看一模一样

在H4节点上共享密钥文件

h4

[root@h4 ~]# mkdir /nfs_share                      在根目标下创建挂载点

[root@h4 ~]# mount -t nfs 192.168.2.102:/home/grid /nfs_share/

在h4上访问h1把/home/grid目录挂载到/ nfs_share/目录下

[root@h4 ~]# su – grid          切换到grid用户

[grid@h4 /]$ cd nfs_share/.ssh/   我们可以成功进入共享目录来访问h1中的文件

修改fstab文件，这个文件描述了开机后应该挂载哪些挂载点

[root@h4 ruby]# vim /etc/fstab

tmpfs                   /dev/shm                tmpfs   defaults        0 0

devpts                  /dev/pts                devpts  gid=5,mode=620  0 0

sysfs                   /sys                    sysfs   defaults        0 0

proc                    /proc                   proc    defaults        0 0

192.168.2.102:/home/grid  /nfs_share            nfs     defaults        1 1

在最后添加红色字符串一行，这样在重启时系统就会自动挂载NFS共享目录

[grid@h4 .ssh]$ cd ~/.ssh/      进入h4的.ssh目录

[grid@h4 .ssh]$ rm -rf authorized_keys    发现原来存在authorized_keys文件顾删除

[grid@h4 .ssh]$ ln -s /nfs_share/.ssh/authorized_keys ~/.ssh/authorized_keys

authorized_keys -> /nfs_share/.ssh/authorized_keys  软链接文件已经生成

[grid@h4 .ssh]$ cat authorized_keys               查看软链接文件内容

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEAr6+D01KKqeMUrkyakulV3su+9RU+jJ6sNJMlydxFq38oGBsJBwcskVL/I9ds7vE5g7coP+cMzgtRyj1ns+elgF0g3/uhtSerad4QdWXVLZgUjyUxijkm+nI3SSdwLihzsNNgH4GzeKX3HQAH/7S+rLoZSBPi//w9HYfO6VeXdo7N2lkvUxNW2z/h7JuYPMEqiaOIWAeLK7AJXhjJaeJkZh/ccGuEx4uBLRxqce5zjbNsFapoD2bact1w80a7mrgzAN3cVcQuQPzmpdj750negxMtai+QRmPDlSx2ZXtbarI4opSVmBiqpY84PJ/h9m5wptQ3hg/1XIxv4gyqwLSxZw== grid@h4

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5iKGfOGKh3d8BYr4vkkNaEtZkxCbBzBn6pfD0n3h82/1f9PwEtT4CEgqzBssYvQ2Nbc6dUy2NbDD9j5dIwQENS/fAJDwccdiJjEYMo5+o4ocPABx6OVM0r9nsUkyU7bxeHjap3ZUmcC1UvgW5asOsRMl7ePCze+rnt5D5ldZ+VOKh0NgtY2/CST8qXHmedfZFbQSEhIPf5Lh4A6oSoRHTFQbDN4apvf5s7Cm5/NgPiyhU+KbHBz96pNCxkjuOwj69a7kx4AgQYJoYc0T9O6YfjfVy3l1a7N2aJ6jp4SMv0GaohgzIrBNXwoFK6skuyf10yIxvNlGzkhTYK9GS9hjJw== grid@h2

ssh-rsa AAAAB3NzaC1yc2EAAAABIwAAAQEA5V1lyss14a8aWFEkTk/aBgKHFLMX/XZX/xtXVUqJl8NkTQVLQ37+XLyqvTfrcJSja70diqB3TrwBp3K5eXNxp3EOr6EGHsi0B6D8owsg0bCDhxHGHu8RX8WB4DH9UOv1uPL5BESAPHjuemQuQaQzLagqrnXbrKix8CzdIEgmnOknYiS49q9msnzawqo3luQFRU7MQvAU9UZqkxotrnzHqh0tgjJ3Sq6O6nscA7w//Xmb0JGobVQAFCDJQdn/z1kOq7E5WNhVa8ynF9GOF7cMdppug7Ibw1RZ9cKa+igi1KhhavS5H7XCM64NuGfC87aQE9nz0ysS3Kh8PT5h6zlxfw== grid@h1

小结：通过对比我们知道h1的authorized_keys授权文件和h2 h4上的软链接文件内容都是一模一样的，到此我们就可以免密码连入了



 本文转自 leonarding151CTO博客，原文链接：http://blog.51cto.com/leonarding/1127483，如需转载请自行联系原作者


 

上一篇 下一篇
优秀的个人博客,低调大师

微信关注我们

原文链接：https://yq.aliyun.com/articles/421569

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

elasticsearch安装ik分词器

一、概要： 1.es默认的分词器对中文支持不好，会分割成一个个的汉字。ik分词器对中文的支持要好一些，主要由两种模式：ik_smart和ik_max_word 2.环境 操作系统：centos es版本：6.0.0 二、安装插件 1.插件地址：https://github.com/medcl/elasticsearch-analysis-ik 2.运行命令行： ./bin/elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v6.0.0/elasticsearch-analysis-ik-6.0.0.zip 运行完成后会发现多了以下文件：esroot 下的plugins和config文件夹多了analysis-ik目录。 三、重启es 1.查找es进程 ps -ef | grep elastic 2.终止进程 从上面的结果可以看到es进程号是12776. 执行命令： kill 12776 3.启动es后台运行 ./bin/sh elastic ...
2017-11-07
614
上一篇

Pig安装讲解

Pig 简介： Pig 是 Apache 项目的一个子项目，Pig 提供了一个支持大规模数据分析的平台，Pig 突出的特点就是它的结构经得起大量并行任务的检验，使得它能够处理大规模数据集 Pig 特点： Pig可简化MapReduce任务的开发 Pig可以看做Hadoop的客户端软件，可以连接到Hadoop集群进行数据分析工作 Pig方便不熟悉Java的用户，使用一种较为简便的类似 SQL的面向数据流的语言PigLatin语言进行数据处理 PigLatin可以进行排序，过滤，求和，分组，关联等常用操作，还可以自定义函数，这是面向数据分析处理的轻量级脚本语言 Pig可以看做是PigLatin到MapReduce的映射器 当Pig在MapReduce模式运行时，它将访问一个Hadoop集群和HDFS的安装位置。这时Pig将自动地对这个集群进行分配和回收 Pig的数据模式：relation(关系), bag(包), tuple(元组), field(字段，列) relation（关系）：具有相同字段(列)的tuple称为关系 bag(包)：与关系型数据库中的表类似，包含多个 tup...
2017-11-07
614
下一篇

相关文章

发表评论

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2025-12-13 大小: 1MB 下载: 0次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2025-12-13 大小: 189MB 下载: 0次
Spring

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-13 大小: 5MB 下载: 0次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次
手机查看

扫码在手机上查看文章

扫描二维码，手机阅读更方便

热门标签
HarmonyOS6 Redis SpringCloud Service Mesh Nacos3 Jdk25 Rocky DeepSeek Gemini3 Kubernetes Docker OpenAi SpringBoot4

欢迎您！

登录后，您将获得更多功能！

热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273