HDFS进阶应用配置 NFS 网关-低调大师

HDFS进阶应用配置 NFS 网关

2017-11-22 612

HDFS进阶应用配置NFS 网关

• NFS 网关用途

– 1.用户可以通过操作系统兼容的本地NFSv3客户端来阅览HDFS文件系统

– 2.用户可以从HDFS文件系统下载文档到本地文件系统

– 3.用户可以通过挂载点直接流化数据。支持文件附加,但是不支持随机写

– NFS 网关支持NFSv3和允许HDFS 作为客户端文件系统的一部分被挂载

• 特性与注意事项

– 不支持随机写

– 在非安全模式,运行网关的用户是代理用户

– 在安全模式时,Kerberos keytab中的用户是代理用户

– AIX NFS有一些知道的问题,不能让默认的HDFS NFS网关正常工作,如果想在 AIX 访问 NFS 网关需要配置下面的参数

<name>nfs.aix.compatibility.mode.enabled</name>

</property>

• 特性与注意事项

– HDFS超级用户是与NameNode进程本身具有相同标识的用户,超级用户可以执行任何操作,因为权限检查永远不会为超级用户失败。

<name>nfs.superuser</name>

<value>the_name_of_hdfs_superuser</value>

</property>

– 如果客户端安装允许访问时间更新,在某些Unix系统上,用户可以通过使用“noatime”安装来禁用访问时间更新

<name>dfs.namenode.accesstime.precision</name>

</property>

– nfs.dump.dir

– 用户需要更新文件转储目录参数。NFS客户端经常重新安排写操作,顺序的写操作会以随机到达NFS网关。这个目录常用于临时存储无序的写操作。对于每个文件,无序的写操作会在他们积累在内存中超过一定阈值(如。1 mb)被转储。需要确保有足够的空间的目录。例如,如果应用上传10个100M,那么这个转储目录推荐有1GB左右的空间,以便每个文件都发生最坏的情况。只有NFS网关需要在设置该属性后重启。

– nfs.exports.allowed.hosts

– 默认情况下,export可以被任何客户端挂载。为了更好的控制访问,可以设置属性。值字符串为机器名和访问策略,通过空格来分割。机器名的格式可以是单一的主机,Java的正则表达式或者IPv4地址。访问权限使用rw或ro来指定导出目录的读/写或机器只读访问。如果访问策略没被提供,默认为只读的。每个条目使用“;”来分割。

• 调试与日志排错

– 在配置 NFS 网关过程中经常会碰到各种各样的错误,如果出现了错误,打开调试日志是一个不错的选择

• log4j.property

– log4j.logger.org.apache.hadoop.hdfs.nfs=DEBUG

– log4j.logger.org.apache.hadoop.oncrpc=DEBUG

• core-site.xml

– hadoop.proxyuser.{nfsuser}.groups

– hadoop.proxyuser.{nfsuser}.hosts

– 这里的 nfsuser 是你机器上真实运行 nfsgw 的用户

– 在非安全模式,运行nfs网关的用户为代理用户

– groups 为挂载点用户所使用的组

– hosts 为挂载点主机地址

• hdfs-site.xml

– nfs.exports.allowed.hosts

– 设置允许访问 NFS 主机列与权限,默认 “ro”

<name>nfs.exports.allowed.hosts</name>

</property>

– dfs.namenode.accesstime.precision

– 关闭 access time

<name>dfs.namenode.accesstime.precision</name>

</property>

– nfs.dump.dir

– 设置转储目录

</property>

– nfs.rtmax & nfs.wtmax

– 用户可以像访问本地文件系统的一部分一样访问HDFS,但硬链接和随机写还不支持。对于大文件I/O的优化,可以在mount的时候增加NFS传输的大小(rsize和wsize)。在默认情况下,NFS网关支持1MB作为最大的传输大小。更大的数据传输大小,需要在hdfs-site.xml中设置“nfs.rtmax” 和“nfs.wtmax”

– nfs.rtmax & nfs.wtmax

<name>nfs.rtmax</name>

</property>

<name>nfs.wtmax</name>

</property>

– nfs.port.monitoring.disabled

– 允许从没有权限的客户端挂载 nfs

<name>nfs.port.monitoring.disabled</name>

<value>false</value>

</property>

• nfs.map

– 系统管理员必须确保在NFS客户端的用户和在HDFS网关主机上的用户有相同的名称和UID。不同主机上创建的用户需要修改UID(例如使用“usermod -u 123myusername”),在NFS客户端或者NFS网关主机来进行。如果客户端的用户和NFS网关的用户 uid 不能保持一致需要我们配置 nfs.map 的静态映射关系

实验环境准备参考 http://blog.51cto.com/13558754/2066708

配置 NFS 网关

# cd /usr/local/hadoop/

# ./sbin/stop-all.sh

# jps

6598 Jps

# vim /etc/hosts

192.168.4.1 master

192.168.4.2 node1

192.168.4.3 node2

192.168.4.4 node3

192.168.4.5 nfsgw //添加新的主机

# for i in {1..5}

> do

> rsync -a /etc/hosts 192.168.4.${i}:/etc/hosts

> done

# scp /etc/yum.repos.d/yum.repo nfsgw:/etc/yum.repos.d/

yum.repo 100% 61 0.1KB/s 00:00

# ssh nfsgw

Last login: Wed Jan 31 08:20:55 2018 from master

# sed -ri "s/^(SELINUX=).*/\1disabled/" /etc/selinux/config ; yum -y remove firewalld

# reboot

// 添加用户

[root@nfsgw ~]# adduser -g 10 -u 1001 nfsuser

[root@nfsgw ~]# id nfsuser

uid=1001(nfsuser) gid=10(wheel) 组=10(wheel)

[root@master ~]# adduser -g 10 -u 1001 nfsuser

[root@master ~]# id nfsuser

[root@master ~]# cd /usr/local/hadoop/

[root@master hadoop]# cd etc/hadoop/

[root@master hadoop]# vim core-site.xml

<name>hadoop.proxyuser.nfsuser.groups</name>

</property>

<name>hadoop.proxyuser.nfsuser.hosts</name>

</property>

[root@master hadoop]# for i in node{1..3}

> do

> rsync -a /usr/local/hadoop/etc/hadoop/ ${i}:/usr/local/hadoop/etc/hadoop/ -e "ssh"

> done

[root@master ~]# ssh nfsgw

[root@nfsgw ~]# yum -y install java-1.8.0-openjdk-devel.x86_64

[root@nfsgw ~]# cd /usr/local/

[root@nfsgw ~]# rsync -azSH --delete master:/usr/local/hadoop ./ -e "ssh" //同步hadoop

[root@nfsgw ~]# yum -y remove rpcbind nfs-util

[root@master ~]# cd /usr/local/hadoop/

[root@master hadoop]# ./sbin/start-dfs.sh //启动集群

[root@master hadoop]# jps

6755 NameNode

7062 Jps

6953 SecondaryNameNode

[root@master hadoop]# ./bin/hdfs dfsadmin -report //检查节点

[root@master hadoop]# ssh nfsgw

Last login: Wed Jan 31 08:26:48 2018 from master

[root@nfsgw ~]# cd /usr/local/hadoop/

[root@nfsgw hadoop]# cd etc/hadoop/

[root@nfsgw hadoop]# vim hdfs-site.xml

...

<name>nfs.exports.allowed.hosts</name>

<value>* rw</value> //允许那些主机访问权限

</property>

<name>dfs.namenode.accesstime.precision</name>

<value>3600000</value> //accesstime 更新时间

</property>

<value>/var/nfstemp</value> //转储目录

</property>

<name>nfs.rtmax</name>

<value>4194304</value> // 读文件传输大小

</property>

<name>nfs.wtmax</name>

<value>1048576</value> //写文件传输大小

</property>

<name>nfs.port.monitoring.disabled</name>

<value>false</value> // 允许客户端挂载

</property>

...

[root@nfsgw ~]# mkdir /var/nfstemp

[root@nfsgw ~]# chown 1001.10 /var/nfstemp/

[root@nfsgw ~]# setfacl -m u:nfsuser:rwx /usr/local/hadoop/logs/

[root@nfsgw ~]# cd /usr/local/hadoop/

– 启动 portmap 服务

[root@nfsgw hadoop]# ./sbin/hadoop-daemon.sh --script ./bin/hdfs start portmap

starting portmap, logging to /usr/local/hadoop/logs/hadoop-root-portmap-nfsgw.out

[root@nfsgw hadoop]# su nfsuser

– 启动 nfs3

[nfsuser@nfsgw hadoop]$ ./sbin/hadoop-daemon.sh --script ./bin/hdfs start nfs3

starting nfs3, logging to /usr/local/hadoop/logs/hadoop-nfsuser-nfs3-nfsgw.out

[nfsuser@nfsgw hadoop]$ jps

2728 Jps

2671 Nfs3

[nfsuser@nfsgw hadoop]$ exit

exit

[root@nfsgw hadoop]# jps

2738 Jps

2588 Portmap

2671 -- process information unavailable

– 这里要特别注意:

– 启动 portmap 需要使用 root 用户

– 启动 nfs3 需要使用 core-site 里面设置的用户

挂载 nfs

– 目前NFS v3仅使用TCP作为传输协议。不支持NLM,因此需要安装选项“nolock”。强烈建议使用安装选项“sync”,因为它可以最小化或避免重新排序写入,这将导致更可预测的吞吐量。未指定同步选项可能会导致上传大文件时出现不可靠的行为

– 如果必须使用软安装,用户应该给它一个相对较长的超时(至少不小于主机上的默认超时)

# mount -t nfs -o vers=3,proto=tcp,nolock,sync,noatime,noacl 192.168.4.5:/ /mnt/

# ls /mnt/

input output tmp

本文转自 Xuenqlve 51CTO博客，原文链接：http://blog.51cto.com/13558754/2067893，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/493125

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

ansible批量增加用户和设置密码

一、两种法批量增加用户和设置密码 1、第一种 1.1 playbook 1 2 3 4 5 6 7 8 --- -hosts: "`hosts`" gather_facts: false tasks: -name:Changepassword user:name={{item}}password={{new_pass|password_hash( 'sha512' )}} with_items:users 1.2 执行，214就是要设置密码 1 ansible-playbooktestuser.yml-e "hosts=jumpusers=testusernew_pass=*(214)" 2、第二种 2.1 playbook 1 2 3 4 5 6 7 8 9 --- -hosts:all user:root vars: #createdwith: ##python-c'python-c'importcrypt;printcrypt.crypt("hh4213","hadoop")' password:haHAfV7dvUhpM tasks: -user:n...

2017-11-23

675

Yarn集群资源管理系统 Yarn 角色及概念 •Yarn 是 Hadoop 的一个通用的资源管理系统 • Yarn 角色 – Resourcemanager – Nodemanager – ApplicationMaster – Container – Client • ResourceManager – 处理客户端请求 – 启动 / 监控 ApplicationMaster – 监控 NodeManager – 资源分配与调度 • NodeManager – 单个节点上的资源管理 – 处理来自 ResourceManager 的命令 – 处理来自 ApplicationMaster 的命令 • Container – 对任务运行行环境的抽象,封装了 CPU 、内存等 – 多维资源以及环境变量、启动命令等任务运行相关的信息资源分配与调度 • ApplicationMaster – 数据切分 – 为应用程序申请资源,并分配给内部任务 – 任务监控与容错 • Client – 用户与 YARN 交互的客户端程序 – 提交应用程序、监控应用程序状态,杀死应用程序等 Yarn 结构 • YA...

2017-11-23

611

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。