《Hadoop MapReduce实战手册》一2.10 挂载HDFS（Fuse-DFS）
本节书摘来异步社区《Hadoop MapReduce实战手册》一书中的第2章，第2.10节，作者： 【美】Srinath Perera , Thilina Gunarathne 译者： 杨卓荦 责编： 杨海玲，更多章节内容可以访问云栖社区“异步社区”公众号查看。
2.10 挂载HDFS（Fuse-DFS）
Hadoop MapReduce实战手册
Fuse-DFS项目使我们能够在Linux上挂载HDFS（也支持许多其他版本的Unix）作为标准的文件系统。这样做，可以允许任何程序或用户使用类似于传统的文件系统的方式访问HDFS和与HDFS交互。
准备工作
系统中必须安装以下软件：
Apache Ant（http://ant.apache.org/）；
Fuse和fuse开发包。Fuse开发文件可以通过Redhat/Fedora安装fuse-devel RPM或者Debian/Ubuntu安装libfuse-dev软件包的方式获得。
JAVA_HOME必须设置为指向JDK的环境，而不是JRE。
要挂载HDFS文件系统，还需要具备操作系统节点的root权限。
以下攻略假定你已经预先内置了libhdfs库。Hadoop中包含为Linux x86_64/i386平台预编译的libhdfs库。如果使用其他平台，首先需要参考本节“更多参考”小节中的“构建libhdfs”，以正确构建libhdfs库。
操作步骤
下列步骤显示了如何挂载HDFS文件系统作为一个Linux的标准文件系统。
- 转到$ HADOOP_HOME并创建一个名为build的新目录。
>cd $HADOOP_HOME
>mkdir build
- 创建符号链接，链接到build目录里面的libhdfs库。
>ln -s c++/Linux-amd64-64/lib/ build/libhdfs
- 将C++目录复制到build文件夹。
>cp -R c++/ build/
- 在$HADOOP_HOME下执行以下命令，建立fuse-dfs。此命令将在build/contrib/fuse- dfs/目录下生成fuse_dfs和fuse_dfs_wrapper.sh文件。
>ant compile-contrib -Dlibhdfs=1 -Dfusedfs=1
提示
如果构建失败，并显示类似undefined reference to 'fuse_get_ context'的信息，则需要将以下内容追加到src/contrib/fuse- dfs/src/Makefile.am文件的末尾：
fuse_dfs_LDADD =-lfuse-lhdfs-ljvm-LM
- 验证fuse_dfs_wrapper.sh中的路径信息并更正它们。可能需要更改以下行的libhdfs路径：
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/$OS_ARCH/server:$HADOOP_HOME/
build/libhdfs/:/usr/local/lib
- 如果已经存在，则需要在/etc/fuse.conf文件中注释掉user_allow_other行。
- 创建一个目录作为挂载点：
>mkdir /u/hdfs
- 在build/contrib/fuse-dfs/目录下执行以下命令。而且，必须以root权限执行此命令。确保在根环境下也能正确设置HADOOP_HOME和JAVA_HOME环境变量。可选的-d参数用于开启调试模式。当你第一次运行它的时候，将在调试模式下运行以下命令，方便识别任何错误信息。rw参数挂载文件系统为可读写（ro为只读）。-oserver必须指向NameNode的主机名。-oport应提供NameNode的端口号。
>chmoda+x fuse_dfs_wrapper.sh
>./fuse_dfs_wrapper.sh rw -oserver=localhost -oport=9000 /u/hdfs/
-d
工作原理
Fuse-DFS是基于用户空间的文件系统进行构建的。FUSE项目（http://fuse.sourceforge.net/），致力于让用户能够实现用户空间的文件系统。Fuse-DFS使用libhdfs C API与HDFS文件系统交互。libhdfs使用JNI产生一个JVM，与配置的HDFS的NameNode进行通信。
更多参考
正如前面章节所述，使用Fuse-DFS，HDFS的许多实例可以挂载到不同的目录上。
构建libhdfs
为了构建libhdfs，必须在系统上安装以下软件：
- ant-nodeps和ant-trax包；
- automake包；
- Libtool包；
- zlib-devel包；
- JDK 1.5—编译Apache Forrest的时候需要；
- Apache Forrest（http://forrest.apache.org/）—建议使用0.8版本。
通过在$HADOOP_HOME下执行如下命令编译libhdfs：
>ant compile-c++-libhdfs -Dislibhdfs=1
通过执行以下命令将libhdfs打包。使用-Djava5.home属性提供JDK 1.5的路径。使用
-Dforrest.home属性提供Apache Forrest的安装路径。
>ant package -Djava5.home=/u/jdk1.5 -Dforrest.home=/u/apache-forrest-0.8
检查build/libhdfs目录是否包含libhdfs.*文件。如果没有，请将build/c++/cture>/lib目录下的文件复制到build/libhdfs下。
>cp -R build/c++/<Your_OS_Architecture/lib>/ build/libhdfs
