史上最快! 10小时大数据入门实战(三)-分布式文件系统HDFS
HDFS 环境搭建
HDFS 伪分布式环境搭建
CentOS 环境安装步骤
MacOS安装环境
安装jdk
jdk安装路径
/usr/libexec/java_home -V:列出所有版本的JAVA_HOME
设置 JAVA_HOME
- 添加java_home到.bash_profile文件中
export JAVA_HOME=$(/usr/libexec/java_home)
export PATH=$JAVA_HOME/bin:$PATH
export CLASS_PATH=$JAVA_HOME/lib
Mac OS X ssh设置
输入命令ssh localhost，可能遇到如下问题
原因是没打开远程登录，进入系统设置->共享->远程登录打开就好
这时你再ssh localhost一下
-
下载 Hadoop
![img_2aa460d33c2ade23f6fffbe7af207935.png]()
-
解压到soft目录
![img_5ec2c9b499e7f4e82d1666168949564e.png]()
![img_f56ec7339127b8ef0062e66d77b6ec3b.png]()
官方指南 -
编辑 hadoop-env.sh 文件
![img_a2d3fb94cd087b7e44a89b848869e8bf.png]()
![img_15d192bf5f85adc7aab49455f0e39dae.png]()
![img_59254ebc632af9964a2f04527862060c.png]()
![img_a906b02d8f67b01c0074b5aba51698a9.png]()
Hadoop也可以在伪分布模式下的单节点上运行，其中每个Hadoop守护进程都在单独的Java进程中运行
![img_06aa1c172b420009e2a12e9a2b5c2fb3.png]()
![img_65b30b34605dbe2bfafbf9fdebbda9fa.png]()
具体更改
![img_efc06db48fae80f3f6a8dc45c7315739.png]()
新建一个临时文件目录
![img_be6b53e5eccdf097859e3faed9233d85.png]()
编辑 hdfs/core-site.xml 文件
![img_8c05663472e3f59cab9dd0c3761c4e7c.png]()
![img_6546468aaab02830049507b882ddd848.png]()
![img_1f98ec1382d2a0b17ab0f9ab509cb2c1.png]()
配置 datanode 节点数启动 hdfs
![img_73136f1931ef072a3e31f6d53c7e6b84.png]()
![img_f622c00b132d85784e65baa0cddbf99d.png]()
![img_6c1bdf7d1c439b803ff91681c94f58c4.png]()
查看进程
访问 http://localhost:50070/
表示HDFS已经安装成功
存活节点
步骤小结
关闭
HDFS Shell 操作
官网指南
先启动 HDFS
配置 hadoop 环境变量
成功
指令集
dfs fs 无差异
上传一个 txt 文件
创建文件夹
多层次文件夹
遍历所有文件夹
删除文件/文件夹
所上传的文件
Java 操作 HDFS 开发环境搭建
pom 文件
JavaAPI 操作 HDFS文件系统
测试通过
-
测试创建文件方法
![img_405ad6661f9c0f43a150a9dd5aa82183.png]()
![img_30f7468e45cf490f8e6cd11f84af9472.png]()
-
查看 HDFS 文件的内容
![img_628682a5d54219e25089a630bdb90768.png]()
![img_540d658d84faa510e0f0844cb0e092f3.png]()
-
上传文件到 HDFS
![img_889e8f775e5a2e66b7534de2dddd119c.png]()
-
上传文件到 HDFS(带进度条)
![img_7f76b95c971ea939a05e1732eda19426.png]()
![img_ad02e6643fba1d494c6a6500766fd162.png]()
测试通过
![img_14f506685c24546b5202409e5b47ea10.png]()
-
下载文件到本地
![img_48edeb74ca6cef2cc58f637c8b8ee64b.png]()
![img_9d29fee0068af04c4ce1939d6f5eee1a.png]()
测试通过
![img_ce63cded03856c56155e81df52b77e0c.png]()
-
查看某个目录下的所有文件
![img_522f22b45be680ef747bcb9c6c669774.png]()
![img_50983f3c6caf5a214371b8257b7b38f4.png]()
测试通过
![img_020407ccdfb7c7fb521472756c7c6616.png]()
-
删除文件/文件夹
![img_9fcffc4f9defaecc1a108a71c6a65db0.png]()
![img_11667f52b04a33d3786e1b4f38a6c3f4.png]()
![img_93d41ad3e1dea8923a2f3cfa876ea2b9.png]()
