HDFS命令行客户端使用,命令行客户端支持的命令参数,常用命令参数介绍

2017-05-29 691

3.HDFS的shell(命令行客户端)操作

3.1 HDFS命令行客户端使用

HDFS提供shell命令行客户端，使用方法如下：

[toto@hadoop hadoop-2.8.0]$ hdfs dfs -ls / （推荐使用这种方式，hdfs现在这种是最新的一种方式）

Found 4 items

drwxr-xr-x - toto supergroup 0 2017-05-29 14:01 /findbugs-1.3.9

drwxr-xr-x - toto supergroup 0 2017-05-29 03:23 /hive

drwx------ - toto supergroup 0 2017-05-29 14:47 /tmp

drwxr-xr-x - toto supergroup 0 2017-05-29 14:47 /user

[toto@hadoop hadoop-2.8.0]$

或者使用：

[toto@hadoop hadoop-2.8.0]$ hadoop fs -ls /

Found 4 items

drwxr-xr-x - toto supergroup 0 2017-05-29 14:01 /findbugs-1.3.9

drwxr-xr-x - toto supergroup 0 2017-05-29 03:23 /hive

drwx------ - toto supergroup 0 2017-05-29 14:47 /tmp

drwxr-xr-x - toto supergroup 0 2017-05-29 14:47 /user

[toto@hadoop hadoop-2.8.0]$

3.2 命令行客户端支持的命令参数

[toto@hadoop learn]$ hadoop fs help

Usage: hadoop fs [generic options]

[-appendToFile <localsrc> ... <dst>]

[-cat [-ignoreCrc] <src> ...]

[-checksum <src> ...]

[-chgrp [-R] GROUP PATH...]

[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]

[-chown [-R] [OWNER][:[GROUP]] PATH...]

[-copyFromLocal [-f] [-p] [-l] [-d] <localsrc> ... <dst>]

[-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]

[-count [-q] [-h] [-v] [-t [<storage type>]] [-u] [-x] <path> ...]

[-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]

[-createSnapshot <snapshotDir> [<snapshotName>]]

[-deleteSnapshot <snapshotDir> <snapshotName>]

[-df [-h] [<path> ...]]

[-du [-s] [-h] [-x] <path> ...]

[-expunge]

[-find <path> ... <expression> ...]

[-get [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]

[-getfacl [-R] <path>]

[-getfattr [-R] {-n name | -d} [-e en] <path>]

[-getmerge [-nl] [-skip-empty-file] <src> <localdst>]

[-help [cmd ...]]

[-ls [-C] [-d] [-h] [-q] [-R] [-t] [-S] [-r] [-u] [<path> ...]]

[-mkdir [-p] <path> ...]

[-moveFromLocal <localsrc> ... <dst>]

[-moveToLocal <src> <localdst>]

[-mv <src> ... <dst>]

[-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>]

[-renameSnapshot <snapshotDir> <oldName> <newName>]

[-rm [-f] [-r|-R] [-skipTrash] [-safely] <src> ...]

[-rmdir [--ignore-fail-on-non-empty] <dir> ...]

[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]

[-setfattr {-n name [-v value] | -x name} <path>]

[-setrep [-R] [-w] <rep> <path> ...]

[-stat [format] <path> ...]

[-tail [-f] <file>]

[-test -[defsz] <path>]

[-text [-ignoreCrc] <src> ...]

[-touchz <path> ...]

[-truncate [-w] <length> <path> ...]

[-usage [cmd ...]]

[toto@hadoop learn]$

3.2 常用命令参数介绍

关于hdfs的命令,可以查看http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

FS Shell

调用文件系统(FS)Shell命令应使用 bin/hadoop fs <args>的形式。所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统，scheme是hdfs，对本地文件系统，scheme是file。其中scheme和authority参数都是可选的，如果未加指定，就会使用配置中指定的默认scheme。一个HDFS文件或目录比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child，或者更简单的/parent/child（假设你配置文件中的默认值是namenode:namenodeport）。大多数FS Shell命令的行为和对应的Unix Shell命令类似，不同之处会在下面介绍各命令使用详情时指出。出错信息会输出到stderr，其他信息输出到stdout。

-help

功能：输出这个命令参数手册

-ls

功能：显示目录信息

示例： hadoop fs -ls hdfs://hadoop:9000/

备注：这些参数中，所有的hdfs路径都可以简写

-->hadoop fs -ls / 等同于上一条命令的效果

[toto@hadoop learn]$ hadoop fs -ls hdfs://hadoop:9000/

Found 4 items

drwxr-xr-x - toto supergroup 0 2017-05-29 14:01 hdfs://hadoop:9000/findbugs-1.3.9

drwxr-xr-x - toto supergroup 0 2017-05-29 03:23 hdfs://hadoop:9000/hive

drwx------ - toto supergroup 0 2017-05-29 14:47 hdfs://hadoop:9000/tmp

drwxr-xr-x - toto supergroup 0 2017-05-29 14:47 hdfs://hadoop:9000/user

[toto@hadoop learn]$

上面的命令等同：hadoop fs -ls /

[toto@hadoop learn]$ hadoop fs -ls hdfs://hadoop:9000/findbugs-1.3.9

下面的命令表示同时列出hdfs://hadoop:9000/findbugs-1.3.9和hive下面的内容

[toto@hadoop learn]$ hadoop fs -ls hdfs://hadoop:9000/findbugs-1.3.9 /hive

-mkdir

mkdir

使用方法：hadoop fs -mkdir <paths>

功能：在hdfs上创建目录，接受路径指定的uri作为参数，创建这些目录。其行为类似于Unix的mkdir -p，它会创建路径中的各级父目录。

示例：hadoop fs -mkdir -p /aaa/bbb/cc/dd

再如示例：

[toto@hadoop learn]$hadoop fs –mkdir -p /user/hadoop/dir1 /user/hadoop/dir2

[toto@hadoop learn]$ hadoop fs -mkdir -p hdfs://hadoop:9000/toto hdfs://hadoop:9000/toto2

[toto@hadoop learn]$ hadoop fs -ls /

Found 6 items

drwxr-xr-x - toto supergroup 0 2017-05-29 14:01 /findbugs-1.3.9

drwxr-xr-x - toto supergroup 0 2017-05-29 03:23 /hive

drwx------ - toto supergroup 0 2017-05-29 14:47 /tmp

drwxr-xr-x - toto supergroup 0 2017-05-29 23:40 /toto

drwxr-xr-x - toto supergroup 0 2017-05-29 23:41 /toto2

drwxr-xr-x - toto supergroup 0 2017-05-29 23:36 /user

对应浏览器上的访问效果如下：http://hadoop:50070/explorer.html#/

显示效果一致

-moveFromLocal

使用方法：dfs -moveFromLocal <src> <dst>

功能：从本地剪切粘贴到hdfs

[toto@hadoop learn]$ ls

hadoop LICENSE-ASM.txt

[toto@hadoop learn]$ hdfs dfs -moveFromLocal LICENSE-ASM.txt /toto

[toto@hadoop learn]$ hdfs dfs -ls /toto

Found 1 items

-rw-r--r-- 3 toto supergroup 1511 2017-05-29 23:50 /toto/LICENSE-ASM.txt

[toto@hadoop learn]$

再如：

[toto@hadoop learn]$ hadoop fs -moveFromLocal hadoop /toto

[toto@hadoop learn]$ hadoop fs -ls /toto

Found 2 items

-rw-r--r-- 3 toto supergroup 1511 2017-05-29 23:50 /toto/LICENSE-ASM.txt

drwxr-xr-x - toto supergroup 0 2017-05-29 23:53 /toto/hadoop

[toto@hadoop learn]$

-moveToLocal

功能：从hdfs剪切粘贴到本地

示例：hadoop fs - moveToLocal /aaa/bbb/cc/dd /home/hadoop/a.txt

--appendToFile

功能：追加一个文件到已经存在的文件末尾

示例：hadoop fs -appendToFile ./hello.txt hdfs://hadoop:9000/hello.txt

可以简写为：

Hadoop fs -appendToFile ./hello.txt /hello.txt

实际案例：

[toto@hadoop learn]$ hadoop fs -put text.txt /toto

[toto@hadoop learn]$ hadoop fs -ls /toto

Found 3 items

-rw-r--r-- 3 toto supergroup 1511 2017-05-29 23:50 /toto/LICENSE-ASM.txt

drwxr-xr-x - toto supergroup 0 2017-05-29 23:53 /toto/hadoop

-rw-r--r-- 3 toto supergroup 0 2017-05-29 23:59 /toto/text.txt

[toto@hadoop learn]$ cat hello.txt

示例：hadoop fs -appendToFile ./hello.txt hdfs://hadoop:9000/hello.txt

可以简写为：

Hadoop fs -appendToFile ./hello.txt /hello.txt

将文件上传到hdfs

[toto@hadoop learn]$ hadoop fs -appendToFile ./hello.txt hdfs://hadoop:9000/toto/text.txt

查看拼接到text.txt中的内容

[toto@hadoop learn]$ hadoop fs -cat /toto/text.txt

示例：hadoop fs -appendToFile ./hello.txt hdfs://hadoop:9000/hello.txt

可以简写为：

Hadoop fs -appendToFile ./hello.txt /hello.txt

[toto@hadoop learn]$

-cat

功能：显示文件内容

示例：hadoop fs -cat /hello.txt

-tail

功能：显示一个文件的末尾

示例：hadoop fs -tail /weblog/access_log.1

实际案例：

[toto@hadoop learn]$ hadoop fs -tail /toto/text.txt

示例：hadoop fs -appendToFile ./hello.txt hdfs://hadoop:9000/hello.txt

可以简写为：

Hadoop fs -appendToFile ./hello.txt /hello.txt

[toto@hadoop learn]$

-text

功能：以字符形式打印一个文件的内容

示例：hadoop fs -text /weblog/access_log.1

实际案例：

[toto@hadoop learn]$ hadoop fs -text /toto/text.txt

示例：hadoop fs -appendToFile ./hello.txt hdfs://hadoop:9000/hello.txt

可以简写为：

Hadoop fs -appendToFile ./hello.txt /hello.txt

[toto@hadoop learn]$

-chgrp

-chmod

-chown

功能：linux文件系统中的用法一样，对文件所属权限

示例：

hadoop fs -chmod 666 /hello.txt

hadoop fs -chown someuser:somegrp /hello.txt

实际案例：

[toto@hadoop learn]$ hadoop fs -chmod 777 /toto/text.txt

[toto@hadoop learn]$ hadoop fs -ls /toto/text.txt

-rwxrwxrwx 3 toto supergroup 149 2017-05-30 00:01 /toto/text.txt

[toto@hadoop learn]$ hadoop fs -chmod 666 /toto/text.txt

[toto@hadoop learn]$ hadoop fs -ls /toto/text.txt

-rw-rw-rw- 3 toto supergroup 149 2017-05-30 00:01 /toto/text.txt

[toto@hadoop learn]$

-copyFromLocal

功能：从本地文件系统中拷贝文件到hdfs路径去

示例：hadoop fs -copyFromLocal ./jdk.tar.gz /aaa/

实际案例：

[toto@hadoop learn]$ cat hello.txt

示例：hadoop fs -appendToFile ./hello.txt hdfs://hadoop:9000/hello.txt

可以简写为：

Hadoop fs -appendToFile ./hello.txt /hello.txt

[toto@hadoop learn]$ hadoop fs -copyFromLocal ./hello.txt /toto2

[toto@hadoop learn]$ ls

hello.txt text.txt

[toto@hadoop learn]$ hadoop fs -ls /toto2

Found 1 items

-rw-r--r-- 3 toto supergroup 149 2017-05-30 00:09 /toto2/hello.txt

[toto@hadoop learn]$

-copyToLocal

功能：从hdfs拷贝到本地

示例：hadoop fs -copyToLocal /aaa/jdk.tar.gz

实际案例：

[toto@hadoop learn]$ hadoop fs -ls /

Found 6 items

drwxr-xr-x - toto supergroup 0 2017-05-29 14:01 /findbugs-1.3.9

drwxr-xr-x - toto supergroup 0 2017-05-29 03:23 /hive

drwx------ - toto supergroup 0 2017-05-29 14:47 /tmp

drwxr-xr-x - toto supergroup 0 2017-05-29 23:59 /toto

drwxr-xr-x - toto supergroup 0 2017-05-30 00:09 /toto2

drwxr-xr-x - toto supergroup 0 2017-05-29 23:36 /user

[toto@hadoop learn]$ hadoop fs -copyToLocal /findbugs-1.3.9 ./

[toto@hadoop learn]$ ls

findbugs-1.3.9 hello.txt text.txt

[toto@hadoop learn]$ hadoop fs -ls /

Found 6 items

drwxr-xr-x - toto supergroup 0 2017-05-29 14:01 /findbugs-1.3.9

drwxr-xr-x - toto supergroup 0 2017-05-29 03:23 /hive

drwx------ - toto supergroup 0 2017-05-29 14:47 /tmp

drwxr-xr-x - toto supergroup 0 2017-05-29 23:59 /toto

drwxr-xr-x - toto supergroup 0 2017-05-30 00:09 /toto2

drwxr-xr-x - toto supergroup 0 2017-05-29 23:36 /user

[toto@hadoop learn]$

-cp

功能：从hdfs的一个路径拷贝hdfs的另一个路径

示例： hadoop fs -cp /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

Usage: hadoop fs [generic options] -cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>

[toto@hadoop learn]$ hadoop fs -cp -p /findbugs-1.3.9 /toto2

[toto@hadoop learn]$ hadoop fs -ls /toto2

Found 2 items

drwxr-xr-x - toto supergroup 0 2017-05-29 14:01 /toto2/findbugs-1.3.9

-rw-r--r-- 3 toto supergroup 149 2017-05-30 00:09 /toto2/hello.txt

[toto@hadoop learn]$

-mv

功能：在hdfs目录中移动文件

示例： hadoop fs -mv /aaa/jdk.tar.gz /

实际案例：

[toto@hadoop learn]$ hadoop fs -ls /toto2

Found 2 items

drwxr-xr-x - toto supergroup 0 2017-05-29 14:01 /toto2/findbugs-1.3.9

-rw-r--r-- 3 toto supergroup 149 2017-05-30 00:09 /toto2/hello.txt

[toto@hadoop learn]$ hadoop fs -mv /toto/hello.txt /user

mv: `/toto/hello.txt': No such file or directory

[toto@hadoop learn]$ hadoop fs -mv /toto2/hello.txt /user

[toto@hadoop learn]$ hadoop fs -ls /user

Found 3 items

drwxr-xr-x - toto supergroup 0 2017-05-29 23:36 /user/hadoop

-rw-r--r-- 3 toto supergroup 149 2017-05-30 00:09 /user/hello.txt

drwxr-xr-x - toto supergroup 0 2017-05-29 14:51 /user/toto

[toto@hadoop learn]$

-get

功能：等同于copyToLocal，就是从hdfs下载文件到本地

示例：hadoop fs -get /aaa/jdk.tar.gz

功能：合并下载多个文件

示例：比getmerge 如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...

hadoop fs -getmerge /aaa/log.* ./log.sum

-put

功能：等同于copyFromLocal

示例：hadoop fs -put /aaa/jdk.tar.gz /bbb/jdk.tar.gz.2

-rm

功能：删除文件或文件夹

示例：hadoop fs -rm -r /aaa/bbb/

实际案例：

-rmdir

功能：删除空目录

示例：hadoop fs -rmdir /aaa/bbb/ccc

删除非空文件夹时不让报错的命令：

hadoop fs -rmdir --ignore-fail-on-non-empty /toto2/findbugs-1.3.9/lib

-df

功能：统计文件系统的可用空间信息

示例：hadoop fs -df -h /

[toto@hadoop learn]$ hdfs dfs -df -h /

Filesystem Size Used Available Use%

hdfs://hadoop:9000 134.4 G 472.4 M 97.8 G 0%

-du

功能：统计文件夹的大小信息

示例：

hadoop fs -du -s -h /aaa/*

[toto@hadoop learn]$ hadoop fs -du -s -h /toto2

2.3 M /toto2

[toto@hadoop learn]$

-count

功能：统计一个指定目录下的文件节点数量

示例：hadoop fs -count /aaa/

-setrep

功能：设置hdfs中文件的副本数量

示例：hadoop fs -setrep 3 /aaa/jdk.tar.gz （这里的3）

实际命令：

[toto@hadoop learn]$ hadoop fs -setrep 3 /toto2/findbugs-1.3.9

Replication 3 set: /toto2/findbugs-1.3.9/LICENSE-ASM.txt

Replication 3 set: /toto2/findbugs-1.3.9/LICENSE-bcel.txt

Replication 3 set: /toto2/findbugs-1.3.9/LICENSE-commons-lang.txt

Replication 3 set: /toto2/findbugs-1.3.9/LICENSE-docbook.txt

Replication 3 set: /toto2/findbugs-1.3.9/LICENSE-dom4j.txt

Replication 3 set: /toto2/findbugs-1.3.9/LICENSE-jFormatString.txt

Replication 3 set: /toto2/findbugs-1.3.9/LICENSE-jaxen.txt

Replication 3 set: /toto2/findbugs-1.3.9/LICENSE-jcip.txt

Replication 3 set: /toto2/findbugs-1.3.9/LICENSE-jdepend.txt

Replication 3 set: /toto2/findbugs-1.3.9/LICENSE-jsr305.txt

Replication 3 set: /toto2/findbugs-1.3.9/LICENSE-mysql-connector.txt

Replication 3 set: /toto2/findbugs-1.3.9/LICENSE.txt

补充：查看dfs集群工作状态的命令

hdfs dfsadmin -report

微信关注我们

原文链接：https://yq.aliyun.com/articles/100931

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

datenode节点超时时间设置，Hadoop启动不正常,HDFS冗余数据块的自动删除,NameNode安全模式问题,ntp时间服务同步,机...

1.Hadoop datanode节点超时时间设置 datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则超时时长的计算公式为： timeout = 2 * heartbeat.recheck.interval + 10 *dfs.heartbeat.interval。而默认的heartbeat.recheck.interval大小为5分钟，dfs.heartbeat.interval默认为3秒。需要注意的是hdfs-site.xml配置文件中的heartbeat.recheck.interval的单位为毫秒，dfs.heartbeat.interval的单位为秒。所以，举个例子，如果heartbeat.recheck.interval设置为5000（毫秒），dfs.heartbeat.interval设置为3（秒，默认），则总的超时时间为40秒。 hdfs-site.xml中的参数设...

2017-05-29

491

１. HDFS的java操作 hdfs在生产应用中主要是客户端的开发，其核心步骤是从hdfs提供的api中构造一个HDFS的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件１.1 搭建开发环境１.1.1创建Maven工程快速创建一个Maven工程和目录结构的方式是执行下面的命令： mvn archetype:generate -DgroupId=com.toto.hadoop -DartifactId=hadoop -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false 接着执行下面的命令： mvn -Pall eclipse:eclipse mvn clean mvn compile -Dmaven.test.skip=true mvn install -Dmaven.test.skip=true mvn package -Dmaven.test.skip=true 最后将工程导入到Eclipse中： 1、配置pom文件，引入下面的jar之后，其它相关的maven依赖...

2017-05-30

582

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

HDFS命令行客户端使用,命令行客户端支持的命令参数,常用命令参数介绍

3.HDFS的shell(命令行客户端)操作

3.1 HDFS命令行客户端使用

3.2 命令行客户端支持的命令参数

3.2 常用命令参数介绍

mkdir

datenode节点超时时间设置，Hadoop启动不正常,HDFS冗余数据块的自动删除,NameNode安全模式问题,ntp时间服务同步,机...

HDFS的API调用,创建Maven工程,创建一个非Maven工程,HDFS客户端操作数据代码示例,文件方式操作和流式操作

相关文章

发表评论

资源下载

Mario

Nacos

Spring

Rocky Linux

欢迎您来访！