HDFS文件系统命令详解-低调大师

HDFS文件系统命令详解

2017-11-25 711

【fs最常用命令】

 
        bin/hadoop fs -ls hdfs_path    
        //查看HDFS目录下的文件和子目录 
       
        bin/hadoop fs -mkdir hdfs_path    
        //在HDFS上创建文件夹 
       
        bin/hadoop fs -rm hdfs_path    
        //删除HDFS上的文件 
       
        bin/hadoop fs -rmr hdfs_path    
        //删除HDFS上的文件夹 
       
        bin/hadoop fs -put local_file hdfs_path    
        //将本地文件copy到HDFS上 
       
        bin/hadoop fs -get hdfs_file local_path    
        //复制HDFS文件到本地 
       
        bin/hadoop fs -cat hdfs_file    
        //查看HDFS上某文件的内容

【查看目录下文件（夹）大小】

 
        //单位Byte：
       
        bin/hadoop fs -du / | sort -n
       
        //单位MB：
       
        bin/hadoop fs -du / | awk -F 
        ' '  
        '{printf "%.2fMB\t\t%s\n", $1/1024/1024,$2}' 
        | sort -n 
       
        //单位GB，大于1G：
       
        bin/hadoop fs -du / | awk -F 
        ' '  
        '{num=$1/1024/1024/1024; if(num>1){printf "%.2fGB\t\t%s\n", num, $2} }' 
        | sort -n

以下内容walker摘自《Hadoop实战（第二版）》（陆嘉恒）第九章-HDFS详解。

　　fs可以说是HDFS最常用的命令，这是一个高度类似linux文件系统的命令集。你可以使用这些命令查看HDFS上的目录结构文件、上传和下载文件、创建文件夹、复制文件等。其使用方法如下：

 
        hadoop fs [genericOpitions]
       
        [-ls <path>]  
        //显示目标路径当前目录下的所有文件 
       
        [-lsr <path>]  
        //递归显示目标路径下的所有目录及文件（深度优先） 
       
        [-du <path>]  
        //以字节为单位显示目录中所有文件的大小，或该文件的大小（如果path为文件） 
       
        [-dus <paht>]  
        //以字节为单位显示目标文件大小（用于查看文件夹大小） 
       
        [-count [-q] <path>]  
        //将目录的大小、包含文件（包括文件）个数的信息输出到屏幕（标准stdout） 
       
        [-mv <src> <dst>]  
        //把文件或目录移动到目标路径，这个命令允许同时移动多个文件，但是只允许移动到一个目标路径中，参数中的最有一个文件夹即为目标路径 
       
        [-cp <src> <dst>]  
        //复制文件或目录到目标路径，这个命令允许同时复制多个文件，如果复制多个文件，目标路径必须是文件夹 
       
        [-rm [-skipTrash] <path>]  
        //删除文件，这个命令不能删除文件夹 
       
        [-rmr [-skipTrash] <path>]  
        //删除文件夹及其下的所有文件 
       
        [-expunge]
       
        [-put <localsrc> ... <dst>]  
        //从本地文件系统上传文件到HDFS中 
       
        [-copyFromLocal <localsrc> ... <dst>]  
        //与put相同 
       
        [-moveFromLocal <localsrc> ... <dst>]  
        //与put相同，但是文件上传之后会从本地文件系统中移除 
       
        [-get [-ignoreCrc] [-crc] <src> <localdst>]  
        //复制文件到本地文件系统。这个命令可以选择是否忽视校验和，忽视校验和和下载主要用于挽救那些已经发生错误的文件 
       
        [-getmerge <src> <localdst> [addnl]]  
        //将源目录中的所有文件进行排序并写入目标文件中，文件之间以换行符分隔 
       
        [-cat <src>]  
        //在终端显示（标准输出stdout）文件中的内容，类似Linux系统中的cat 
       
        [-text <src>]
       
        [-copyToLocal [-ignoreCrc] [-crc] <src> <localdst>] 
        //与get相同 
       
        [-moveToLocal [-crc] <src> <localdst>]
       
        [-mkidr <path>]  
        //创建文件夹 
       
        [-setrep [-R] [-w] <rep> <path/file>]  
        //改变一个文件的副本个数。参数-R可以递归地对该目录下的所有文件做统一操作 
       
        [-touchz <path>]  
        //类似Linux中的touch，创建一个空文件 
       
        [-test -[ezd] <path>]  
        //将源文件输出为文本格式显示到终端上，通过这个命令可以查看TextRecordInputStream（SequenceFile等）或zip文件 
       
        [-stat [format] <path>]  
        //以指定格式返回路径的信息 
       
        [-tail [-f] <file>]  
        //在终端上显示（标准输出stdout）文件的最后1kb内容。-f选项的行为与LInux中一致，会持续监测先添加到文件中的内容，这在查看日志文件时会显得非常方便。 
       
        [-chmod [-R] <MODE[,MODE]...| OCTALMODE> PATH...]  
        //改变文件的权限，只有文件的所有者或者是超级用户才能使用这个命令。-R可以递归地改变文件夹内的所有文件的权限 
       
        [-chown [-R] [OWNER] [:[GROUP] PATH...]]  
        //改变文件的拥有者，-R可以递归地改变文件夹内所有文件的拥有者。同样，这个命令只有超级用户才能使用 
       
        [-chgrp [-R] GROUP PATH...]  
        //改变文件所属的组，-R可以递归地改变文件夹内所有文件所属的组。这个命令必须是超级用户才能使用 
       
        [-help [cmd]]  
        //这是命令的帮助信息

　　在这些命令中，参数<path>的完整格式是hdfs://NameNodeIP:port/，比如你的NameNode地址是192.168.0.1，端口是9000，那么，如果想访问HDFS上路径为/user/root/hello的文件，则需要输入的地址是hdfs:/192.168.0.1:9000/user/root/hello。在Hadoop中，如果参数<path>没有NameNodeIP，那么会默认按照core-site.xml中属性fs.default.name的设置，附加“/user/你的用户名”作为路径，这是为了方便使用以及对不同用户进行区分。

*** walker ***

本文转自walker snapshot博客51CTO博客，原文链接http://blog.51cto.com/walkerqt/1689205如需转载请自行联系原作者

RQSLT

微信关注我们

原文链接：https://yq.aliyun.com/articles/510494

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

ElasticSearch 在Hadoop生态圈的位置

它的位置非常清晰，直接贴图。更详细点，见本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6612671.html，如需转载请自行联系原作者

2017-11-25

690

Elasticsearch 5.6.3概述

ElasticSearch的特性：对于ES的特性，我是从网上copy过来，如果有不妥的地方，希望大家提出宝贵的建议。 1、开源的（不解释） 2、它是分布式和高度可用的搜索引擎。每个索引根据配置分片的数量完成完全分片。每个碎片都可以有一个或多个副本。读/搜索操作可以在任何复制分片上执行。 3、支持多租户与多种类型。支持一个以上的索引。支持一个以上的每个索引类型。指数级配置(数量的碎片,索引存储,…)。 4、各种组api HTTP RESTful API 本地Java API。所有api执行自动从路由节点操作。 5、面向文档的 6、可靠异步写操作长期持续。 7、 (附近)实时搜索。 8、基于Lucene 每个碎片都是一个功能齐全的Lucene索引所有Lucene通过简单的配置/插件非常容易的暴露出来。 9、每个操作的一致性单文档级别操作都是原子的、一致的、孤立的和持久的。对于ES了解一个大概情况就可以了。下面我们下载和安装ES（我们以windows操作系统和Elasticsearch 5.0为例，其实在linux上安装没有区别）：下载下载地址：ht...

2017-11-25

645

发表评论

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。