Hadoop 用FileStatus类来查看HDFS中文件或目录的元信息-低调大师

Hadoop 用FileStatus类来查看HDFS中文件或目录的元信息

2017-11-21 587

Hadoop中的FileStatus类可以用来查看HDFS中文件或者目录的元信息，任意的文件或者目录都可以拿到对应的FileStatus, 我们这里简单的演示下这个类的相关API：

/*
*/
package com.charles.hadoop.fs;
import java.net.URI;
import java.sql.Timestamp;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
/**
*
* Description:这个类演示如何通过FileSystem的getFileStatus()方法来获得FileStatus对象
* 进而查询文件或者目录的元信息
*
* 我们这里做2个实验，依次是获取HDFS中的某文件的元信息，获取HDFS中某目录的元信息
*
* @author charles.wang
* @created May 26, 2012 1:43:01 PM
*
*/
public class FileMetadataQuerier {
/**
* @param args
*/
public static void main(String[] args) throws Exception {
// TODO Auto-generated method stub
//读取hadoop文件系统的配置
Configuration conf = new Configuration();
conf.set("hadoop.job.ugi", "hadoop-user,hadoop-user");
//实验1:查看HDFS中某文件的元信息
System.out.println("实验1:查看HDFS中某文件的元信息");
String fileUri = args[0];
FileSystem fileFS = FileSystem.get(URI.create(fileUri) ,conf);
FileStatus fileStatus = fileFS.getFileStatus(new Path(fileUri));
//获取这个文件的基本信息
if(fileStatus.isDir()==false){
System.out.println("这是个文件");
}
System.out.println("文件路径: "+fileStatus.getPath());
System.out.println("文件长度: "+fileStatus.getLen());
System.out.println("文件修改日期： "+new Timestamp (fileStatus.getModificationTime()).toString());
System.out.println("文件上次访问日期： "+new Timestamp(fileStatus.getAccessTime()).toString());
System.out.println("文件备份数： "+fileStatus.getReplication());
System.out.println("文件的块大小： "+fileStatus.getBlockSize());
System.out.println("文件所有者： "+fileStatus.getOwner());
System.out.println("文件所在的分组： "+fileStatus.getGroup());
System.out.println("文件的权限： "+fileStatus.getPermission().toString());
System.out.println();
//实验2:查看HDFS中某文件的元信息
System.out.println("实验2:查看HDFS中某目录的元信息");
String dirUri = args[1];
FileSystem dirFS = FileSystem.get(URI.create(dirUri) ,conf);
FileStatus dirStatus = dirFS.getFileStatus(new Path(dirUri));
//获取这个目录的基本信息
if(dirStatus.isDir()==true){
System.out.println("这是个目录");
}
System.out.println("目录路径: "+dirStatus.getPath());
System.out.println("目录长度: "+dirStatus.getLen());
System.out.println("目录修改日期： "+new Timestamp (dirStatus.getModificationTime()).toString());
System.out.println("目录上次访问日期： "+new Timestamp(dirStatus.getAccessTime()).toString());
System.out.println("目录备份数： "+dirStatus.getReplication());
System.out.println("目录的块大小： "+dirStatus.getBlockSize());
System.out.println("目录所有者： "+dirStatus.getOwner());
System.out.println("目录所在的分组： "+dirStatus.getGroup());
System.out.println("目录的权限： "+dirStatus.getPermission().toString());
System.out.println("这个目录下包含以下文件或目录：");
for(FileStatus fs : dirFS.listStatus(new Path(dirUri))){
System.out.println(fs.getPath());
}
}
}

最终显示结果为：

实验1:查看HDFS中某文件的元信息
这是个文件
文件路径: hdfs://192.168.129.35:9000/user/hadoop-user/textfile.txt
文件长度: 93
文件修改日期： 2012-05-26 12:49:04.285
文件上次访问日期： 2012-05-26 12:49:04.285
文件备份数： 1
文件的块大小： 67108864
文件所有者： hadoop-user
文件所在的分组： supergroup
文件的权限： rw-r--r--
实验2:查看HDFS中某目录的元信息
这是个目录
目录路径: hdfs://192.168.129.35:9000/user/hadoop-user
目录长度: 0
目录修改日期： 2012-05-26 13:34:10.743
目录上次访问日期： 1970-01-01 08:00:00.0
目录备份数： 0
目录的块大小： 0
目录所有者： hadoop-user
目录所在的分组： supergroup
目录的权限： rwxr-xr-x
这个目录下包含以下文件或目录：
hdfs://192.168.129.35:9000/user/hadoop-user/copyMe.txt
hdfs://192.168.129.35:9000/user/hadoop-user/input
hdfs://192.168.129.35:9000/user/hadoop-user/output
hdfs://192.168.129.35:9000/user/hadoop-user/textfile.txt

对于文件，其文件长度，备份数，修改日期，权限信息符合真实情况：

而blocksize,因为我们说了HDFS中默认是64MB = 67108864 Byte

对于目录，长度，备份数，块大小都没有语义，所以这里都为0.

而目录下包含其他信息，包括其下的文件和子目录都是符合真实情况的：

本文转自 charles_wang888 51CTO博客，原文链接：http://blog.51cto.com/supercharles888/879011，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/428013

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop 序列化的研究

Hadoop和java自带的序列化机制不同，它自己提供了一组序列化体系接口和类。对于基本数据类型,Writable接口就代表了可以被序列化的数据，这个接口定义了2个方法，其中write方法可以吧这个数据序列化到参数给出的DataOutput的字节数组中，而readField方法则可以从DatInput中读取被序列化后的字节数组，并且反序列化为Hadoop数据： publicinterfaceWritable{ /** *Serializethefieldsofthisobjectto<code>out</code>. * *@paramout<code>DataOuput</code>toserializethisobjectinto. *@throwsIOException */ voidwrite(DataOutputout)throwsIOException; /** *Deserializethefieldsofthisobjectfrom<code>in</code>. * *<p>For...

2017-11-22

597

因为HDFS不同于一般的文件系统，所以Hadoop提供了强大的FileSystem API来操作HDFS. 核心类是FSDataInputStream和FSDataOutputStream 读操作：我们用FSDataInputStream来读取HDFS中的指定文件（第一个实验），另外我们还演示了这个类的定位文件位置的能力，然后从指定位置开始读取文件（第二个实验）。代码如下： /* */ packagecom.charles.hadoop.fs; importjava.net.URI; importorg.apache.hadoop.conf.Configuration; importorg.apache.hadoop.fs.FSDataInputStream; importorg.apache.hadoop.fs.FileSystem; importorg.apache.hadoop.fs.Path; importorg.apache.hadoop.io.IOUtils; /** * *Description:查看Hadoop文件系统中的文件，利用hadoopFileSys...

2017-11-22

525

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。