HDFS_API_Java编程

2016-11-23 593 收藏

MyEclipse或Eclipse软件编程通过API操作hadoop上的HDFS文件系统

1.导入HDFS的jar包

解压hadoop_2.6.0.tar.gz的安装包，

选中所有放在lib中的jar包，右键，buildpath

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

2.新建类，然后开始编程

com.gaojunyu.hadoop.hdfs.test包中新建HdfsAPITest.java类

注意导入的包都是Hadoop的jar包

测试读本地文件系统文件（可以读取到）

LocalFileSystem是FileSystem的子类，这里拿到的是这个，所以暂时只能读本地的文件系统呢！

两种方法读取HDFS上的文件

第一种： FileSystem fs = FileSystem.get(new URI("hdfs://192.168.177.130:9000"), conf); //这个URI参照core-site.xml

第二种：把core-site.xml文件从集群中拷贝出来，放到项目的src目录下

要注意，core-site.xml文件的配置，如下图，要么做IP与主机名的映射，要么干脆就直接写IP

下面是做到这里的所有代码，已经优化，改过了！

上一篇 下一篇

微信关注我们

原文链接：https://yq.aliyun.com/articles/64889

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HDFS-Shell

一.hadoop 命令 Shell命令 Hadoop包括一系列的类shell的命令，可直接和HDFS以及其他Hadoop支持的文件系统进行交互。bin/hadoop fs -help命令列出所有Hadoop Shell支持的命令。而bin/hadoop fs -help command-name命令能显示关于某个命令的详细信息。这些命令支持大多数普通文件系统的操作，比如复制文件、改变文件权限等。它还支持一些HDFS特有的操作，比如改变文件副本数目。 查看某个命令下某些子命令的使用方法 二.Hadoop fs命令相关操作 命令都要在这个目录下才能执行 /home/gaojunyu/app/hadoop-2.6.0 1.上传文件到HDFS 用户根目下的文件~/app/jdk-8u65-linux-x64.tar.gz 上传到HDFS的根目录/ [gaojunyu@gaojunyu hadoop-2.6.0]$ bin/hadoop fs -put ~/app/jdk-8u65-linux-x64.tar.gz / core-site.xml文件上传到HDFS的根目录 [gaojunyu@g...

2016-11-24

624

上一篇

Spark Shuffle数据处理过程与部分调优（源码阅读七）

shuffle。。。相当重要，为什么咩，因为shuffle的性能优劣直接决定了整个计算引擎的性能和吞吐量。相比于Hadoop的MapReduce,可以看到Spark提供多种计算结果处理方式，对shuffle过程进行了优化。 那么我们从RDD的iterator方法开始： 我们可以看到，它调用了cacheManager的getOrCompute方法，如果分区任务第一次执行还没有缓存，那么会调用computeOrReadCheckpoint。如果某个partition任务执行失败，可以利用DAG重新调度，失败的partition任务将从检查点恢复状态，而那些已经成功执行的partition任务由于其执行结果已经缓存到存储体系，所以调用CacheManager.getOrCompue方法，不需要再次执行。 在computeOrReadCheckpoint中，如果存在检查点时，则进行中间数据的拉取，否则将会重新执行compute,我们知道RDD具有linkage机制，所以可以直接找到其父RDD。 那么compute方法实现了什么呢？从最底层的HadoopRDD看起，所有类型的RDD都继承自抽象...

2016-11-25

573

下一篇

相关文章

发表评论

发表

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次

Eclipse

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

时间: 2025-12-05 大小: 190MB 下载: 34次

JDK

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

时间: 2025-12-03 大小: 180MB 下载: 76次

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2025-12-03 大小: 9.84MB 下载: 39次