HDFS_API_Java编程

2016-11-23 608 收藏

MyEclipse或Eclipse软件编程通过API操作hadoop上的HDFS文件系统

1.导入HDFS的jar包

解压hadoop_2.6.0.tar.gz的安装包，

选中所有放在lib中的jar包，右键，buildpath

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

2.新建类，然后开始编程

com.gaojunyu.hadoop.hdfs.test包中新建HdfsAPITest.java类

注意导入的包都是Hadoop的jar包

测试读本地文件系统文件（可以读取到）

LocalFileSystem是FileSystem的子类，这里拿到的是这个，所以暂时只能读本地的文件系统呢！

两种方法读取HDFS上的文件

第一种： FileSystem fs = FileSystem.get(new URI("hdfs://192.168.177.130:9000"), conf); //这个URI参照core-site.xml

第二种：把core-site.xml文件从集群中拷贝出来，放到项目的src目录下

要注意，core-site.xml文件的配置，如下图，要么做IP与主机名的映射，要么干脆就直接写IP

下面是做到这里的所有代码，已经优化，改过了！

上一篇 下一篇

微信关注我们

原文链接：https://yq.aliyun.com/articles/64889

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HDFS-Shell

一.hadoop 命令 Shell命令 Hadoop包括一系列的类shell的命令，可直接和HDFS以及其他Hadoop支持的文件系统进行交互。bin/hadoop fs -help命令列出所有Hadoop Shell支持的命令。而bin/hadoop fs -help command-name命令能显示关于某个命令的详细信息。这些命令支持大多数普通文件系统的操作，比如复制文件、改变文件权限等。它还支持一些HDFS特有的操作，比如改变文件副本数目。 查看某个命令下某些子命令的使用方法 二.Hadoop fs命令相关操作 命令都要在这个目录下才能执行 /home/gaojunyu/app/hadoop-2.6.0 1.上传文件到HDFS 用户根目下的文件~/app/jdk-8u65-linux-x64.tar.gz 上传到HDFS的根目录/ [gaojunyu@gaojunyu hadoop-2.6.0]$ bin/hadoop fs -put ~/app/jdk-8u65-linux-x64.tar.gz / core-site.xml文件上传到HDFS的根目录 [gaojunyu@g...

2016-11-24

636

上一篇

Spark Shuffle数据处理过程与部分调优（源码阅读七）

shuffle。。。相当重要，为什么咩，因为shuffle的性能优劣直接决定了整个计算引擎的性能和吞吐量。相比于Hadoop的MapReduce,可以看到Spark提供多种计算结果处理方式，对shuffle过程进行了优化。 那么我们从RDD的iterator方法开始： 我们可以看到，它调用了cacheManager的getOrCompute方法，如果分区任务第一次执行还没有缓存，那么会调用computeOrReadCheckpoint。如果某个partition任务执行失败，可以利用DAG重新调度，失败的partition任务将从检查点恢复状态，而那些已经成功执行的partition任务由于其执行结果已经缓存到存储体系，所以调用CacheManager.getOrCompue方法，不需要再次执行。 在computeOrReadCheckpoint中，如果存在检查点时，则进行中间数据的拉取，否则将会重新执行compute,我们知道RDD具有linkage机制，所以可以直接找到其父RDD。 那么compute方法实现了什么呢？从最底层的HadoopRDD看起，所有类型的RDD都继承自抽象...

2016-11-25

596

下一篇

相关文章

发表评论

发表

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

时间: 2025-12-03 大小: 4.36MB 下载: 23次

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

时间: 2025-12-12 大小: 211.28KB 下载: 54次

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2025-12-28 大小: 1MB 下载: 4次

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

时间: 2025-12-17 大小: 5MB 下载: 1次