2 weekend110的HDFS的JAVA客户端编写 + filesystem设计思想总结-低调大师

2 weekend110的HDFS的JAVA客户端编写 + filesystem设计思想总结

2017-11-21 723

HDFS的JAVA客户端编写

现在，我们来玩玩，在linux系统里，玩eclipse

或者，

即，更改图标，成功

这个，别慌。重新换个版本就好，有错误出错是好事。

http://www.eclipse.org/downloads/download.php?file=/technology/epp/downloads/release/luna/SR2/eclipse-jee-luna-SR2-linux-gtk-x86_64.tar.gz

具体如何下载，我就省略了。直接继续

这个，肯定是与之前，有重复的，没关系，它会自行覆盖，

就是说，home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib

和，home/hadoop/app/hadoop-2.4.1/share/hadoop/hdfs/lib

有重复的，没关系，它会自行覆盖。

到此，hdfslib下的相关依赖jar包加载完毕。

New是无法new的，只能get和set方法

本地，java里的那个fileoutputstream。

它不认识hdfs://

希望得到，这样的一个解析，file：///

玩windows下的eclipse去。

总结：其实，创建User Library，如hdfslib，mapreducelib，yarnlib。

如创建hdfs lib，则需要

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/hdfs/*

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/hdfs/lib/*

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

　　　　home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

如创建mapreduce lib，则需要

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/mapreduce/*

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/mapreduce/lib/*

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

　　　　home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

如创建yarn lib，则需要

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/yarn/*

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/yarn/lib/*

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

　　　　home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

如创建httpfslib，则需要

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/httpfs/tomcat/lib*

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

　　　　home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

如创建toolslib，则需要

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/tools/lib*

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

　　　　home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

　　会有重复的，但是，没关系，自己会覆盖。!!!

　　当然，这只是为了具体分析，在生产中，都是直接导入总包。

如创建hdfslib，则需要

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/hdfs/*

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/hdfs/lib/*

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

　　　　home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

如创建mapreducelib，则需要

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/mapreduce/*

　　　　 /home/hadoop/app/hadoop-2.4.1/share/hadoop/mapreduce/lib/*

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

如创建yarnlib，则需要

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/yarn/*

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/yarn/lib/*

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

　　　　home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

如创建httpfslib，则需要

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/httpfs/tomcat/lib*

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

　　　　home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

如创建toolslib，则需要

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/tools/lib*

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/*

　　　　/home/hadoop/app/hadoop-2.4.1/share/hadoop/common/lib/*

会有重复的，但是，没关系，自己会覆盖。

当然，这只是为了具体分析，在生产中，都是直接导入总包。

FileSystem是一个抽象类，New是无法new的，只能get和set方法

这里，有个非常实用的快捷键，

在C盘，新建qingshu.txt

出现错误是好事，

原来是这里，

后经查找资料，是少了个 winutils.exe

这只是个WARN警告而已，不影响运行。

错误是：

java.lang.IllegalArgumentException:Wrong FS:hdfs://weekend110:9000/aa,expected:file:///

解决方案一：就不再写了，是上面的在Linux里解决的那种方法。

将/home/hadoop/app/hadoop-2.4.1/etc/hadoop/core-site.xml

和/home/hadoop/app/hadoop-2.4.1/etc/hadoop/hdfs-site.xml

放到，

解决方案二：

身份报错，windows是administrator，hadoop集群那边是hadoop ,supergroup。

-DHADOOP_USER_NAME=Hadoop

问题在：d:\test.txt这个文件。此文件没有扩展名

解决方法：电脑工具栏-文件夹选项-查看-高级设置：-隐藏已知文件类型的扩展名（勾选去掉-应用-确定）

解决方案：

比较底层的写法，适合懂原理。

封装好的写法，适合开发。

解决方案：

快捷键是什么？

我的只能这样

默认是path，养成业务习惯。

等价于，下面

总结，本地文件系统操作很简单，new file即可，

　　具体的实现是不一样的。但是，上层有一个抽象的文件系统，是Filesystem，为什么这么弄？

　　是因为Hadoop的文件系统伴随其他的框架结耦合的，我在编程时，只需面向父即抽象，filesystem就可以了，filesystem具体去拿哪个文件系统，我上层不需去管，

　　你具体是本地文件系统RawLocalFileSystem，那我就可以拿本地文件系统去读啊

　　你的数据是放在hdfs里面，那我就可以拿DistributedFileSystem去读啊

　　你的数据是放在S3里面，那我就可以拿S3FileSystem去读啊

　　你的数据是放在htp服务器里面，，，，，，，都可以。

　　总而言之，降低耦合度。

Filesystem设计思想总结

也可以这样来，

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5893541.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/370961

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

linux配置服务器间无密钥双向登录

服务器： 192.168.152.140 hd_nn_140 192.168.152.141 hd_dn_141 192.168.152.142 hd_dn_142 二、三台服务器分别创建hadoop用户 groupadd hadoop useradd -g hadoop hadoop 三、设置密码 passwd hadoop 切换到hadoop用户登录su hadoop 四、生成无密码访问的公钥/私钥对 ssh-keygen -t rsa 什么都不输入回车两次查看：id_rsa 私钥 id_rsa.pub 公钥五、在hd_nn_140上将id_rsa.pub的内容输出追加到authorized_keys： cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 六、添加权限 chmod 700 .sshchmod 600 authorized_keys 七、拷贝hd_dn_141和hd_dn_142中id_rsa.pub内容到hd_nn_140的authorized_keys文件中八、通过scp命令拷贝authorized...

2017-11-22

587

日志在计算机系统中是一个非常广泛的概念，任何程序都有可能输出日志：操作系统内核、各种应用服务器等等。日志的内容、规模和用途也各不相同，很难一概而论。本文讨论的日志处理方法中的日志，仅指Web日志。其实并没有精确的定义，可能包括但不限于各种前端Web服务器——apache、lighttpd、tomcat等产生的用户访问日志，以及各种Web应用程序自己输出的日志。在Web日志中，每条日志通常代表着用户的一次访问行为，例如下面就是一条典型的apache日志： 211.87.152.44 – - [18/Mar/2005:12:21:42 +0800] “GET / HTTP/1.1″ 200 899 “http://www.baidu.com/” “Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; Maxthon)” 从上面这条日志中，我们可以得到很多有用的信息，例如访问者的IP、访问的时间、访问的目标网页、来源的地址以及访问者所使用的客户端的UserAgent信息等。如果需要更多的信息，则要用其它手段去获取：例如想得到用户屏幕的分辨率...

2017-11-22

507

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。