windows下使用Eclipse编译运行MapReduce程序 Hadoop2.6.0/Ubuntu
一、环境介绍
宿主机:windows8
虚拟机:Ubuntu14.04
hadoop2.6伪分布:搭建教程http://blog.csdn.net/gamer_gyt/article/details/46793731
Eclipse:eclipse-jee-luna-SR2-win32-x86_64
二、准备阶段
网上下载hadoop-eclipse-plugin-2.6.0.jar (点击下载)
也可以自行编译(网上教程挺多的,可以自己百度 or Google)
三、begin
- 复制编译好的jar到eclipse插件目录(如果是从ubuntu自带的软件中心安装elcipse的话,则安装目录为:/usr/share/eclipse/dropins/sdk/plugins/不是在/usr/share/eclipse/plugin),进入eclipse目录,执行sudo chmod 777 * -R,重启eclipse 这一步特别重要网上好多资料都不是这样写的,所以配置一直不成功。
- 配置 hadoop 安装目录
window ->preference -> hadoop Map/Reduce -> Hadoop installation directory
- 配置Map/Reduce 视图
window ->Open Perspective -> other->Map/Reduce -> 点击“OK”
windows → show view → other->Map/Reduce Locations-> 点击“OK”
- 控制台会多出一个“Map/Reduce Locations”的Tab页
在“Map/Reduce Locations” Tab页 点击图标<大象+>或者在空白的地方右键,选择“New Hadoop location…”,弹出对话框“New hadoop location…”,配置如下内容:将ha1改为自己的hadoop用户
接着再切换到 Advanced parameters 选项面板,这边有详细的配置,切记需要与 Hadoop 的配置(/usr/local/hadoop/etc/hadoop中的配置文件)一致,如我配置了 hadoop.tmp.dir ,就要进行修改。
网上几乎所有的教程都是如此,的确按这个教程配置完成后会在eclipse左上角出现DFS Locations,如下图
但其实还会碰见各种各样的问题,小编只将本人遇到的和解决办法呈现
(1)注意:将虚拟机的hadoop下修改的配置文件(core-site.xml hdfs-site.xml log4j.properties复制到程序的src目录下)
(2)DFS下一些文件加载不出来,提示 permission denied错误
解决办法:给HDFS目录文件添加权限,hdfs dfs -chmod -R 777 /
附:推荐一篇不错的文章http://www.aboutyun.com/thread-8780-1-1.html
参考:www.tuicool.com/articles/BRBzquj
www.cnblogs.com/aijianiula/p/4546021.html
常见错误和解决办法参考:http://blog.csdn.net/gamer_gyt/article/details/47252671

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Exception from container-launch: org.apache.hadoop.util.Shell$ExitCode...
使用MapReduce编写的中文分词程序出现了Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException: 这样的问题如图: 上网查了好多资料,才明白这是hadoop本身的问题,具体参考: https://issues.apache.org/jira/browse/YARN-1298 https://issues.apache.org/jira/browse/MAPREDUCE-5655 解决办法是重新编译hadoop具体参考: http://zy19982004.iteye.com/blog/2031172
- 下一篇
hive中的表、外部表、分区和桶的理解
一、概念介绍 Hive 没有专门的数据存储格式,也没有为数据建立索引,用户可以非常自由的组织 Hive 中的表,只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符,Hive 就可以解析数据 Hive 中的 Table 和数据库中的 Table 在概念上是类似的,每一个 Table 在 Hive 中都有一个相应的目录存储数据。例如,一个表 pvs,它在 HDFS 中的路径为:/wh/pvs,其中,wh 是在 hive-site.xml 中由 ${hive.metastore.warehouse.dir} 指定的数据仓库的目录,所有的 Table 数据(不包括 External Table)都保存在这个目录中。 Partition 对应于数据库中的 Partition 列的密集索引,但是 Hive 中 Partition 的组织方式和数据库中的很不相同。在 Hive 中,表中的一个 Partition 对应于表下的一个目录,所有的 Partition 的数据都存储在对应的目录中。例如:pvs 表中包含 ds 和 city 两个 Partition,则对应于 ds ...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS关闭SELinux安全模块
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7