eclipse 运行MapReduce程序错误异常汇总(解决Map not fount)
错误一:
Error: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class wordCount.wordCount$Map not found
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2074)
at org.apache.hadoop.mapreduce.task.JobContextImpl.getMapperClass(JobContextImpl.java:186)
at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:742)
at org.apache.hadoop.mapred.MapTask.run(MapTask.java:341)
at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:163)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:415)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1628)
at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)
Caused by: java.lang.ClassNotFoundException: Class wordCount.wordCount$Map not found
at org.apache.hadoop.conf.Configuration.getClassByName(Configuration.java:1980)
at org.apache.hadoop.conf.Configuration.getClass(Configuration.java:2072)
... 8 more
问题分析:很烦人的一个问题,很久之前就碰见过,后来电脑linux换了一个版本,解决了
解决办法:eclipse添加hadoop配置文件问题,记住只需要在程序目录下新建一个conf的文件夹,把log4j.properties拷贝到该目录下,重启eclipse即可
错误二:
eclipse 运行MR提示无法访问的情况
问题分析:权限不足
解决办法:重新给hdfs文件系统赋予权限(可能会经常遇到这种问题,可执行同一种操作即可)bin/hdfs dfs -chmod -R 777 /
错误三:
HMaster启动之后立即又关闭
问题分析:可能是zookeeper不稳定造成的,
解决办法:停止zookeeper服务(bin/zkServer.sh stop zoo1.cfg bin/zkServer.sh stop zoo2.cfg bin/zkServer.sh stop zoo3.cfg ),再重新启动
错误四:
15/08/23 11:10:07 INFO mapreduce.JobSubmitter: Cleaning up the staging area file:/usr/local/hadoop/tmp/mapred/staging/thinkgamer1735608800/.staging/job_local1735608800_0001
Exception in thread "main" ExitCodeException exitCode=1: chmod: 无法访问"/usr/local/hadoop/tmp/mapred/staging/thinkgamer1735608800/.staging/job_local1735608800_0001": 没有那个文件或目录
问题分析:eclipse的配置文件缺少
解决办法:把配置hadoop时所修改的配置文件全部复制到src文件夹下
错误五:
Exception in thread "main" org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/thinkgamer/output already exists
问题分析:hdfs文件系统中的output文件夹已经存在
解决办法:删除即可(同时还可能出现找不到input目录的问题,此时注意检查input路径)

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
80元,100元,300元,500元低价出售40个不错的老域名
80元,100元,300元,500元低价出售40个不错的老域名 本人想退出域名界,低于成本价出售:http://654877.shop.ename.com/ 域名 简介 类型 当前价格 出价次数 剩余时间 cosmosbigdata.com 微软大数据cosmos 一口价 100元 0 62天 zazaza.cn 杂杂杂 一口价 500元 0 86天 kn0.cn 快男圈,酷女圈,困难圈, 一口价 500元 0 86天 91-edu.cn 91教育 一口价 100元 0 86天 jiongjiong.com.cn 炯炯,囧囧 一口价 600元 0 86天 back-caLL.com 英语单词,回访 一口价 500元 0 86天 ououou.cn 偶偶偶,欧欧欧 一口价 500元 0 86天 cacaca.cn 擦擦擦 一口价 500元 0 86天 yingyingying.cn 影影影,赢赢赢,盈盈盈 一口价 600元 0 86天 tape-recording.com 英语单词,磁带录音 一口价 500元 0 86天 sparkbigdata.cn spark大数据,最牛比的大数据技...
- 下一篇
Hbase java 常见操作
import java.io.IOException; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.Map; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.HColumnDescriptor; import org.apache.hadoop.hbase.HTableDescriptor; import org.apache.hadoop.hbase.KeyValue; import org.apache.hadoop.hbase.client.Delete; import org.apache.hadoop.hbase.client.Get; import org.apache.hadoop.hbase.client.HBaseAdmin...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS7设置SWAP分区,小内存服务器的救世主
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- Hadoop3单机部署,实现最简伪集群
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- CentOS8安装Docker,最新的服务器搭配容器使用
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- Windows10,CentOS7,CentOS8安装Nodejs环境