Idea里面老版本MapReduce设置FileInputFormat参数格式变化
我们随便百度一个经典的MapReduce程序----wordcount的时候,在设置job文件输入路径和输出路径参数时,会看到别的博主会这么写:
Configuration conf = new Configuration(); Job wordCountJob = Job.getInstance(conf); //省略。。。。 FileInputFormat.setInputPaths(wordCountJob,"hdfs://192.168.77.70:9000/wordcount/srcdata/"); FileOutputFormat.setOutputPath(wordCountJob, new Path("hdfs://192.168.77.70:9000/wordcount/output/"));
但是我在Idea里面复制粘贴编译时,其实是报错的。这是因为,我导的是老版本的包,但是也能运行,代码要稍作修改,它在版本中要求FileInputFormat调用的方法名是addInputPath且第一个参数是JobConf型,同样FileOutputFormat调用的输出名是setOutputPath,参数也是JobConf型。所以这个时候要进行强转,具体做法如下:
FileInputFormat.addInputPath((JobConf)wordCountJob.getConfiguration(),new Path(args[0])); FileOutputFormat.setOutputPath((JobConf)wordCountJob.getConfiguration(),new Path(args[1]));

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
【最全PPT下载+直播回顾】阿里云栖开发者沙龙合肥专场:高并发企业级应用架构实践分享
活动介绍 阿里云栖开发者沙龙是“云栖社区”主办的线下技术沙龙品牌,希望通过技术干货分享来打通线上线下专家和开发者的连接。沙龙每期将定位不同的技术方向,逐步覆盖 云计算,大数据,前端,PHP,android,AI,运维,测试 等技术领域,并会穿插一些特别专场(开源专场,女性开发者专场,开发者成长专场等)。我们希望它将是一个开发者的聚集地,每一期都是一个开发者的大Party! 本期合肥专场邀请阿里及第三方多位专家聚焦:高并发企业级应用架构实践分享 社区合肥技术交流群,欢迎合肥的同学入群与专家实时技术交流,点击链接入群http://tb.cn/9S1jYHw或扫码入群 直播回顾 直播回顾地址:https://yq.aliyun.com/live/803 议程(PPT资料下载) 时间 主题 讲师 PPT 13:00-13:30 签到 — — 13:30-14:10 高并发应用中的数据库系统设计实践 周正中 https://yq.aliyun.com/download/3285 14:10-14:50 大规模日志数据企业级分布式平台架构面临的问题与挑战 于俊 https://yq.aliyun....
- 下一篇
一文讲清HBase的存储结构
 ### 前言 `Hbase` 是一个分布式的、多版本、面向列的开源 `KV` 数据库。运行在 `HDFS` 的基础上,支持 `PB` 级别、百万列的数据存储。 ### HBase的存储结构 #### 逻辑存储结构 通过下图直观地展示 `HBase` 的逻辑存储结构:  在本图中,列簇(`Column Family`)对应的值就是 `info` 和 `area` ,列( `Column` 或者称为 `Qualifier` )对应的就是 `name` 、 `age` 、 `country` 和 `city` ,`Row key` 对应的就是 `Row 1` 和 `Row 2`,`Cell` 对应的就是具体的值。 - `Row key` :表的主键,按照字典序排序。 - 列簇:在 `...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- SpringBoot2整合Redis,开启缓存,提高访问速度
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7设置SWAP分区,小内存服务器的救世主
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- MySQL8.0.19开启GTID主从同步CentOS8
- Hadoop3单机部署,实现最简伪集群
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题