Hadoop大象之旅010-使用eclipse查看hadoop源码
Hadoop大象之旅010-使用eclipse查看hadoop源码
老帅
我这使用的是hadoop-1.1.2.tar.gz,这个文件可以在下面地址下载到:
官方地址:http://archive.apache.org/dist/hadoop/core/hadoop-1.1.2/
1.将hadoop-1.1.2.tar.gz解压缩
文件夹结构如下所示:
2.在MyEclipse中新建一个JavaProject
工程名称为hadoop
3.复制源码到我们的工程中
复制hadoop-1.1.2源码文件夹中的core、hdfs、mapred三个文件夹到我们的hadoop工程中:
复制完成后如下图所示:
4.调试代码
改变目录结构如下图:
增加外部依赖包
还需要一个ant.jar包
替换jdk
至此源码不再有错误,调试完成。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Hadoop,HBase,Storm,Spark到底是什么?
Hadoop,HBase,Storm,Spark到底是什么? Hadoop=HDFS+Hive+Pig+... HDFS: 存储系统MapReduce:计算系统Hive:提供给SQL开发人员(通过HiveQL)的MapReduce,基于Hadoop的数据仓库框架Pig:基于Hadoop的语言开发的HBase:NoSQL数据库Flume:一个收集处理Hadoop数据的框架Oozie:一个让用户以多种语言(如MapReduce,Pig和Hive)定义一系列作业的工作流处理系统Ambari:一个基于web的部署/管理/监控Hadoop集群的工具集Avro:允许编码Hadoop文件的schema的一种数据序列化系统Mahout:一个数据挖掘库,它包含了最流行的一些数据挖据算法,并且以MapReduce模型来实现他们Sqoop:一个从非Hadoop数据存储(如关系数据库和数据仓库)进来的移动数据到Hadoop中的连接工具HCatalog:一个中心化的元数据管理以及Apache Hadoop共享服务,它允许在Hadoop集群中的所有数据的统一视图,并允许不同的工具,包括Pig和Hive,处理任何数...
- 下一篇
hbase监控简单实用脚本
我们以前使用过的对hbase和hdfs进行健康检查,及剩余hdfs容量告警,简单易用 1.针对hadoop2的脚本: #/bin/bashbin=`dirname $0`bin=`cd $bin;pwd`STATE_OK=0STATE_WARNING=1STATE_CRITICAL=2STATE_UNKNOWN=3STATE_DEPENDENT=4source /etc/profileDFS_REMAINING_WARNING=15DFS_REMAINING_CRITICAL=5ABNORMAL_QUERY="INCONSISTENT|CORRUPT|FAILED|Exception"HADOOP_WEB_INTERFACE=h001.hadoopHBASE_WEB_INTERFACE=h008.hadoop# hbck and fsck reportoutput=/var/log/cluster-statushbase hbck >> $outputhadoop fsck /apps/hbase >> $output# check reportcount=`e...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7安装Docker,走上虚拟化容器引擎之路
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- CentOS8安装Docker,最新的服务器搭配容器使用
- Hadoop3单机部署,实现最简伪集群
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS8编译安装MySQL8.0.19