搭建Hadoop开发环境-低调大师

搭建Hadoop开发环境

2017-11-07 520

准备工作：

在192.168.129.35上搭建一个Hadoop环境，早上已经搞定，所以不说了

可以参照附件的邮件 <technical>canton hadoop environment in 192.168.129.35

Step 1：

下载并解压Hadoop 到本地机器（因为Eclipse需要这个Hadoop里面的部分Jar包充当其运行时）

这个Hadoop可以在http://hadoop.apache.org/ 官方下载，我下载了0.20.2版本，并且解压到D:\hadoop-0.20.2

Step 2：

下载Hadoop Eclipse 插件并且放到Eclipse 的dropin 目录（或者plugin目录）

这个插件可以在\\192.168.0.238\Canton\Software\Eclipse_Plugins\Hadoop_Eclipse 目录下找到

Step 3:

重启Eclipse 后（或者STS,我就是用的Spring Tool Suite 反正都一样）

在Window->Preference里面设置本地运行时，让其指向Step 1中的解压目录

Step 4:

打开MapReduce Tools 视图 (Window->Show View->MapReduce Tools->MapReduce Locations)

并编辑之：（这一步非常复杂，我搞错了N次才全设置正确，网上的设置例子都是在本机的，那种情况下本地账号和Hadoop账号一致，

而我们是相当于连接到远程192.168.129.35上的Hadoop服务器，当然了账号是不一样的（比如，我的开发机器是 charles.wang,远程 192.168.129.35 是root）

General面板里面设置如下

Advanced parameters面板里面，除了保持默认的设置外，有些需要改变：

· dfs.data.dir 设置为/home/dcui/hadoop-0.20.2/tmp/dfs/data

· dfs.name.dir 设置为/home/dcui/hadoop-0.20.2/tmp/dfs/name

· dfs.name.edits.dir设置为/home/dcui/hadoop-0.20.2/tmp/dfs/name

· dfs.replication设置为1

· hadoop.tmp.dir设置为/home/dcui/hadoop-0.20.2/tmp

· hadoop.job.ugi设置为root,Domain,Users,Remote,Desktop,Users,Users

Step 5：

在Project Explorer里面可以看到如下的内容：其中第二个/user/root/inputDir是hadoop分布式文件系统目录，我们上午刚创建的

Step 6：

下面就是开发HelloWorld程序了，用MapReduce Project 向导创建一个项目

完整的项目源代码见附件 HadoopWordCountDemo.zip

我其实什么都不懂，也就是按照API范例依葫芦画瓢搞了一个玩玩，它用于统计我们的canton_codetemplate.xml的关键字数目

Step 7:

配置运行选项，如图，这个项目需要传入2个参数，参数1是Hadoop文件系统的用于被统计的文件位置，参数2是目标输出目录来存放统计结果。我为了运行流畅，还把VM参数设大了点。

Step 8：

观察控制台的输出如下（终于啊，我调试了1个小时。。）

12/03/12 14:52:08 INFO jvm.JvmMetrics: Initializing JVM Metrics with processName=JobTracker, sessionId=

12/03/12 14:52:08 WARN mapred.JobClient: Use GenericOptionsParser for parsing the arguments. Applications should implement Tool for the same.

12/03/12 14:52:08 WARN mapred.JobClient: No job jar file set. User classes may not be found. See JobConf(Class) or JobConf#setJar(String).

12/03/12 14:52:13 INFO input.FileInputFormat: Total input paths to process : 1

12/03/12 14:52:13 INFO mapred.JobClient: Running job: job_local_0001

12/03/12 14:52:13 INFO input.FileInputFormat: Total input paths to process : 1

12/03/12 14:52:13 INFO mapred.MapTask: io.sort.mb = 100

12/03/12 14:52:13 INFO mapred.MapTask: data buffer = 79691776/99614720

12/03/12 14:52:13 INFO mapred.MapTask: record buffer = 262144/327680

12/03/12 14:52:13 INFO mapred.MapTask: Starting flush of map output

12/03/12 14:52:14 INFO mapred.JobClient: map 0% reduce 0%

12/03/12 14:52:14 INFO mapred.MapTask: Finished spill 0

12/03/12 14:52:14 INFO mapred.TaskRunner: Task:attempt_local_0001_m_000000_0 is done. And is in the process of commiting

12/03/12 14:52:14 INFO mapred.LocalJobRunner:

12/03/12 14:52:14 INFO mapred.TaskRunner: Task 'attempt_local_0001_m_000000_0' done.

12/03/12 14:52:14 INFO mapred.LocalJobRunner:

12/03/12 14:52:14 INFO mapred.Merger: Merging 1 sorted segments

12/03/12 14:52:14 INFO mapred.Merger: Down to the last merge-pass, with 1 segments left of total size: 3278 bytes

12/03/12 14:52:14 INFO mapred.LocalJobRunner:

12/03/12 14:52:14 INFO mapred.TaskRunner: Task:attempt_local_0001_r_000000_0 is done. And is in the process of commiting

12/03/12 14:52:15 INFO mapred.LocalJobRunner:

12/03/12 14:52:15 INFO mapred.TaskRunner: Task attempt_local_0001_r_000000_0 is allowed to commit now

12/03/12 14:52:15 INFO output.FileOutputCommitter: Saved output of task 'attempt_local_0001_r_000000_0' to hdfs://192.168.129.35:9000/user/root/outputToThisFolder

12/03/12 14:52:15 INFO mapred.LocalJobRunner: reduce > reduce

12/03/12 14:52:15 INFO mapred.TaskRunner: Task 'attempt_local_0001_r_000000_0' done.

12/03/12 14:52:15 INFO mapred.JobClient: map 100% reduce 100%

12/03/12 14:52:15 INFO mapred.JobClient: Job complete: job_local_0001

12/03/12 14:52:15 INFO mapred.JobClient: Counters: 14

12/03/12 14:52:15 INFO mapred.JobClient: FileSystemCounters

12/03/12 14:52:15 INFO mapred.JobClient: FILE_BYTES_READ=37570

12/03/12 14:52:15 INFO mapred.JobClient: HDFS_BYTES_READ=7374

12/03/12 14:52:15 INFO mapred.JobClient: FILE_BYTES_WRITTEN=75880

12/03/12 14:52:15 INFO mapred.JobClient: HDFS_BYTES_WRITTEN=2803

12/03/12 14:52:15 INFO mapred.JobClient: Map-Reduce Framework

12/03/12 14:52:15 INFO mapred.JobClient: Reduce input groups=119

12/03/12 14:52:15 INFO mapred.JobClient: Combine output records=119

12/03/12 14:52:15 INFO mapred.JobClient: Map input records=28

12/03/12 14:52:15 INFO mapred.JobClient: Reduce shuffle bytes=0

12/03/12 14:52:15 INFO mapred.JobClient: Reduce output records=119

12/03/12 14:52:15 INFO mapred.JobClient: Spilled Records=238

12/03/12 14:52:15 INFO mapred.JobClient: Map output bytes=4501

12/03/12 14:52:15 INFO mapred.JobClient: Combine input records=209

12/03/12 14:52:15 INFO mapred.JobClient: Map output records=209

12/03/12 14:52:15 INFO mapred.JobClient: Reduce input records=119

Step 9:

去Hadoop分布式文件系统去检验输出

命令为： hadoop fs –ls /user/root/outputToThisFolder

看到 Hadoop文件系统里面的 /user/root/outputToThisFolder 目录下面确实有一个文件,叫part-r-00000

我们打开看其内容

命令为：hadoop fs -cat /user/root/outputToThisFolder/part-r-00000

所以，这个文件的确按照关键字被进行了次数统计。

本文转自 charles_wang888 51CTO博客，原文链接：http://blog.51cto.com/supercharles888/840292，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/428457

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

部署Ganglia监控Hadoop&Hbase

在运维hadoop的时候，经常会遇到一些性能问题。而性能问题，是无法简单通过web页面和log分析出来的。需要很多方面的指标。而Ganglia就是比较实用个监控工具之一。部署Ganglia，百度一下，很多人已经分享很多。结合众人的经验。并加入自己安装过程中遇到的问题，整理出本文。 1. 准备了2台机器 1 2 3 4 Server 192.168.0.11(gmetad,web,gmond-master) Client 192.168.0.12(gmond) 2. Server端需要安装的软件包 ● epel包的安装：yum install -y epel-release(解决不能yum安装某些安装包的问题) ● gmetad的安装：yum install -y ganglia-gmetad ganglia-devel ● gmond的安装：yum install -y ganglia-gmond ganglia-gmond-python ● rrdtool的安装：yum install -y rrdtool rrdtool-devel ● httpd服务器的安装：yum insta...

2017-11-08

548

1、今天在xen服务器虚拟12台出来，到了第7台时，出现现这样错误提示 1 2 3 4 [root@xenserverxen]#xmcreatevm1 WARNING:xend/xm is deprecated. Usingconfigfile "./vm1" . Error:Device 51712 (vbd)couldnotbeconnected.Failedtofindanunusedloopdevice 2、查阅相关资料，原来是当前使用的内核版本或者内核配置对 loop devices 有最大数目的限制，查看一下当前正在使用的的 loop devices： 1 2 3 4 5 6 7 8 9 [root@xenservervm1]#losetup-a /dev/loop0:[ 0811 ]: 84148230 (/data1/hadoop/hadoop1/hadoop1.img) /dev/loop1:[ 0811 ]: 84148231 (/data1/hadoop/hadoop2/hadoop2.img) /dev/loop2:[ 0811 ]: 84148232 (/d...

2017-11-08

573

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。