Windows下Hadoop eclipse开发平台搭建-低调大师

Windows下Hadoop eclipse开发平台搭建

2016-05-19 667

Hadoop 在Windows环境下的搭建教程

　　搞了一个下午，在Linux和Windows下都成功了，步骤相差不大。一些小问题，google一下就能解决。但还是推荐在linux下搭建，很容易切稳定。

1.必要条件

　　Cygwin ：我的版本是目前最新的2.774

　　java JDK

　　hadoop 0.20.2 迅雷连接（有可能已经失效）：thunder://QUFodHRwOi8vZGwuY3IxNzMuY29tLy9zb2Z0My9oYWRvb3AuemlwWlo=

　　eclipse

2. java安装

　　具体参考百度。。。。。

3.Cygwin的安装

　　可以按照默认的提示安装到自己需要存放的位置，但是在安装时需要注意下面几点：　　　

Net 下的：openssh,openssl

Base 下的：sed （若需要Eclipse，必须sed）

Devel 下的：subversion（建议安装）

　　不同的版本可能有所不同，但是基本操作没有变化。。。。

　　CygWin的bin目录以及usr/sbin 追加到系统环境变量PATH中。

4.启动SSH服务

以管理员权限运行Cygwin，并输入

SSH-HOST-CONFIG

接下来，系统会提示以下信息　

should privilege  separation be used ?    回答：no
if sshd should be installed as service?   回答：yes
the value of CYGWIN environment variable  输入: ntsec

成功的话，会有下面的提示

Host configuration finished. Have fun!

　　不要高兴太早，我们还需要在Windows服务中，开启Cygwin服务。　

　　还有活要干。。。

　　　在Cygwin下操作：

输入ssh-keygen，回车直到完成输出
进入~/.ssh，cd ~/.ssh
复制，cp id_rsd.pub anthorized_keys
退出，exit

　　如果没有任何问题的话，应该是完成了。

　　输入ssh localhost开启SSH服务。（PS：这里我一直都是错误的，不知道为啥我重启下了电脑，好了）

5.hadoop安装

　　下载hadoop，解压缩到Cygwin下，修改名称为hadoop，方便使用。这里只部署在一个机器上。

　　需要我们首先修改一些Hadoop的配置信息(这里的端口9000和9001确保没有被占用，也可改变为其他)：

hadoop-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml

//打开hadoop/conf/hadoop-env.sh文件
export JAVA_HOME=/usr/lib/jvm/java

//打开conf/core-site.xml文件
<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
                                                                                                               
<!-- Put site-specific property overrides in this file. -->
                                                                                                               
<configuration> 
<property>   
  <name>fs.default.name</name>   
  <value>hdfs://localhost:9000</value>    
 </property>   
</configuration>

//打开conf/mapred-site.xml文件

<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
                                                                                                            
<!-- Put site-specific property overrides in this file. -->
                                                                                                            
    <configuration>   
     <property>    
      <name>mapred.job.tracker</name>   
      <value>localhost:9001</value>    
     </property>   
    </configuration>

//打开conf/hdfs-site.xml文件

<?xml version="1.0"?> 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration> 
<property> 
<name>dfs.name.dir</name> 
<value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value> 
</property> 
<property> 
<name>dfs.data.dir</name> 
<value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value> 
</property> 
<property> 
<name>dfs.replication</name> 
<value>1</value> 
</property> 
</configuration>

　可以启动hadoop了，激动~~

1.创建Logs日志目录

mkdir logs

2.格式化namenode，创建HDFS(这要进入hadoop文件夹内操作)

bin/hadoop namenode -format

3.启动hadoop

bin/start-all.sh

4.执行JPS

完成启动~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

输入网址：http://localhost:50030

6.配置eclipse　

　　Hadoop自带eclipse插件，在hadoop\contrib\eclipse-plugin中。

　　具体配置步骤如下：

　　hadoop-0.20.2-eclipse-plugin.jar放入eclipse的插件文件夹中，开启eclipse。

　　window->Preference->Hadoop Map/Reduce，输入hadoop文件夹位置。

　　window->Show View，选择Map/Reduce Locations。

　　点击屏幕右下方新建一个Location.

　　编辑Location.(注意MAP/REDUCE和DFS的Port分别对应mapred-site.xml和core-site.xml)，高级的我设置了Hadoop.tmp.dir

　　这时，打开Project Explore，刷新。

　　接下来，你可以new一个MapReduce程序了，找到hadoop的例子试试去吧。

　　对了，编译这里要配置一下。

　　选择Run Configurations->Java Application->Arguments，这里要填入为两个文件，分别为输入文件和输出文件。

主要参考：http://blog.csdn.net/johnnywww/article/details/7378284

　　　　　http://blog.csdn.net/ruby97/article/details/7423088

本文由 cococo点点创作，采用知识共享署名-非商业性使用-相同方式共享 3.0 中国大陆许可协议进行许可。欢迎转载，请注明出处：
转载自：cococo点点 http://www.cnblogs.com/coder2012

微信关注我们

原文链接：https://yq.aliyun.com/articles/49968

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

解决海量数据计算、降低企业成本的利器——MaxCompute

想不想知道，用户积累超4亿的墨迹天气，是如何完成分析他们那每天超400G的庞大用户数据，并提供个性化服务的吗？想不想知道，受大家广受欢迎的弹幕式视频直播网站熊猫TV，是如何实现离线、流式两种不同场景的数据分析的吗？答案是MaxCompute。看到这里，相信很多人都会不禁在心里嘀咕一句，什么是MaxCompute？ MaxCompute（原名ODPS）是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute能向用户提供完善的数据导入方案，以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。对比Hadoop托管服务，以及自建的Hadoop，MaxCompute优势非常明显，在易用性、性能、成本、稳定性、安全和生态便利性上，远超前两者。 “一图蔽之”：技术加油站：产品官网：请

2016-05-19

773

using System; using System.Collections.Generic; using System.ComponentModel; using System.Data; using System.Drawing; using System.Linq; using System.Text; using System.Windows.Forms; using GMap.NET; using GMap.NET.WindowsForms; using GMap.NET.MapProviders; using GMap.NET.WindowsForms.Markers; namespace GMapWinFormDemo { public partial class MainForm : Form { private GMapOverlay objects = new GMapOverlay("objects"); //放置marker的图层 private GMapMarkerImage currentMarker; private bool isLeftButtonDo...

2016-05-20

587

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。