首页 文章 精选 留言 我的

精选列表

搜索[智能开发平台]，共10011篇文章
优秀的个人博客,低调大师

Windows下Hadoop eclipse开发平台搭建

Hadoop 在Windows环境下的搭建教程 搞了一个下午，在Linux和Windows下都成功了，步骤相差不大。一些小问题，google一下就能解决。但还是推荐在linux下搭建，很容易切稳定。 1.必要条件 Cygwin ：我的版本是目前最新的2.774 java JDK hadoop 0.20.2 迅雷连接（有可能已经失效）：thunder://QUFodHRwOi8vZGwuY3IxNzMuY29tLy9zb2Z0My9oYWRvb3AuemlwWlo= eclipse 2. java安装 具体参考百度。。。。。 3.Cygwin的安装 可以按照默认的提示安装到自己需要存放的位置，但是在安装时需要注意下面几点： Net 下的：openssh,openssl Base 下的：sed （若需要Eclipse，必须sed） Devel 下的：subversion（建议安装） 不同的版本可能有所不同，但是基本操作没有变化。。。。 CygWin的bin目录以及usr/sbin 追加到系统环境变量PATH中。 4.启动SSH服务 以管理员权限运行Cygwin，并输入 SSH-HOST-CONFIG 接下来，系统会提示以下信息 should privilege separation be used ? 回答：no if sshd should be installed as service? 回答：yes the value of CYGWIN environment variable 输入: ntsec 成功的话，会有下面的提示 Host configuration finished. Have fun! 不要高兴太早，我们还需要在Windows服务中，开启Cygwin服务。 还有活要干。。。 在Cygwin下操作： 输入ssh-keygen，回车直到完成输出 进入~/.ssh，cd ~/.ssh 复制，cp id_rsd.pub anthorized_keys 退出，exit 如果没有任何问题的话，应该是完成了。 输入ssh localhost开启SSH服务。（PS：这里我一直都是错误的，不知道为啥我重启下了电脑，好了） 5.hadoop安装 下载hadoop，解压缩到Cygwin下，修改名称为hadoop，方便使用。这里只部署在一个机器上。 需要我们首先修改一些Hadoop的配置信息(这里的端口9000和9001确保没有被占用，也可改变为其他)： hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml //打开hadoop/conf/hadoop-env.sh文件 export JAVA_HOME=/usr/lib/jvm/java //打开conf/core-site.xml文件 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> //打开conf/mapred-site.xml文件 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --> <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration> //打开conf/hdfs-site.xml文件 <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>dfs.name.dir</name> <value>/usr/local/hadoop/datalog1,/usr/local/hadoop/datalog2</value> </property> <property> <name>dfs.data.dir</name> <value>/usr/local/hadoop/data1,/usr/local/hadoop/data2</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> 可以启动hadoop了，激动~~ 1.创建Logs日志目录 mkdir logs 2.格式化namenode，创建HDFS(这要进入hadoop文件夹内操作) bin/hadoop namenode -format 3.启动hadoop bin/start-all.sh 4.执行JPS 完成启动~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 输入网址：http://localhost:50030 6.配置eclipse Hadoop自带eclipse插件，在hadoop\contrib\eclipse-plugin中。 具体配置步骤如下： hadoop-0.20.2-eclipse-plugin.jar放入eclipse的插件文件夹中，开启eclipse。 window->Preference->Hadoop Map/Reduce，输入hadoop文件夹位置。 window->Show View，选择Map/Reduce Locations。 点击屏幕右下方新建一个Location. 编辑Location.(注意MAP/REDUCE和DFS的Port分别对应mapred-site.xml和core-site.xml)，高级的我设置了Hadoop.tmp.dir 这时，打开Project Explore，刷新。 接下来，你可以new一个MapReduce程序了，找到hadoop的例子试试去吧。 对了，编译这里要配置一下。 选择Run Configurations->Java Application->Arguments，这里要填入为两个文件，分别为输入文件和输出文件。 主要参考：http://blog.csdn.net/johnnywww/article/details/7378284 http://blog.csdn.net/ruby97/article/details/7423088 本文由cococo点点创作，采用知识共享 署名-非商业性使用-相同方式共享 3.0 中国大陆 许可协议进行许可。欢迎转载，请注明出处： 转载自：cococo点点http://www.cnblogs.com/coder2012
2016-05-19

资源下载

更多资源
腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

时间: 2026-08-21 大小: 1MB 下载: 10次
Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

时间: 2026-09-24 大小: 189MB 下载: 9次
Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

时间: 2026-08-21 大小: 9.84MB 下载: 40次
WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。

时间: 2025-12-13 大小: 249.54MB 下载: 22次
热门标签
DeepSeek Jdk25 OpenAi HarmonyOS6 Nacos3 SpringBoot4 SpringCloud Docker Kubernetes Service Mesh Redis Gemini3 Rocky

欢迎您来访！

登录后，您将获得更多功能！
热门文章
联系我们

有任何问题或合作意向欢迎联系我们

Email: 99873273@qq.com

QQ: 99873273

用户登录
用户注册