hadoop window 搭建-低调大师

hadoop window 搭建

2017-12-06 767

hadoop 原理参考：用 Hadoop 进行分布式并行编程
官方中文文档： http://hadoop.apache.org/core/docs/r0.18.2/cn/index.html
1. 首先安装 cygwin ssh 参考 windows ssh 搭建
2. 搭建hadoop   参考 Cygwin下的Hadoop快速入门-伪分布式模式的查缺补漏
     这里还有 cygwin putty 控制台方法设置
3. 开发环境和 demo 参考
通过参考应该环境的搭建没问题，我这搭建成功了，说下我这一些注意到地方吧
1. 我这使用的最新版本的 hadoop-0.20.0 在参考文档中，修改 hadoop-site.xml 。
   在这个版本已经在conf下找不到了，我这尝试修改的 hdfs-site.xml 。测试的时候竟然通过了。

<? xml version="1.0" ?>
<? xml-stylesheet type="text/xsl" href="configuration.xsl" ?>

< configuration >
   < property >
     < name > fs.default.name </ name >
     < value > hdfs://localhost:9000 </ value >
   </ property >

   < property >
     < name > mapred.job.tracker </ name >
     < value > localhost:9001 </ value >
   </ property >

   < property >
     < name > dfs.data.dir </ name >
     
     
     < value > C:\\cygwin\\home\\lky\\tools\\java\\hadoop-0.18.3\\dfs\\ </ value >
   </ property >

   < property >
     < name > hadoop.tmp.dir </ name >
     < value > /tmp </ value >
   </ property >

   < property >
     < name > dfs.replication </ name >
     < value > 1 </ value >
   </ property >

< property >
   < name > fs.trash.interval </ name >
   < value > 60 </ value >
   < description > Number of minutes between trash checkpoints.
  If zero, the trash feature is disabled.
   </ description >
</ property >

</ configuration >

本文转自博客园刘凯毅的博客，原文链接：hadoop window 搭建，如需转载请自行联系原博主。

微信关注我们

原文链接：https://yq.aliyun.com/articles/361345

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hadoop cascading demo

Java 代码： package com.xunjie.dmsp.olduser; import java.util.Properties; import cascading.flow.Flow; import cascading.flow.FlowConnector; import cascading.operation.regex.RegexSplitter; import cascading.pipe.Each; import cascading.pipe.Pipe; import cascading.scheme.TextLine; import cascading.tap.Hfs; import cascading.tap.Tap; import cascading.tuple.Fields; /** *test.txt： *1a *2b *3c * */data/hadoop/hadoop/bin/hadoopjar *dmsp_test_jar-1.0-SNAPSHOT-dependencies.jar *hdfs:/user/hadoop/test/lky/test.t...

2017-12-06

665

关于hadoop如何配置的教程网上已经有不少了，配合hadoop主页上的说明，基本可以顺利在多台机器上配置好hadoop集群。这里记录的是我在实际配置和使用hadoop时遇到的问题，其中一些属于hadoop周边，如ssh配置时容易遇到的问题和解决方法，供大家参考。我目前是在windows xp里通过cygwin安装的hadoop，版本是0.17.2.1。 1. 安装cygwin。在www.cygwin.com下载网络安装包，在选择组件的时候建议直接把openssh组件选中，有些版本的cygwin似乎不会自动安装diffutils组件，所以需要手工选中一下，否则配置ssh时会提示缺少该组件包。 2. cygwin控制台里的缺省提示符不太习惯，用export PS1="\u@\w$"设一下好多了。 3. 配置sshd比较简单，可以参考这个链接。在ssh-host-config时问到“Should privilege separation be used? (yes/no)”时回答no即可，如果由于安全因素要回答yes时，在启动sshd时有可能遇到“Privilege separation ...

2017-12-06

764

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。