hadoop window 搭建-低调大师

hadoop window 搭建

2017-12-06 829

hadoop 原理参考：用 Hadoop 进行分布式并行编程
官方中文文档： http://hadoop.apache.org/core/docs/r0.18.2/cn/index.html
1. 首先安装 cygwin ssh 参考 windows ssh 搭建
2. 搭建hadoop   参考 Cygwin下的Hadoop快速入门-伪分布式模式的查缺补漏
     这里还有 cygwin putty 控制台方法设置
3. 开发环境和 demo 参考
通过参考应该环境的搭建没问题，我这搭建成功了，说下我这一些注意到地方吧
1. 我这使用的最新版本的 hadoop-0.20.0 在参考文档中，修改 hadoop-site.xml 。
   在这个版本已经在conf下找不到了，我这尝试修改的 hdfs-site.xml 。测试的时候竟然通过了。

<? xml version="1.0" ?>
<? xml-stylesheet type="text/xsl" href="configuration.xsl" ?>

< configuration >
   < property >
     < name > fs.default.name </ name >
     < value > hdfs://localhost:9000 </ value >
   </ property >

   < property >
     < name > mapred.job.tracker </ name >
     < value > localhost:9001 </ value >
   </ property >

   < property >
     < name > dfs.data.dir </ name >
     
     
     < value > C:\\cygwin\\home\\lky\\tools\\java\\hadoop-0.18.3\\dfs\\ </ value >
   </ property >

   < property >
     < name > hadoop.tmp.dir </ name >
     < value > /tmp </ value >
   </ property >

   < property >
     < name > dfs.replication </ name >
     < value > 1 </ value >
   </ property >

< property >
   < name > fs.trash.interval </ name >
   < value > 60 </ value >
   < description > Number of minutes between trash checkpoints.
  If zero, the trash feature is disabled.
   </ description >
</ property >

</ configuration >

本文转自博客园刘凯毅的博客，原文链接：hadoop window 搭建，如需转载请自行联系原博主。

微信关注我们

原文链接：https://yq.aliyun.com/articles/361345

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hadoop cascading demo

Java 代码： package com.xunjie.dmsp.olduser; import java.util.Properties; import cascading.flow.Flow; import cascading.flow.FlowConnector; import cascading.operation.regex.RegexSplitter; import cascading.pipe.Each; import cascading.pipe.Pipe; import cascading.scheme.TextLine; import cascading.tap.Hfs; import cascading.tap.Tap; import cascading.tuple.Fields; /** *test.txt： *1a *2b *3c * */data/hadoop/hadoop/bin/hadoopjar *dmsp_test_jar-1.0-SNAPSHOT-dependencies.jar *hdfs:/user/hadoop/test/lky/test.t...

2017-12-06

710

关于hadoop如何配置的教程网上已经有不少了，配合hadoop主页上的说明，基本可以顺利在多台机器上配置好hadoop集群。这里记录的是我在实际配置和使用hadoop时遇到的问题，其中一些属于hadoop周边，如ssh配置时容易遇到的问题和解决方法，供大家参考。我目前是在windows xp里通过cygwin安装的hadoop，版本是0.17.2.1。 1. 安装cygwin。在www.cygwin.com下载网络安装包，在选择组件的时候建议直接把openssh组件选中，有些版本的cygwin似乎不会自动安装diffutils组件，所以需要手工选中一下，否则配置ssh时会提示缺少该组件包。 2. cygwin控制台里的缺省提示符不太习惯，用export PS1="\u@\w$"设一下好多了。 3. 配置sshd比较简单，可以参考这个链接。在ssh-host-config时问到“Should privilege separation be used? (yes/no)”时回答no即可，如果由于安全因素要回答yes时，在启动sshd时有可能遇到“Privilege separation ...

2017-12-06

818

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。