Hadoop在Windows下的安装配置-低调大师

Hadoop在Windows下的安装配置

2017-10-17 467

由于本人近期近期一段时间都在学习Hadoop，接触了比較多的理论，可是想要深入的去学习Hadoop整个平台，那就必须实战的训练，首先第一步，当然是先搭建好一个Hadoop平台为先。可是比較坑爹的是。Hadoop是要求安装在Linux环境下的。在Windows下是不能直接执行的。

所以仅仅能在Windows下搞个Cygwin，然后把Hadoop安装包往里面扔了。我对Cygwin的印象一直不是很好，曾经用过这个模拟过Linux环境，后来发现总是会出现各种环境上的问题。很耗时间。所以我推測，如今我又在上面搭建一个Hadoop平台，也肯定不是一件简单的事件。后来的事实证明，我的确遭遇到了许多的问题。

首先第一个遇到的问题，就是配置文件上的差别。之前我在网上下载的Hadoop安装版本号文件时Hadoop2.0然后。我的安装教程将的是1.0的。里面的配置文件对应的配置文件都没找到。比方，在Hadoop2.0中是没有mapred-site.xml。取而代之的是mapred-site.xml.template文件，所在的文件夹页不是叫做conf文件夹。所以，第一点，搭建Hadoop平台，要对准对应的平台进行安装。

2.在配置core-site,hdfs-site,mapreduce-site文件之前，要先安装SSH 服务，由于Hadoop的通信会要求进行SSH认证的，还会生出密钥文件，有了密钥文件。就能够实现以后的免password登录，这个步骤是必须的，假设不运行这个前期操作，运行的后面的命令会报错的。

3.Cygwin下的JDK安装和路径配置，由于Hadoop平台是要求Java环境的，须要在Cygwin环境下也安装JDK。可是我们的JDK是安装在Windows磁盘下的啊，这该怎么处理呢，第一之间把地址定位到你安装的地址上去，通过cgwdrive+你的实际安装位置，或者你直接找到原先的安装文件夹，直接复制到Cygwin的文件夹下，再进行path的设置。

JDK的设置非常重要，兴许的命令非常多都是基于此的。

4.最后一个就是3大配置文件的配置操作了，假设你不打算配置，那就是默认的单机模式了。配置的操作就是相当于有了DataNode, NameNode, HDFS等等。可是都是在本机上进行的。一个伪分布式模式，这个非常easy，就是定义了port号，和一些描写叙述信息。

5.最后在执行整个服务之前，要先对HDFS进行格式化操作，hadoop hdfs-format,在最后面的就是start-all.sh，在不同版本号的Hadoop中。start-all.sh在不同的文件夹中，1.2版的是在bin文件夹下，2.0版的是在sbin下。cd到哪个文件夹下执行操作须要注意。

上述操作就是我在搭建平台的过程中所遇到的问题，上述是我自觉得是比較easy犯的错误，里面其它的问题网上搜的都是一堆的教程，大同小异。

本文转自mfrbuaa博客园博客，原文链接：http://www.cnblogs.com/mfrbuaa/p/5166725.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/363905

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

用python写MapReduce函数——以WordCount为例

阅读目录 1. Python MapReduce 代码 2. 在Hadoop上运行python代码 3. 利用python的迭代器和生成器优化Mapper 和 Reducer代码 4. 参考尽管Hadoop框架是用java写的，但是Hadoop程序不限于java，可以用python、C++、ruby等。本例子中直接用python写一个MapReduce实例，而不是用Jython把python代码转化成jar文件。例子的目的是统计输入文件的单词的词频。输入：文本文件输出：文本（每行包括单词和单词的词频，两者之间用'\t'隔开）回到顶部 1. Python MapReduce 代码使用python写MapReduce的“诀窍”是利用Hadoop流的API，通过STDIN(标准输入)、STDOUT(标准输出)在Map函数和Reduce函数之间传递数据。我们唯一需要做的是利用Python的sys.stdin读取输入数据，并把我们的输出传送给sys.stdout。Hadoop流将会帮助我们处理别的任何事情。 1.1 Map阶段：mapper.py 在这里，...

2017-10-18

535

以下轮到FSNamesystem 出场了。 FSNamesystem.java 一共同拥有4573 行。而整个namenode 文件夹下全部的Java 程序总共也仅仅有16876行，把FSNamesystem 搞定了，NameNode 也就基本搞定。FSNamesystem 是NameNode 实际记录信息的地方，保存在FSNamesystem 中的数据有：文件名称数据块列表（存放在FSImage 和日志中）合法的数据块列表（上面关系的逆关系）数据块DataNode（仅仅保存在内存中，依据DataNode 发过来的信息动态建立）DataNode 上保存的数据块（上面关系的逆关系）近期发送过心跳信息的DataNode（LRU）我们先来分析FSNamesystem 的成员变量。 privatprivate boolean isPermissionEnabled;是否打开权限检查。能够通过配置项dfs.permissions 来设置。private UserGroupInformation fsOwner;本地文件的用户文件属主和文件组，能够通过hadoop.job.ugi 设置，假设没有设...

2017-10-18

492

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。