hadoop_学习_02_Hadoop环境搭建(单机)-低调大师

hadoop_学习_02_Hadoop环境搭建(单机)

2018-03-20 662

一、环境准备

1.说明

hadoop的下载来源有：

官方版本：http://archive.apache.org/dist/hadoop/

CDH版本：http://archive.cloudera.com/cdh5

企业应用一般选择CDH版本，因为比较稳定。

若决定使用CDH版本，则要保证相关软件的CDH版本相同，如选择 hadoop-2.6.0-cdh5.9.3 与 hbase-1.2.0-cdh5.9.3

2.环境准备

操作系统 : linux CentOS 6.8

jdk:1.7

cdh版本为： 5.9.3

hadoop-2.6.0-cdh5.9.3

二、服务器基本配置

1.配置主机名

（1）修改 hostname

sudo vim /etc/sysconfig/network

将HOSTNAME修改为 rayner (改成你自己的，所有的地方一致即可)

（2）映射主机 ip 与主机名

sudo vim /etc/hosts

加入以下配置：

192.168.1.102  rayner

2.关闭防火墙

关闭防火墙，这样就可以在本机 window 中访问虚拟机的所有端口了

CentOS 7版本以下输入:

service   iptables stop

CentOS 7 以上的版本输入：

systemctl   stop   firewalld.service

3.时间设置

输入:

date

查看服务器时间是否一致，若不一致则更改

更改时间命令

date -s ‘MMDDhhmmYYYY.ss’

三、Hadoop下载

1.hadoop下载地址

http://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

2.下载hadoop

wget http://archive.apache.org/dist/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz

3.解压hadoop

tar -zxvf  hadoop-2.6.0.tar.gz

4.创建文件夹

sudo mkdir /ray/hadoop 
sudo mkdir /ray/hadoop/tmp 
sudo mkdir /ray/hadoop/var 
sudo mkdir /ray/hadoop/dfs 
sudo mkdir /ray/hadoop/dfs/name 
sudo mkdir /ray/hadoop/dfs/data

四、Hadoop环境配置

1.配置profile文件-环境变量

（1）编辑 profile 文件

sudo vim /etc/profile

（2）设置 HADOOP_HOME ，并将其添加到path中

# 1. java
export JAVA_HOME=/usr/java/jdk1.7.0_80
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

# 2. Tomcat
export CATALINA_HOME=/developer/apache-tomcat-7.0.73

# 3. Maven
export MAVEN_HOME=/developer/apache-maven-3.0.5

# 4. hadoop
export HADOOP_HOME=/developer/hadoop-2.6.0

#Path
export PATH=$HADOOP_HOME/bin:$MAVEN_HOME/bin:$CATALINA_HOME/bin:$JAVA_HOME/bin:$PATH
export LC_ALL=en_US.UTF-8

（3）使配置生效

source /etc/profile

2.配置 hadoop-env.sh

(1) 进入路径：

cd  /developer/hadoop-2.6.0/etc/hadoop

(2) 编辑 hadoop-env.sh

sudo vim hadoop-env.sh

(3) 配置JAVA_HOME

将${JAVA_HOME} 修改为自己的JDK路径，即

将

export   JAVA_HOME=${JAVA_HOME}

修改为：

export JAVA_HOME=/usr/java/jdk1.7.0_80

3.配置 core-site.xml

（1）编辑 core-site.xml

sudo vim core-site.xml

（2）在 configuration 节点中加入以下配置

注意要将value替换成自己的

<!--1. tmp -->
<property>
    <name>hadoop.tmp.dir</name>
    <value>/ray/hadoop/tmp</value>
    <description>Abase for other temporary directories.</description>
</property>

<!--2. default.name -->
<property>
    <name>fs.default.name</name>
    <value>hdfs://rayner:9000</value>
</property>

4.配置 hdfs-site.xml

（1）编辑 hdfs-site.xml

sudo vim hdfs-site.xml

（2）在 configuration 节点中加入以下配置

<!--1. name -->
<property>
   <name>dfs.name.dir</name>
   <value>/ray/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>

<!--2. data -->
<property>
   <name>dfs.data.dir</name>
   <value>/ray/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>

<!--3. replication -->
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>

<!--4. permissions -->
<property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
</property>

说明：dfs.permissions配置为false后，可以允许不要检查权限就生成dfs上的文件，

方便倒是方便了，但是你需要防止误删除，请将它设置为true，或者直接将该property节点删除，因为默认就是true。

5.配置 mapred-site.xml

如果没有 mapred-site.xml 该文件，就复制mapred-site.xml.template文件并重命名为 mapred-site.xml。

(1) 编辑 mapred-site.xml

sudo vim mapred-site.xml

(2) 在 configuration 节点中加入以下配置

<!--1. job -->
<property>
    <name>mapred.job.tracker</name>
    <value>rayner:9001</value>
</property>

<!--2. local -->
<property>
      <name>mapred.local.dir</name>
       <value>/ray/hadoop/var</value>
</property>

<!--3. framework -->
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
</property>

五、hadoop 常用命令

1.格式化namenode

第一次启动Hadoop需要初始化
切换到 /home/hadoop/hadoop2.8/bin目录下输入

hadoop namenode -format

这一步可能会出现异常：

Unable to determine local hostname -falling back to "localhost"
java.net.UnknownHostException: rayner: rayner

解决方法参见： hadoop_异常_01_ Unable to determine address of the host-falling back to "localhost" address java.net.UnknownHostException: rayner

2、启动hadoop

启                       /developer/hadoop-2.6.0/sbin/start-all.sh
停                       /developer/hadoop-2.6.0/sbin/stop-all.sh

（1）进入sbin目录，执行以下命令

/developer/hadoop-2.6.0/sbin/start-all.sh

（2）使用jps命令查看启动成功效果

（2）浏览器输入： 127.0.0.1:8088/cluster 或者 192.168.1.102:8088/cluster ，会出现下图

（3）浏览器输入：127.0.0.1:50070 或者 192.168.1.102:50070

2.查看hadoop下有哪些文件

hadoop fs -ls /

六、参考资料

1.大数据学习系列之一 ----- Hadoop环境搭建(单机)

下一篇：base_学习_01_HBase环境搭建(单机)

微信关注我们

原文链接：https://yq.aliyun.com/articles/621339

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

jdk 5 到 jdk 10各个版本的新特性

jdk5 jdk10各个版本的新特性 JDK1.5新特性： 1.自动装箱与拆箱： 2.枚举 3.静态导入，如：import staticjava.lang.System.out 4.可变参数（Varargs） 5.内省（Introspector），主要用于操作JavaBean中的属性，通过getXxx/setXxx。一般的做法是通过类Introspector来获取某个对象的BeanInfo信息，然后通过BeanInfo来获取属性的描述器（PropertyDescriptor），通过这个属性描述器就可以获取某个属性对应的getter/setter方法，然后我们就可以通过反射机制来调用这些方法。 6.泛型(Generic)（包括通配类型/边界类型等） 7.For-Each循环 8.注解 9.协变返回类型：实际返回类型可以是要求的返回类型的一个子类型 JDK1.6新特性： AWT新增加了两个类:Desktop和SystemTray，其中前者用来通过系统默认程序来执行一个操作，如使用默认浏览器浏览指定的URL,用默认邮件客户端给指定的邮箱发邮件,用默认应用程序打开或编辑文件(比如,用记事本打开...

2018-03-21

597

命令解释 jps（jps -mlvV）与Linux上的ps类似，用来显示本地的java进程，可以查看本地运行着几个java程序，并显示他们的进程号。 jstat（man jstat/　jstat -gc $jpid）监视VM内存工具，可以用来监视VM内存内的各种堆和非堆的大小及其内存使用量。 jmap（Memory Map /jmap -heap $jpid）打印出某个java进程（使用pid）内存内的，所有‘对象’的情况（如：产生那些对象，及其数量）。 jstack（Linux特有/ jstack -l $jpid）观察jvm中当前所有线程的运行情况和线程当前状态。 jinfo（Linux特有/ jinfo $jpid）运行中的java程序的运行环境参数，参数包括Java System属性和JVM命令行参数 jconsole 结合上述功能的GUI工具，监控到：CPU、内存、线程数、类数量，展现VM摘要、Mbean集属性。 jvisualvm Java5之后内置的监控工具，和Jconsole相似，Dump功能强大！并有Profile功能。 jhat 用于解析Java的Dum...

2018-03-21

804

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。