Linux下部署Hadoop伪分布模式-低调大师

Linux下部署Hadoop伪分布模式

2017-07-02 699

Hadoop版本为1.2.1

　　 Linux使用Fedora19并使用hadoop账号安装

　　 第一步：配置ssh本地登录证书（虽然为伪分布模式，Hadoop依然会使用SSH进行通信）

[hadoop@promote ~]$ which ssh

/usr/bin/ssh

[hadoop@promote ~]$ which ssh-keygen

/usr/bin/ssh-keygen

[hadoop@promote ~]$ which sshd

/usr/sbin/sshd

[hadoop@promote ~]$ ssh-keygen -t rsa

　　然后一路回车

Generating public/private rsa key pair.

Enter file in which to save the key (/home/hadoop/.ssh/id_rsa):

Created directory '/home/hadoop/.ssh'.

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Passphrases do not match. Try again.

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /home/hadoop/.ssh/id_rsa.

Your public key has been saved in /home/hadoop/.ssh/id_rsa.pub.

The key fingerprint is:

2f:a9:60:c7:dc:38:8f:c7:bb:70:de:d4:39:c3:39:87 hadoop@promote.cache-dns.local

The key's randomart image is:

+--[ RSA 2048]----+

| |

| S |

| o o o o + |

| o B.= o E . |

| . o Oo+ = |

| o.=o. |

+-----------------+

　　最终将在/home/hadoop/.ssh/路径下生成私钥id_rsa和公钥id_rsa.pub

　　[hadoop@promote .ssh]$ cd /home/hadoop/.ssh/

　　[hadoop@promote .ssh]$ ls

　　id_rsa id_rsa.pub

　　修改sshd服务配置文件：

　　[hadoop@promote .ssh]$ su root

　　密码：

　　[root@promote .ssh]# vi /etc/ssh/sshd_config

　　启用RSA加密算法验证（去掉前面的#号）

RSAAuthentication yes

PubkeyAuthentication yes

# The default is to check both .ssh/authorized_keys and .ssh/authorized_keys2

# but this is overridden so installations will only check .ssh/authorized_keys

AuthorizedKeysFile .ssh/authorized_keys

　修改mapred-site.xml：

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>mapred.job.tracker</name>

<value>localhost:9001</value>

</property>

</configuration>

　　修改hdfs-site.xml：

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>dfs.replication</name>

</property>

</configuration>

　　master中指定的SNN节点和slaves中指定的从节点位置均为本地

[hadoop@promote conf]$ cat masters

localhost

[hadoop@promote conf]$ cat slaves

localhost

　　第五步：启动Hadoop

[hadoop@promote bin]$ cd ../conf/

[hadoop@promote conf]$ cd ../bin

[hadoop@promote bin]$ sh start-all.sh

starting namenode, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-namenode-promote.cache-dns.local.out

localhost: starting datanode, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-datanode-promote.cache-dns.local.out

localhost: starting secondarynamenode, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-secondarynamenode-promote.cache-dns.local.out

starting jobtracker, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-jobtracker-promote.cache-dns.local.out

localhost: starting tasktracker, logging to /home/hadoop/hadoop-1.2.1/libexec/../logs/hadoop-hadoop-tasktracker-promote.cache-dns.local.out

　　可以看到所有Hadoop守护进程均已启动

　保存并退出，然后重启sshd服务

[root@promote .ssh]# service sshd restart

Redirecting to /bin/systemctl restart sshd.service

[root@promote .ssh]# ps -ef|grep sshd

root 1995 1 0 22:33 ? 00:00:00 sshd: hadoop [priv]

hadoop 2009 1995 0 22:33 ? 00:00:00 sshd: hadoop@pts/0

root 4171 1 0 23:11 ? 00:00:00 /usr/sbin/sshd -D

root 4175 3397 0 23:12 pts/0 00:00:00 grep --color=auto sshd

　　然后切换回hadoop用户，将ssh证书公钥拷贝至/home/hadoop/.ssh/authorized_keys文件中

　　[root@promote .ssh]# su hadoop

　　[hadoop@promote .ssh]$ cat id_rsa.pub >> authorized_keys

　　修改authorized_keys文件的权限为644（这步一定要有）

　　[hadoop@promote .ssh]$ chmod 644 authorized_keys

　　[hadoop@promote .ssh]$ ssh localhost

　　The authenticity of host 'localhost (127.0.0.1)' can't be established.

　　RSA key fingerprint is 25:1f:be:72:7b:83:8e:c7:96:b6:71:35:fc:5d:2e:7d.

　　Are you sure you want to continue connecting (yes/no)? yes

　　Warning: Permanently added 'localhost' (RSA) to the list of known hosts.

　　Last login: Thu Feb 13 23:42:43 2014

　　 第一次登陆将会将证书内容保存在/home/hadoop/.ssh/known_hosts文件中，以后再次登陆将不需要输入密码

　　[hadoop@promote .ssh]$ ssh localhost

　　Last login: Thu Feb 13 23:46:04 2014 from localhost.localdomain

　　至此ssh证书部分配置完成

　　第二步：安装JDK

　　[hadoop@promote ~]$ java -version

　　java version "1.7.0_25"

　　OpenJDK Runtime Environment (fedora-2.3.10.3.fc19-i386)

　　OpenJDK Client VM (build 23.7-b01, mixed mode)

　　将OpenJDK换为Oracle的Java SE

　　[hadoop@promote .ssh]$ cd ~

　　[hadoop@promote ~]$ uname -i

　　i386

　　在Oracle的官网下载jdk-6u45-linux-i586.bin后上传至服务器，赋予权限并进行安装，最后删除安装包

　　[hadoop@promote ~]$ chmod u+x jdk-6u45-linux-i586.bin

　　[hadoop@promote ~]$ ./jdk-6u45-linux-i586.bin

　　[hadoop@promote ~]$ rm -rf jdk-6u45-linux-i586.bin

　　[hadoop@promote conf]$ export PATH=$PATH:/home/hadoop/jdk1.6.0_45/bin

　　出现以下结果说明JDK成功安装：

　　[hadoop@promote ~]$ java -version

　　java version "1.6.0_45"

　　Java(TM) SE Runtime Environment (build 1.6.0_45-b06)

　　Java HotSpot(TM) Client VM (build 20.45-b01, mixed mode, sharing)

　　 第三步：安装Hadoop

　　在Hadoop官网下载hadoop-1.2.1.tar.gz并上传至服务器/home/hadoop路径下

　　[hadoop@promote ~]$ tar -xzf hadoop-1.2.1.tar.gz

　　[hadoop@promote ~]$ rm -rf hadoop-1.2.1.tar.gz

　　[hadoop@promote ~]$ cd hadoop-1.2.1/conf/

　　[hadoop@promote conf]$ vi hadoop-env.sh

　　将JAVA_HOME指向第二步安装的JDK所在目录片

　　# The java implementation to use. Required.

　　export JAVA_HOME=/home/hadoop/jdk1.6.0_45

　　保存并退出

　　 第四步：修改Hadoop配置文件

　　修改core-site.xml：

<?xml version="1.0"?>

<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<name>fs.default.name</name>

<value>hdfs://localhost:9000</value>

</property>

</configuration>

最新内容请见作者的GitHub页：http://qaseven.github.io/

微信关注我们

原文链接：https://yq.aliyun.com/articles/131631

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

【转】hadoop/hbase搭建

1. 环境操作系统：Red hat 6.3，300G硬盘，双核CPU JAVA：JDK1.6 HBASE：hbase-0.98.1 Hadoop：hadoop-2.2.0 现在我们使用3台机器(虚拟机)，来搭建hadoop环境，如下为机器列表，首先我们需要在三台机器上hosts文件中都增加如下信息，同时需要注意，局域网内的机器都需要设定网卡为“静态IP”，以防止机器重启后IP不断变化。本例中所有机器使用root用户操作。 Java代码 127.0.0.1localhost ::1localhost 192.168.0.110node1.hadoop.virtual 192.168.0.111node2.hadoop.virtual 192.168.0.112node2.hadoop.virtual ##需要注意当前的机器名 ##192.168.0.110(本机IP)机器名当然使用“hostname”转义成IP并非必须的，我们也可以直接在hadoop、hbase的配置文件使用IP，不过本人为了便于定位node所在的机器位置，就“额外”的在hos...

2017-07-03

528

在美国孟菲斯召开的在“数据管理与交换”分技术委员会2016年全会上，中国代表团提交的大数据技术提案“SQL对MapReduce及与之相关的流数据处理的支持”完胜美国、德国，获得SC32全会决议通过。会议确认以WG3“数据库语言工作组”和中国国家成员体的名义联合申报新工作项目“数据库语言新技术设计说明第1部分：SQL对流数据的支持”。这是29年来中国首度在国际标准委员会独立提出技术提案并获通过。据悉，该项目中国国家成员体的发起人为中国电子技术标准化研究院的卫凤林和柏睿数据科技(北京)有限公司的刘睿民。评审会专家认为，该提案标志着我国大数据领域国际标准化工作取得重大突破，提升了我国在数据库语言领域的标准话语权。刘睿民认为，该提案的通过，不仅说明中国核心大数据基础技术的发展正在赶超国际水平，历年来由美国、德国一统天下的高端数据库核心技术，已经被中国突破；更使得大数据产业发展能够有章可循、有据可依，刘睿民特别强调中国技术业已全面突破国际大数据核心技术壁垒实现真正意义上的国产化，只有国产化数据核心技术在自己手里，国家各个层面的数据安全才能得以有效保证。 “把数据装到别人家的仓库里，由别人的...

2017-07-03

533

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。