Hadoop2.7实战v1.0之HBase1.1.5 HA分布式搭建-低调大师

Hadoop2.7实战v1.0之HBase1.1.5 HA分布式搭建

2016-03-20 1066

1.已有环境: Hadoop-2.7.2+zookeeper-3.4.6完全分布式环境搭建(HDFS、YARN HA)

2. 下载解压hbase-1.2.0-bin.tar.gz和设置环境HBASE_HOME变量

点击(此处)折叠或打开

[root@sht-sgmhadoopnn-01 tmp]# wget http://archive.apache.org/dist/hbase/1.1.5/hbase-1.1.5-bin.tar.gz
[root@sht-sgmhadoopnn-01 tmp]# tar -xvf hbase-1.1.5-bin.tar.gz
[root@sht-sgmhadoopnn-01 tmp]# mv /tmp/hbase-1.1.5 /hadoop/hbase
[root@sht-sgmhadoopnn-01 tmp]# cd /hadoop/hbase/conf
[root@sht-sgmhadoopnn-01 conf]# pwd
/hadoop/hbase/conf

vi /etc/profile 增加内容如下:[集群所有节点设置]

点击(此处)折叠或打开

export HBASE_HOME=/hadoop/hbase
PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:HBASE_HOME/bin:$PATH
export $PATH

执行 source /etc/profile

3. 修改hbase-env.sh

export JAVA_HOME="/usr/java/jdk1.7.0_67-cloudera"

export HBASE_CLASSPATH=/hadoop/hadoop-2.7.2/etc/hadoop

#设置到Hadoop的etc/hadoop目录是用来引导Hbase找到Hadoop,也就是说hbase和hadoop进行关联【必须设置,否则hmaster起不来】

export HBASE_MANAGES_ZK=false

#不启用hbase自带的zookeeper
4.修改hbase-site.xml

点击(此处)折叠或打开

<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://mycluster/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>/hadoop/hbase/tmp</value>
</property>
<property>
<name>hbase.master</name>
<value>60000</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/hadoop/zookeeper/data</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>sht-sgmhadoopdn-01,sht-sgmhadoopdn-02,sht-sgmhadoopdn-03</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>zookeeper.session.timeout</name>
<value>120000</value>
</property>
<property>
<name>hbase.regionserver.restart.on.zk.expire</name>
<value>true</value>
</property>
</configuration>

5. 修改regionservers文件

点击(此处)折叠或打开

sht-sgmhadoopdn-01
sht-sgmhadoopdn-02
sht-sgmhadoopdn-03

6.分发文件夹

点击(此处)折叠或打开

[root@sht-sgmhadoopnn-01 hadoop]# scp -r hbase root@sht-sgmhadoopnn-02:/hadoop
[root@sht-sgmhadoopnn-01 hadoop]# scp -r hbase root@sht-sgmhadoopdn-01:/hadoop
[root@sht-sgmhadoopnn-01 hadoop]# scp -r hbase root@sht-sgmhadoopdn-02:/hadoop
[root@sht-sgmhadoopnn-01 hadoop]# scp -r hbase root@sht-sgmhadoopdn-03:/hadoop

7.启动HBase HA

点击(此处)折叠或打开

[root@sht-sgmhadoopnn-01 bin]# start-hbase.sh
[root@sht-sgmhadoopnn-02 bin]# hbase-daemon.sh start master

8.验证 是否已经启动hbase集群和验证who is master and who is Backup Master
1).进程和查询服务器状态

点击(此处)折叠或打开

##进程 [root@sht-sgmhadoopnn-01 bin]# jps
20519 NameNode
18925 Jps
20872 DFSZKFailoverController
26810 ResourceManager
13564 HMaster

[root@sht-sgmhadoopnn-02 logs]# jps
5265 NameNode
5449 DFSZKFailoverController
26319 Jps
12281 ResourceManager
21879 HMaster
[root@sht-sgmhadoopdn-01 bin]# jps
30488 QuorumPeerMain
25780 NodeManager
20286 DataNode
996 HRegionServer
6371 Jps
20399 JournalNode
### sht-sgmhadoopdn-02,03与01一样

##查询服务器状态 [root@sht-sgmhadoopnn-01 bin]# hbase shell 2016-03-16 22:55:36,551 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
HBase Shell; enter 'help' for list of supported commands.
Type "exit" to leave the HBase Shell
Version 1.2.0, r25b281972df2f5b15c426c8963cbf77dd853a5ad, Thu Feb 18 23:01:49 CST 2016

hbase(main):001:0> status 1 active master, 1 backup masters, 3 servers, 0 dead, 0.6667 average load

2).查看日志

3).登录zookeeper

4).web 页面

why http://server:60010 web page for the running HBase1.1.5 Master???

After the 0.98 version port numbers have changed. It is now 16010 instead of 60010). Check this page for general UI troubleshooting: http://hbase.apache.org/book/trouble.tools.html

http://172.16.101.55:16010/

http://172.16.101.56:16010/

####当前截图为HBASE1.2.0截图

微信关注我们

原文链接：https://yq.aliyun.com/articles/578879

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop核心组件之HDFS

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50935586 HDFS构架三大特点大数据量：TB甚至PB以上的数据量都可以存储在集群中流式数据访问：HDFS中的数据一般都是一次写入，多次读取的模式廉价的商用硬件：可以将集群部署在大量的普通硬件上实现一个功能强大的集群不适用于HDFS的场景：要求低延迟的数据访问：HDFS是为了高吞吐量而设计的，代价就是延迟高，适合批处理（实时响应的可以选择HBase）大量的小文件：HDFS存储的文件元数据都是保存在NameNode内存中的，大概估计一个文件、目录或者数据块占用的内存空间为150个字节，如果有上亿个小文件，那么NameNode将会奔溃多用户写入和随意修改文件的要求：HDFS文件只能有一个写入用户，并且内容都是追加在末尾，不支持随机写入和修改 Block块的概念先不看HDFS的Block，每台机器都有磁盘，机器上的所有持久化数据都是存储在磁盘上的磁盘是通过块来管理数据的，一个块的数据是该磁盘一次能够读写的最小单位，...

2016-03-20

641

如何确定Yarn中容器Container，Mapreduce相关参数的内存设置，对于初始集群，由于不知道集群的类型(如cpu密集、内存密集)我们需要根据经验提供给我们一个参考配置值，来作为基础的配置。完成这一任务有两种方式，确定YARN和MapReduce的内存设置，我们可以使用HDP工具脚本进行内存配置设定运行hdp-configuration-utils.py 这个Python脚本(下载地址：hdp-configuration-utils）来计算YARN、MapReduce需要的内存，执行以下命令 python hdp-configuration-utils.py options 其中可选项如下：选项描述 -c CORES 每一个客户机的核数目 -m MEMORY 每一个客户机拥有的内存总数 -d DISK 每一个客户机拥有的磁盘数目 -k HBASE 如果Hbase安装了为”True”，否则为”False” 注：需要python26的运行环境我们可以使用-h或-help来显示描述选项的帮助信息。例子运行下面的命令 python hdp-configuration-u...

2016-03-21

629

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。