Hadoop2.7实战v1.0之HBase1.1.5 HA分布式搭建
2. 下载解压hbase-1.2.0-bin.tar.gz和设置环境HBASE_HOME变量
点击(此处)折叠或打开
- [root@sht-sgmhadoopnn-01 tmp]# wget http://archive.apache.org/dist/hbase/1.1.5/hbase-1.1.5-bin.tar.gz
- [root@sht-sgmhadoopnn-01 tmp]# tar -xvf hbase-1.1.5-bin.tar.gz
- [root@sht-sgmhadoopnn-01 tmp]# mv /tmp/hbase-1.1.5 /hadoop/hbase
- [root@sht-sgmhadoopnn-01 tmp]# cd /hadoop/hbase/conf
- [root@sht-sgmhadoopnn-01 conf]# pwd
- /hadoop/hbase/conf
点击(此处)折叠或打开
PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:HBASE_HOME/bin:$PATH
export $PATH
3. 修改hbase-env.sh
export JAVA_HOME="/usr/java/jdk1.7.0_67-cloudera"
export HBASE_CLASSPATH=/hadoop/hadoop-2.7.2/etc/hadoop
#设置到Hadoop的etc/hadoop目录是用来引导Hbase找到Hadoop,也就是说hbase和hadoop进行关联【必须设置,否则hmaster起不来】
export HBASE_MANAGES_ZK=false
#不启用hbase自带的zookeeper
4.修改hbase-site.xml
点击(此处)折叠或打开
- <configuration>
- <!--hbase.rootdir的前端与$HADOOP_HOME/conf/core-site.xml的fs.defaultFS一致 -->
- <property>
- <name>hbase.rootdir</name>
- <value>hdfs://mycluster/hbase</value>
- </property>
- <property>
- <name>hbase.cluster.distributed</name>
- <value>true</value>
- </property>
-
- <!--本地文件系统的临时文件夹。可以修改到一个更为持久的目录上。(/tmp会在重启时清除) -->
- <property>
- <name>hbase.tmp.dir</name>
- <value>/hadoop/hbase/tmp</value>
- </property>
-
- <!--如果只设置单个 Hmaster,那么 hbase.master 属性参数需要设置为 master5:60000 (主机名:60000) -->
- <!--如果要设置多个 Hmaster,那么我们只需要提供端口 60000,因为选择真正的 master 的事情会有 zookeeper 去处理 -->
- <property>
- <name>hbase.master</name>
- <value>60000</value>
- </property>
-
- <!--这个参数用户设置 ZooKeeper 快照的存储位置,默认值为 /tmp,显然在重启的时候会清空。因为笔者的 ZooKeeper 是独立安装的,所以这里路径是指向了 $ZOOKEEPER_HOME/conf/zoo.cfg 中 dataDir 所设定的位置 -->
- <property>
- <name>hbase.zookeeper.property.dataDir</name>
- <value>/hadoop/zookeeper/data</value>
- </property>
-
- <property>
- <name>hbase.zookeeper.quorum</name>
- <value>sht-sgmhadoopdn-01,sht-sgmhadoopdn-02,sht-sgmhadoopdn-03</value>
- </property>
- <!--表示客户端连接 ZooKeeper 的端口 -->
- <property>
- <name>hbase.zookeeper.property.clientPort</name>
- <value>2181</value>
- </property>
- <!--ZooKeeper 会话超时。Hbase 把这个值传递改 zk 集群,向它推荐一个会话的最大超时时间 -->
- <property>
- <name>zookeeper.session.timeout</name>
- <value>120000</value>
- </property>
-
- <!--当 regionserver 遇到 ZooKeeper session expired , regionserver 将选择 restart 而不是 abort -->
- <property>
- <name>hbase.regionserver.restart.on.zk.expire</name>
- <value>true</value>
- </property>
- </configuration>
点击(此处)折叠或打开
- sht-sgmhadoopdn-01
- sht-sgmhadoopdn-02
- sht-sgmhadoopdn-03
6.分发文件夹
点击(此处)折叠或打开
- [root@sht-sgmhadoopnn-01 hadoop]# scp -r hbase root@sht-sgmhadoopnn-02:/hadoop
- [root@sht-sgmhadoopnn-01 hadoop]# scp -r hbase root@sht-sgmhadoopdn-01:/hadoop
- [root@sht-sgmhadoopnn-01 hadoop]# scp -r hbase root@sht-sgmhadoopdn-02:/hadoop
- [root@sht-sgmhadoopnn-01 hadoop]# scp -r hbase root@sht-sgmhadoopdn-03:/hadoop
点击(此处)折叠或打开
- [root@sht-sgmhadoopnn-01 bin]# start-hbase.sh
- [root@sht-sgmhadoopnn-02 bin]# hbase-daemon.sh start master
1).进程和查询服务器状态
点击(此处)折叠或打开
20519 NameNode
18925 Jps
20872 DFSZKFailoverController
26810 ResourceManager
13564 HMaster
[root@sht-sgmhadoopnn-02 logs]# jps
5265 NameNode
5449 DFSZKFailoverController
26319 Jps
12281 ResourceManager
21879 HMaster
[root@sht-sgmhadoopdn-01 bin]# jps
30488 QuorumPeerMain
25780 NodeManager
20286 DataNode
996 HRegionServer
6371 Jps
20399 JournalNode
### sht-sgmhadoopdn-02,03与01一样
##查询服务器状态 [root@sht-sgmhadoopnn-01 bin]# hbase shell 2016-03-16 22:55:36,551 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
HBase Shell; enter 'help' for list of supported commands.
Type "exit" to leave the HBase Shell
Version 1.2.0, r25b281972df2f5b15c426c8963cbf77dd853a5ad, Thu Feb 18 23:01:49 CST 2016
hbase(main):001:0> status 1 active master, 1 backup masters, 3 servers, 0 dead, 0.6667 average load
2).查看日志
3).登录zookeeper
4).web 页面
why http://server:60010 web page for the running HBase1.1.5 Master???
After the 0.98 version port numbers have changed. It is now 16010 instead of 60010). Check this page for general UI troubleshooting: http://hbase.apache.org/book/trouble.tools.html
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Hadoop核心组件之HDFS
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/50935586 HDFS构架三大特点 大数据量:TB甚至PB以上的数据量都可以存储在集群中 流式数据访问:HDFS中的数据一般都是一次写入,多次读取的模式 廉价的商用硬件:可以将集群部署在大量的普通硬件上实现一个功能强大的集群 不适用于HDFS的场景: 要求低延迟的数据访问:HDFS是为了高吞吐量而设计的,代价就是延迟高,适合批处理(实时响应的可以选择HBase) 大量的小文件:HDFS存储的文件元数据都是保存在NameNode内存中的,大概估计一个文件、目录或者数据块占用的内存空间为150个字节,如果有上亿个小文件,那么NameNode将会奔溃 多用户写入和随意修改文件的要求:HDFS文件只能有一个写入用户,并且内容都是追加在末尾,不支持随机写入和修改 Block块的概念 先不看HDFS的Block,每台机器都有磁盘,机器上的所有持久化数据都是存储在磁盘上的 磁盘是通过块来管理数据的,一个块的数据是该磁盘一次能够读写的最小单位,...
- 下一篇
YARN和MapReduce的内存设置参考
如何确定Yarn中容器Container,Mapreduce相关参数的内存设置,对于初始集群,由于不知道集群的类型(如cpu密集、内存密集)我们需要根据经验提供给我们一个参考配置值,来作为基础的配置。 完成这一任务有两种方式,确定YARN和MapReduce的内存设置,我们可以使用HDP工具脚本进行内存配置设定 运行hdp-configuration-utils.py 这个Python脚本(下载地址:hdp-configuration-utils)来计算YARN、MapReduce需要的内存,执行以下命令 python hdp-configuration-utils.py options 其中可选项如下: 选项 描述 -c CORES 每一个客户机的核数目 -m MEMORY 每一个客户机拥有的内存总数 -d DISK 每一个客户机拥有的磁盘数目 -k HBASE 如果Hbase安装了为”True”,否则为”False” 注:需要python26的运行环境 我们可以使用-h或-help来显示描述选项的帮助信息。 例子 运行下面的命令 python hdp-configuration-u...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Hadoop3单机部署,实现最简伪集群
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果