hbase和zookeeper的安装和部署
1.概要
1.1HBase的使用场景
大数据量 (100s TB级数据) 且有快速随机访问的需求。
例如淘宝的交易历史记录。数据量巨大无容置疑,面向普通用户的请求必然要即时响应。
容量的优雅扩展。
大数据的驱使,动态扩展系统容量的必须的。例如:webPage DB。
业务场景简单,不需要关系数据库中很多特性(例如交叉列、交叉表,事务,连接等等)。
优化方面:合理设计rowkey。因为hbase的查询用rowkey是最高效的,也几乎的唯一生产环境可行的方式。所以把你的查询请求转换为查询rowkey的请求吧。
1.2软件准备
hbase-0.98.8 【下载地址】
zookeeper-3.4.6 【下载地址】
2.配置
sudo vi /etc/profile HBASE_HOME=/home/hadoop/source/hbase-0.98.8 ZK_HOME=/home/hadoop/source/zookeeper-3.4.6 PATH=$HBASE_HOME/bin:$ZK_HOME/bin export HBASE_HOME ZK_HOME
hbase-env.sh
export JAVA_HOME=/usr/jdk1.7
启动shell:
hbase shell
启动hbase:
start-hbase.sh
3.ZK
3.1概要
zk可以用来保证数据在zk集群之间事务性一致,如:
删除Server1中的数据后,其他集群的Server会自动同步删除之后的数据。
3.2安装
-
集群的规模小于等于3,各个集群的系统时间必须一致。
- 安装
(1)解压zk的压缩包到指定位置。
(2)修改conf文件,cp zoo_sample.cfg zoo.cfg
(3)编辑zoo.cfg 修改dataDir=/home/zk/data 新增 server.0=hadoop0:2888:3888 server.1=hadoop1:2888:3888 server.2=hadoop2:2888:3888
(4)创建文件夹 mkdir /home/zk/data 在data目录下,创建文件myid,值为0
(5)用scp命令分发zk文件夹到集群
3.3启动/验证
启动zk的服务:zkServer.sh start
验证zk的启动状态:zkServer.sh status
4奇数选举
zookeeper的集群数推荐配置奇数,Leader选举算法采用了Paxos协议,该协议的核心思想是当多数Server写成功时,则任务数据写成功,如:
- 有3个Server,则两个写成功即可;
- 有4或5个Server,则三个写成功即可;
- 如果有3个Server,则最多运行1个Server挂掉
- 如果有4个Server,则同样最多运行1个Server挂掉
由此,我们可以看出3台服务器和4台服务器的容灾能力是一样的,所以为了节约服务器资源,一般我们采用奇数个数,作为服务器部署个数。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
网站日志统计案例分析与实现
1.概要 到这一步,若是按照前面到文章一步走来,不出意外,我想hadoop平台环境应该搭建OK了。下面我以自己工作中实际的案例来梳理一下整个流程。同时参考一些其他的文章来分析,由于很多网站的日志KPI都大同小异,故有些指标直接在文中赘述了。 2.流程 背景 前言 目录 日志分析概述 需求分析 源码 2.1 背景 从2011年开始,中国进入大数据时代如火如荼,以Hadoop为代表的套件,占据了大数据处理的广阔地盘。开源界及厂商,所有数据软件,纷纷向Hadoop靠拢。Hadoop也从小规模的试点和使用,变成了大数据开发的标准。在Hadoop原有技术基础之上,出现了Hadoop家族产品,通过大数据概念的不断创新,推进了Hadoop的发展速度。 如今,Hadoop2.x的出现,使很多企业纷纷主动去接受Hadoop这个平台,因此,作为IT界的开发人员,了解并掌握Hadoop的技能,成为开发人员必备的一项技能。也是今后主流的一种趋势。 注:Hadoop2.x的出现为何引起这么大大反响,这里不做赘述。 2.2 前言 Web日志包含着网站最重要的信息,通过日志分析,我们可以知道网站的访问量,哪个网...
- 下一篇
高可用Hadoop平台-集成Hive HAProxy
1.概述 这篇博客是接着《高可用Hadoop平台》系列讲,本篇博客是为后面用 Hive 来做数据统计做准备的,介绍如何在 Hadoop HA 平台下集成高可用的 Hive 工具,下面我打算分以下流程来赘述: 环境准备 集成并配置 Hive 工具 使用 Java API 开发 Hive 代码 下面开始进行环境准备。 2.环境准备 Hive版本:《Hive-0.14》 HAProxy版本:《HAProxy-1.5.11》 注:前提是 Hadoop 的集群已经搭建完成,若还没用完成集群搭建,可以参考《配置高可用的Hadoop平台》 需要安装的工具,我们已经准备好了,接下来给出 Hive 搭建的结构图,如下图所示: 这里由于集群资源有限,所以将 HAProxy1 配置在 NNA 节点,HAProxy2 配置在 NNS 节点,Hive1,Hive2,Hive3分别配置在 DN1,DN2,DN3 节点。如下表所示: 服务器 角色 NNA HAProxy1 NNS HAProxy2 DN1 Hive1 DN2 Hive2 DN3 Hive3 我们将下载好的 Hive 安装包和 HAProxy ...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Windows10,CentOS7,CentOS8安装Nodejs环境
- MySQL8.0.19开启GTID主从同步CentOS8
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Hadoop3单机部署,实现最简伪集群
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- 设置Eclipse缩进为4个空格,增强代码规范
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果