hbase和zookeeper的安装和部署

1.概要

1.1HBase的使用场景

 大数据量 (100s TB级数据) 且有快速随机访问的需求。

 例如淘宝的交易历史记录。数据量巨大无容置疑,面向普通用户的请求必然要即时响应。

 容量的优雅扩展。

 大数据的驱使,动态扩展系统容量的必须的。例如:webPage DB。

 业务场景简单,不需要关系数据库中很多特性(例如交叉列、交叉表,事务,连接等等)。

 优化方面:合理设计rowkey。因为hbase的查询用rowkey是最高效的,也几乎的唯一生产环境可行的方式。所以把你的查询请求转换为查询rowkey的请求吧。

1.2软件准备

hbase-0.98.8 【下载地址

zookeeper-3.4.6 【下载地址

2.配置

sudo vi /etc/profile
HBASE_HOME=/home/hadoop/source/hbase-0.98.8
ZK_HOME=/home/hadoop/source/zookeeper-3.4.6
PATH=$HBASE_HOME/bin:$ZK_HOME/bin
export HBASE_HOME ZK_HOME

hbase-env.sh

export JAVA_HOME=/usr/jdk1.7

启动shell:

hbase shell

 启动hbase:

start-hbase.sh

3.ZK

3.1概要

zk可以用来保证数据在zk集群之间事务性一致,如:

 

 

 

删除Server1中的数据后,其他集群的Server会自动同步删除之后的数据。

3.2安装

  1. 集群的规模小于等于3,各个集群的系统时间必须一致。

  2. 安装

(1)解压zk的压缩包到指定位置。

(2)修改conf文件,cp zoo_sample.cfg zoo.cfg

(3)编辑zoo.cfg 修改dataDir=/home/zk/data 新增 server.0=hadoop0:2888:3888 server.1=hadoop1:2888:3888 server.2=hadoop2:2888:3888

(4)创建文件夹 mkdir /home/zk/data 在data目录下,创建文件myid,值为0

(5)用scp命令分发zk文件夹到集群

3.3启动/验证

启动zk的服务:zkServer.sh start

验证zk的启动状态:zkServer.sh status

4奇数选举

zookeeper的集群数推荐配置奇数,Leader选举算法采用了Paxos协议,该协议的核心思想是当多数Server写成功时,则任务数据写成功,如:

  • 有3个Server,则两个写成功即可;
  • 有4或5个Server,则三个写成功即可;
  • 如果有3个Server,则最多运行1个Server挂掉
  • 如果有4个Server,则同样最多运行1个Server挂掉

由此,我们可以看出3台服务器和4台服务器的容灾能力是一样的,所以为了节约服务器资源,一般我们采用奇数个数,作为服务器部署个数。


优秀的个人博客,低调大师

微信关注我们

原文链接:https://yq.aliyun.com/articles/30990

转载内容版权归作者及来源网站所有!

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

相关文章

发表评论

资源下载

更多资源
优质分享Android(本站安卓app)

优质分享Android(本站安卓app)

近一个月的开发和优化,本站点的第一个app全新上线。该app采用极致压缩,本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS

Oracle Database,又名Oracle RDBMS,或简称Oracle。是甲骨文公司的一款关系数据库管理系统。它是在数据库领域一直处于领先地位的产品。可以说Oracle数据库系统是目前世界上流行的关系数据库管理系统,系统可移植性好、使用方便、功能强,适用于各类大、中、小、微机环境。它是一种高效率、可靠性好的、适应高吞吐量的数据库方案。

Apache Tomcat7、8、9(Java Web服务器)

Apache Tomcat7、8、9(Java Web服务器)

Tomcat是Apache 软件基金会(Apache Software Foundation)的Jakarta 项目中的一个核心项目,由Apache、Sun 和其他一些公司及个人共同开发而成。因为Tomcat 技术先进、性能稳定,而且免费,因而深受Java 爱好者的喜爱并得到了部分软件开发商的认可,成为目前比较流行的Web 应用服务器。

Eclipse(集成开发环境)

Eclipse(集成开发环境)

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言,它只是一个框架和一组服务,用于通过插件组件构建开发环境。幸运的是,Eclipse 附带了一个标准的插件集,包括Java开发工具(Java Development Kit,JDK)。