HBase知识点集中总结
好程序员大数据培训分享:HBase知识点集中总结,HBase – Hadoop Database,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
与FUJITSU Cliq等商用大数据产品不同,HBase是Google Bigtable的开源实现,类似Google Bigtable利用GFS作为其文件存储系统,HBase利用Hadoop HDFS作为其文件存储系统;Google运行MapReduce来处理Bigtable中的海量数据,HBase同样利用Hadoop MapReduce来处理HBase中的海量数据;Google Bigtable利用 Chubby作为协同服务,HBase利用Zookeeper作为对应。
一、hbase的特性
1、hbase数据的终持久化存储是基于hsfs文件系统,存储容量几乎无限,可以随时在线扩容。
2、hbase的数据增删改查功能模块是分布式系统。
3、nosql数据库,表结构。
二、HBase的存储
HBase中的所有数据文件都存储在Hadoop HDFS文件系统上。
- HFile, HBase中KeyValue数据的存储格式,HFile是Hadoop的二进制格式文件,实际上StoreFile就是对HFile做了轻量级包装,即StoreFile底层就是HFile。
- HLog File,HBase中WAL(Write Ahead Log) 的存储格式,物理上是Hadoop的Sequence File。
三、HBase工作机制
hbase工作机制详细解析:
1、hbase的整体工作机制是接受客户端发来的请求命令,从hdfs中读取表文件信息返回给客户端;
2、每个hbase服务器负责表文件中对应region区域,hdfs上表文件的存储也是分为每个region单独存储,每个region中又分为多个列族存储;
3、hbase集群中有两种角色,regionserver和master,regionserver负责响应客户端请求,读取表文件;
master负责监控regionserver的状态,以便及时处理掉线的regionserver,保证hbase集群正常运行;当一个region挂掉时,master会及时监控到,这里利用了zookeeper管理regionserver状态信息。
当一个master挂掉时,不会影响客户端查数据,但如果此时regionserver挂掉,master又不能及时监控到,便会影响数据查询;解决方法就是再设置一台master,一台active状态,一台standby状态用作备用,当active的master挂掉,standby的master将会变为active状态,监控regionserver。
4、master和zookeeper就组成了高可用。
大数据开发之路不易,大家且行且珍惜。好程序员精心打造大数据学习路线,为大家的学习保驾护航。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Kubernetes 集群搭建(下)
早安~~不知道昨天的文章各位有没有去尝试操作一下呢?没有的话建议再去看一下昨天的文章,这样可以更好的理解今天的文章! 今天的信息量比较大,大家可能会比较懵,建议多看几遍呀~ 下面开始今天的内容~安装yum安装需要的组件,我这里指定了具体的版本,我用的版本比较老,不过如果你是第一次用,问题不是很大,如果是大佬的话就不要喷我了~~~ yum -y install kubeadm-1.11.1 yum -y install kubectl-1.11.1 yum -y install kubelet-1.11.1 yum -y install kubernetes-cni-0.6.0yum -y install docker-ce-17.03.0.ce-1.el7.centos设置docker启动 systemctl enable dockersystemctl start dockersystemctl enable kubelet.servicesystemctl start kubelet这里就是比较艰难的部分了,网上的处理办法大同小异在这里给大家写一下我用的。 kubernetes是G...
- 下一篇
好程序员大数据培训分享HBase Filter过滤器概述
好程序员大数据培训分享HBase Filter过滤器概述,过滤器介绍HBase过滤器是一套为完成一些较高级的需求所提供的API接口。过滤器也被称为下推判断器(push-down predicates),支持把数据过滤标准从客户端下推到服务器,带有 Filter 条件的 RPC 查询请求会把 Filter 分发到各个 RegionServer,所有的过滤器都在服务端生效,使被过滤掉的数据不会被传送到客户端,这些过滤逻辑在读操作时使用,可以有效降低网络传输的压力。过滤器组成过滤器主要有过滤器本身、比较器和比较运算符组成。 操作符抽象操作符,也叫比较运算符。 LESS:小于LESS_OR_EQUAL:小于等于EQUAL:等于NOT_EQUAL:不等于GREATER:大于GREATER_OR_EQUAL:大于等于NO_OP:排除一切值 比较器BinaryComparator:二进制比较器,用于按字典顺序比较指定字节数组。 BinaryPrefixComparator:二进制比较器,只比较前缀是否与指定字节数组相同。NullComparator:控制比较式,判断当前值是不是为null。BitCo...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果