好程序员大数据学习路线分享Hadoop阶段的高可用配置
好程序员大数据学习路线分享Hadoop阶段的高可用配置,什么是Hadoop的HA机制
Ha机制即Hadoop的高可用(7*24小时不中断服务)
正式引入HA机制是从hadoop2.0开始,之前的版本中没有HA机制
hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA
HDFS的HA机制详解
HDFS 的HA主要是通过双namenode协调工作实现
双namenode协调工作的要点:
A、元数据管理方式需要改变:
内存中各自保存一份元数据
Edits日志只能有一份,只有Active状态的namenode节点可以做写操作
两个namenode都可以读取edits
共享的edits放在一个共享存储中管理(qjournal和NFS两个主流实现)
B、需要一个状态管理功能模块
实现了一个zkfailover,常驻在每一个namenode所在的节点
每一个zkfailover负责监控自己所在namenode节点,利用zk进行状态标识
当需要进行状态切换时,由zkfailover来负责切换
切换时需要防止brain split脑裂现象的发生
Namenode的运行原理
两台服务器上都存在一个namenode ,其中一台Namenode 处于active状态,一台处于standby状态,两台服务器数据共享,两台服务器各自存有一份元数据,但是edit数据只有一份,两台服务器只有处于active状态的namenode服务器可以对edit进行写操作,另一台服务器只能对edit进行读操作,而共享的edit放到一个共享存储中进行管理。共享存储由文件管理系统qjournal和NFS来实现。
而两台服务器的active standby状态如何管理,则需要一个管理模块:ZKFC (zookeeper failover controller) 来管理。每一个zkfc负责监控自己所在namenode节点,利用zk进行状态标识。当需要进行状态切换时,由zkfailover来负责切换
切换时需要防止brain split脑裂现象的发生。
什么是脑裂现象
脑裂现象就是两台namenode都处于active状态,产生冲突,这就是脑裂。Hadoop的高可用配置要注意解决脑裂状态。
脑裂状态如何产生
当一台active状态的namenode服务器处于假死状态,那么另一台namenode服务器的zkfc收到信息,把属于他的namenode状态改变为active状态,第一台处于假死状态的namdenode又醒过来,就会产生脑裂。
脑裂如何解决
第二台namenode的zkfc此时就会一不做二不休,把第一台处于假死状态的namenode杀掉 运用ssh kill -9 namenode ,直接杀掉第一台服务器的namenode进行补刀,如果补刀不成功的话,zkfc进入第一台服务器,直接调用用户的自定义脚本程序 /home/Hadoop/kill/poweroff.sh 杀-掉假-死的namenode。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
好程序员大数据学习路线之zookeeper干货
好程序员大数据学习路线之zookeeper干货,上周学习了zookeeper,一开始感觉不容易理解,后来随着学习的深入,渐渐地明白了很多知识,下面慢慢来介绍zookeeper。zookeeper是什么???zookeeper是一个分布式协调服务,就是为用户的分布式应用程序提供协调服务的。zookeeper是为其他的分布式程序提供服务的zookeeper本身就是一个分布式程序(只要半数以上节点存活,就能提供服务)zookeeper的特性:zookeeper:一个leader,多个follower全局数据一致性:每个server都保存一份相同的数据,client无论连接那台服务器,都可以得到相同的数据分布式读写,更新请求转发,由leader实施数据更新的写操作更新请求按顺序执行,来自同一个client的更新请求会按照其发送的顺序来执行数据更新的原子性,一次数据要么更新成功,要么失败。实时性,在一定时间范围内,client能读到最新的数据。应用场景:统一命名服务;配置管理;集群管理;共享锁;队列管理;Zookeeper 作为 Hadoop 项目中的一个子项目,是 Hadoop 集群管理的一个...
- 下一篇
列式存储系列(二): Vertica
作者:辛庸,阿里巴巴计算平台事业部 EMR 技术专家。Apache Hadoop,Apache Spark contributor。对 Hadoop、Spark、Hive、Druid 等大数据组件有深入研究。目前从事大数据云化相关工作,专注于计算引擎、存储结构、数据库事务等内容。 本文是列式存储系列的第二篇。在上一篇,我们介绍了C-Store,一个列式存储数据库。在本篇,我们讲述 C-Store 的继任者——Vertica。C-Store 是一个概念原型,在这个概念原型提出并发表后,Stonebraker 着手建立了一家公司研发商用的列式分析型数据库,公司名字就叫 Vertica。2011 年 Vertica 被惠普公司收购。2012 年,Vertica 公布了它的论文:《The Vertica Analytic Database:
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
-
Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8编译安装MySQL8.0.19
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
推荐阅读
最新文章
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS7,CentOS8安装Elasticsearch6.8.6
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS6,CentOS7官方镜像安装Oracle11G
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- 设置Eclipse缩进为4个空格,增强代码规范
- Mario游戏-低调大师作品
- MySQL8.0.19开启GTID主从同步CentOS8
- Windows10,CentOS7,CentOS8安装MongoDB4.0.16