ZooKeeper一二事 - 搭建ZooKeeper伪分布式及正式集群 提供集群服务
集群真是好好玩,最近一段时间天天搞集群,redis缓存服务集群啦,solr搜索服务集群啦,,,巴拉巴拉
今天说说zookeeper,之前搭建了一个redis集群,用了6台机子,有些朋友电脑跑步起来,有点卡,那这里主要说说伪分布式的集群,正式版的集群需要3台机子,我就一带而过说一说,搭建起来也是非常简单的
先来说说Zookeeper
什么是Zookeeper呢,顾名思义,动物园管理员嘛,什么hadoop大象啦,hive蜜蜂啦,pig小猪啦,都是用这货来管的,就是大数据Hadoop里面的嘛~
(题外话:知道孙越嘛,就是说相声捧哏那位,岳云鹏的搭档,哈哈哈,散养,说笑了)
主要用法
1、集群管理
提供主从的管理、负载均衡、实现高可用(HA)管理;
集群的代理层面,作为入口(redis集群搭建是不需要zk,就没有入口这一说法,redis-cli随便访问那个IP就行)
Zookeeper必须是集群才能保证高可用Zookeeper有选举和投票的机制。集群中至少应该有三个节点。为啥是3个节点呢,如果有一台机子宕机了,机制是选取一半以上的,如果是两台,那么就不行了,所以至少3台
2、对文件进行集中管理,进行统一配置
举个栗子:solr集群搭建的时候,需要把Solr的配置文件上传到zk,让zk来统一管理,每个节点都到zk上取配置文件(后面的文章会将一下solr集群的搭建)
3、分布式锁 (hadoop处理大数据的时候需要用到,一般集群中不需要用到,就不细说了)
集群需要的服务器
Zookeeper:3台(伪分布式1台即可)
如下图,第一台作为伪分布式,下面3台作为正式的集群
集群搭建步骤:
1、安装jdk,这个必须要安装,zk是hadoop的,都是基于jdk的,用jdk7
2、zookeeper的安装包上传到服务器
解压
创建文件夹
把解压的复制到这个文件夹下
(集群中只要复制一份就行了)
创建数据文件,并且创建myid,写入1(zk02对应“2”,zk03对应“3”)
(集群中也是如此)
进入conf文件,把zoo_sample.cfg复制并且文件改名为zoo.cfg
修改zoo.cfg,把dataDir=属性指定为刚创建的data文件夹
修改端口(伪分布式由于相同IP,必须更改,集群不需要)
配置好后就可以启动了
Zookeeper下有一个bin,zkServer.sh启动zookeeper
这是伪分布式下的3个节点,其中一个主,2个从
集群中同样如此,1个主,2个从,OK,配置完毕,明天咱们讲讲solr集群 的搭建,好好玩的搜索服务噢~
(微信公众号:wxleechenxiang)

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
Yarn源码分析之MRAppMaster上MapReduce作业处理总流程(二)
本文继《Yarn源码分析之MRAppMaster上MapReduce作业处理总流程(一)》,接着讲述MapReduce作业在MRAppMaster上处理总流程,继上篇讲到作业初始化之后的作业启动,关于作业初始化主体流程的详细介绍,请参见《Yarn源码分析之MRAppMaster上MapReduce作业初始化解析》一文。 (三)启动 作业的启动是通过MRAppMaster的startJobs()方法实现的,其代码如下: /** * This can be overridden to instantiate multiple jobs and create a * workflow. * * TODO: Rework the design to actually support this. Currently much of the * job stuff has been moved to init() above to support uberization (MR-1220). * In a typical workflow, one presumably would...
- 下一篇
Hadoop核心组件之Yarn
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq1010885678/article/details/51295569 程序在Yarn上的运行流程 如图所示,Yarn上的应用程序运行会经过如下步骤: 1.客户端提交应用程序 2.RM找到一个NM启动第一个container来运行AM 3.AM会向RM请求资源的分配并通过心跳机制来汇报作业的运行状态 4.AM在分配的NM上启动container来运行作业 Yarn和MRv.1的对比 MRv.1中由两个进程控制作业的执行:JobTracker和TaskTracker JobTracker协调系统中运行的所有作业,并分配任务给TaskTracker TaskTracker负责运行任务并发送执行报告给JobTracker 如果任务执行失败,JobTracker将会在另外一个TaskTracker上重新分配该任务 在MRv.1中,JobTracker管理着系统的资源调度、任务分配 在Yarn中,JobTracker被了另外两个角色所代替:ResourceManager和ApplicationM...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Docker安装Oracle12C,快速搭建Oracle学习环境
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS关闭SELinux安全模块
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作