附录D 安装ZooKeeper-低调大师

附录D 安装ZooKeeper

2017-11-15 544

D.1 安装ZooKeeper

D.1.1 下载ZooKeeper

ZooKeeper是Apache基金会的一个开源、分布式应用程序协调服务，是Google的Chubby一个开源的实现。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。它的目标就是封装好复杂易出错的关键服务，将简单易用的接口和性能高效、功能稳定的系统提供给用户。

ZooKeeper安装包可以在其官网下载页面下载，下载地址如下，为加快下载速度可以选择中国境内的镜像，选择稳定版本zookeeper-3.4.8.tar.gz安装包。

http://zookeeper.apache.org/releases.html#download

D.1.2 解压并配置环境变量

下载后把安装包方放在目录/home/spark/work目录下，用下面命令解压缩ZooKeeper安装包，并把解压后的目录移动到/app/soft目录下：

$cd /home/spark/work/

$tar -zxf zookeeper-3.4.8.tar.gz

$mv zookeeper-3.4.8 /app/soft

$ll /app/soft

为了方便运行zkServer.sh脚本，在集群中的节点中，需要将ZooKeeper的bin路径加入到/etc/profile中，设置如下内容（分发到各节点后，在各节点上做同样设置）：

export ZOOKEEPER_HOME=/app/soft/zookeeper-3.4.8

export PATH=$PATH:$ZOOKEEPER_HOME/bin

设置完毕后使用如下命令使配置生效：

$source /etc/profile

D.1.3 修改ZooKeeper的配置文件

在ZooKeeper的根目录下建立data和log目录用于存放工作数据和日志文件：

$mkdir /app/soft/zookeeper-3.4.8/data/

$mkdir /app/soft/zookeeper-3.4.8/log/

在ZooKeeper配置目录下默认情况下，不存在在zoo.cfg文件，需要复制一份，然后进行修改，命令如下：

$cd /app/soft/zookeeper-3.4.8/conf/

$cp zoo_sample.cfg zoo.cfg

$sudo vi zoo.cfg

修改zoo.cfg配置文件内容（仅列出重要配置）：

#用于存放ZooKeeper的数据和日志

dataDir=/app/soft/zookeeper-3.4.8/data

dataLogDir=/app/soft/zookeeper-3.4.8/log

//外部客户端连接端口号，在Kafka中将使用该端口号

clientPort=2181

//ZooKeeper集群相关配置信息

server.1=master:2888:3888

server.2=slave1:2888:3888

server.3=slave2:2888:3888

配置中server.A=B：C：D含义如下

lA为数字，表示这个是第几号服务器；

lB 表示该服务器的 ip 地址；

lC 表示该服务器与集群中的 Leader 服务器交换信息的端口；

lD 表示的是万一集群中的 Leader 服务器挂了，需要一个端口来重新进行选举，选出一个新的 Leader，而这个端口就是用来执行选举时服务器相互通信的端口。

如果是伪集群的配置方式，由于 B 都是一样，所以不同的 ZooKeeper 实例通信端口号不能一样，所以要给它们分配不同的端口号。

D.1.4 分发ZooKeeper到各节点

使用scp命令到ZooKeeper分发到slave1和slave2节点上：

$cd /app/soft/

$scp -r zookeeper-3.4.8 spark@slave1:/app/soft

$scp -r zookeeper-3.4.8 spark@slave2:/app/soft

在dataDir目录下创建一个myid文件，然后分别在myid文件中按照zoo.cfg文件的server.A中A的数值，在不同机器上的该文件中填写相应的值，如master节点该值为1、slave1节点该值为2、slave2节点该值为3。

$cd /app/soft/zookeeper-3.4.8/data

$vi myid

D.2 启动并验证

执行命令“zkServer.sh start”将会启动ZooKeeper。在此大家需要注意的是，不同节点上的ZooKeeper需要单独启动。而执行命令“zkServer.sh stop”将会停止ZooKeeper。可以使用命令“JPS”查看ZooKeeper是否成功启动，或执行命令“zkServer.sh status”查看ZooKeeper集群状态：

$zkServer.sh start

$zkServer.sh status

图附录D‑1 启动Zookeeper并查看状态

当第一个节点启动ZooKeeper时由于集群的其他节点未启动ZooKeeper，使用zkServer.sh status命令查看当前状态时会提示错误。但是随着后续节点的ZooKeeper的陆续启动，使用status查看状态时会显示当前节点的状态，本次master作为了follower。

本文转自shishanyuan博客园博客，原文链接： http://www.cnblogs.com/shishanyuan/p/6195868.html ，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/570057

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

解决Hbase启动报错问题：No such file or directory！

应用场景在Hbase搭建完之后，本想开开心心的启动Hbase，进行测试使用hbase，但是发现启动hbase的时候，报各种各样的错误，java_home，hbase，hadoop等找不到文件或目录，no such file or directory！ [root@hadoop0 bin]# start-hbase.sh /opt/hbase1.2.6/conf/hbase-env.sh: line 50: export JAVA_HOME=/opt/jdk1.8: No such file or directory /opt/hbase1.2.6/conf/hbase-env.sh: line 52: export HBASE_HOME=/opt/hbase1.2.6: No such file or directory /opt/hbase1.2.6/conf/hbase-env.sh: line 53: export HBASE_CLASSPATH=/opt/hadoop2.6.0/etc/hadoop: No such file or directory /opt/hbase1...

2017-11-16

997

【注】该系列文章以及使用到安装包/测试数据可以在《倾情大奉送--Spark入门实战系列》获取 1、Tachyon介绍 1.1Tachyon简介随着实时计算的需求日益增多，分布式内存计算也持续升温，怎样将海量数据近乎实时地处理，或者说怎样把离线批处理的速度再提升到一个新的高度是当前研究的重点。近年来，内存的吞吐量成指数倍增长，而磁盘的吞吐量增长缓慢，那么将原有计算框架中文件落地磁盘替换为文件落地内存，也是提高效率的优化点。目前已经使用基于内存计算的分布式计算框架有：Spark、Impala及SAP的HANA等。但是其中不乏一些还是有文件落地磁盘的操作，如果能让这些落地磁盘的操作全部落地到一个共享的内存中，那么这些基于内存的计算框架的效率会更高。 Tachyon是AmpLab的李浩源所开发的一个分布式内存文件系统，可以在集群里以访问内存的速度来访问存在Tachyon里的文件。Tachyon是架构在最底层的分布式文件存储和上层的各种计算框架之间的一种中间件，其主要职责是将那些不需要落地到DFS里的文件落地到分布式内存文件系统中来达到共享内存，从而提高效率。同时可以减少内存冗余、GC时间...

2017-11-16

567

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。