1 week110的zookeeper的安装 + zookeeper提供少量数据的存储
下面是在weekend110上的zookeeper的安装
在此之前,先进行快照备份。
在这里,为了后续的zookeeper配置需要,在/home/hadoop/下,新建data目录,再新建zookeeper-3.4.6目录,再新建zkdata目录。
默认情况下,事务日志和数据目录是存放在一起,我们这里,要将它们分开。
dataDir=/home/hadoop/data/zookeeper-3.4.6/zkdata
dataLogDir=/home/hadoop/data/zookeeper-3.4.6/zkdatalog
连接成功后,系统会输出Zookeeper的相关环境及配置信息,并在屏幕输出“Welcome to Zookeeper”等信息。
也可以如下,反正是单节点
在这里,需要补充的是,
若是我自己写个java客户端去跑的话,把zookeeper-3.4.6.jar放进来
ls path [watch]
get path [watch]
这就说明的是,zookeeper是提供少量数据的存储
本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/5902502.html,如需转载请自行联系原作者

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
5 weekend01、02、03、04、05、06、07的分布式集群的HA测试 + hdfs--动态增加节点和副本数量管理 + HA的ja...
eekend01、02、03、04、05、06、07的分布式集群的HA测试 1) weekend01、02的hdfs的HA测试 2) weekend03、04的yarn的HA测试 1) weekend01、02的hdfs的HA测试 首先,分布式集群都是正常的,且工作的 然后呢, 以上是,weekend01(active)、weekend02(standby) 当weekend01给kill, 变成weekend01(standby)、weekend02(active) 模拟weekend02断电 以上是weekend01(standby)、weekend02(active) 当weekend02断电后,再启动 weekend01(active)、weekend02(standby) 以上是weekend01(active)、weekend02(standby) 当weekend01在传文件时,weekend02杀掉namenode进程, 依然还是weekend01(active)、weekend02(standby) 以上是weekend01、02的hdfs...
- 下一篇
Spark RDD概念学习系列之RDD的容错机制(十七)
RDD的容错机制 RDD实现了基于Lineage的容错机制。RDD的转换关系,构成了compute chain,可以把这个compute chain认为是RDD之间演化的Lineage。在部分计算结果丢失时,只需要根据这个Lineage重算即可。 图1中,假如RDD2所在的计算作业先计算的话,那么计算完成后RDD1的结果就会被缓存起来。缓存起来的结果会被后续的计算使用。图中的示意是说RDD1的Partition2缓存丢失。如果现在计算RDD3所在的作业,那么它所依赖的Partition0、1、3和4的缓存都是可以使用的,无须再次计算。但是Partition2由于缓存丢失,需要从头开始计算,Spark会从RDD0的Partition2开始,重新开始计算。 内部实现上,DAG被Spark划分为不同的Stage,Stage之间的依赖关系可以认为就是Lineage。关于DAG的划分可以参阅第4章。 提到Lineage的容错机制,不得不提Tachyon。Tachyon包含两个维度的容错,一个是Tachyon集群的元数据的容错,它采用了类似于HDFS的Name Node的元数据容错机制,即将元...
相关文章
文章评论
共有0条评论来说两句吧...