Elasticsearch和HDFS 容错机制 备忘
1、Elasticsearch 横向扩容以及容错机制http://www.bubuko.com/infodetail-2499254.html 2、HDFS容错机制详解https://www.cnblogs.com/zhangyinhua/p/7681146.html?utm_source=debugrun&utm_medium=referral
本文承接上一篇:hadoop_学习_02_Hadoop环境搭建(单机) ,主要是搭建HBase的单机环境
hbase 的下载来源有:
官方版本:http://archive.apache.org/dist/hbase/
CDH版本:http://archive.cloudera.com/cdh5
企业应用一般选择CDH版本,因为比较稳定。
若决定使用CDH版本,则要保证相关软件的CDH版本相同,如 选择 hadoop-2.6.0-cdh5.9.3 与 hbase-1.2.0-cdh5.9.3
操作系统 : linux CentOS 6.8
jdk:1.7
cdh版本为: 5.9.3
hbase-1.2.0-cdh5.9.3
(1)修改 hostname
sudo vim /etc/sysconfig/network
将HOSTNAME修改为 rayner (改成你自己的,所有的地方一致即可)
(2)映射主机 ip 与主机名
sudo vim /etc/hosts
加入以下配置:
192.168.1.102 rayner
关闭防火墙,这样就可以在本机 window 中访问虚拟机的所有端口了
CentOS 7版本以下输入:
service iptables stop
CentOS 7 以上的版本输入:
systemctl stop firewalld.service
输入:
date
查看服务器时间是否一致,若不一致则更改
更改时间命令
date -s ‘MMDDhhmmYYYY.ss’
http://archive.apache.org/dist/hbase/1.2.0/hbase-1.2.0-bin.tar.gz
wget http://archive.apache.org/dist/hbase/1.2.0/hbase-1.2.0-bin.tar.gz
tar -zxvf hbase-1.2.0-bin.tar.gz
执行以下命令,创建文件夹
sudo mkdir /ray/hbase sudo mkdir /ray/hbase/tmp sudo mkdir /ray/hbase/pids
(1)编辑 profile 文件
vim /etc/profile
(2)设置 HBASE_HOME ,并将其添加到path中
# 1. java export JAVA_HOME=/usr/java/jdk1.7.0_80 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar # 2. Tomcat export CATALINA_HOME=/developer/apache-tomcat-7.0.73 # 3. Maven export MAVEN_HOME=/developer/apache-maven-3.0.5 # 4. hadoop export HADOOP_HOME=/developer/hadoop-2.6.0 # 5. hbase export HBASE_HOME=/developer/hbase-1.2.0 #Path export PATH=$HBASE_HOME/bin:$HADOOP_HOME/bin:$MAVEN_HOME/bin:$CATALINA_HOME/bin:$JAVA_HOME/bin:$PATH export LC_ALL=en_US.UTF-8
(3)使配置生效
source /etc/profile
(4)验证
输入以下命令,会显示hbase的版本
hbase version
切换到 /developer/hbase-1.2.0/conf 下
(1)编辑 hbase-env.sh
sudo vim hbase-env.sh
(2)添加一下配置
export JAVA_HOME=/usr/java/jdk1.7.0_80 export HADOOP_HOME=/developer/hadoop-2.6.0 export HBASE_HOME=/developer/hbase-1.2.0 export HBASE_CLASSPATH=/developer/hadoop-2.6.0/etc/hadoop export HBASE_PID_DIR=/developer/hbase-1.2.0/pids export HBASE_MANAGES_ZK=false
说明:配置的路径以自己的为准。HBASE_MANAGES_ZK=false 是不启用HBase自带的Zookeeper集群。
HBASE_CLASSPATH 暂时存疑
(1)编辑hbase-site.xml 文件
sudo vim hbase-site.xml
(2)添加以下配置
<!--1. 存储目录 --> <property> <name>hbase.rootdir</name> <value>hdfs://rayner:9000/hbase</value> <description>The directory shared byregion servers.</description> </property> <!--2. hbase的端口 --> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2181</value> <description>Property from ZooKeeper'sconfig zoo.cfg. The port at which the clients will connect. </description> </property> <!--3. 超时时间 --> <property> <name>zookeeper.session.timeout</name> <value>120000</value> </property> <!--4. zookeeper 集群配置。如果是集群,则添加其它的主机地址 --> <property> <name>hbase.zookeeper.quorum</name> <value>rayner</value> </property> <!--5. tmp--> <property> <name>hbase.tmp.dir</name> <value>/ray/hbase/tmp</value> </property> <!--6. false是单机模式,true是分布式模式 --> <property> <name>hbase.cluster.distributed</name> <value>false</value> </property>
(3)说明
hbase.rootdir:这个目录是region server的共享目录,用来持久化Hbase 。
hbase.cluster.distributed :Hbase的运行模式。false是单机模式,true是分布式模式。若为false,Hbase和Zookeeper会运行在同一个JVM里面。
/developer/hbase-1.2.0/bin/start-hbase.sh
(1)在成功启动 Hadoop 之后,切换到 HBase 目录下
cd /developer/hbase-1.2.0/bin
(2)输入命令:
./start-hbase.sh
输入命令jps,可以看到 HMaster 已经启动了,如下图
(3)浏览器输入: 192.168.1.102:16010 ,会出现下图
1.大数据学习系列之二 ----- HBase环境搭建(单机)
3.Apache HBase ™ Reference Guide
微信关注我们
转载内容版权归作者及来源网站所有!
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。
Spring框架(Spring Framework)是由Rod Johnson于2002年提出的开源Java企业级应用框架,旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念,提供核心容器、应用上下文、数据访问集成等模块,支持整合Hibernate、Struts等第三方框架,其适用范围不仅限于服务器端开发,绝大多数Java应用均可从中受益。
Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。
Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。