hadoop: hbase1.0.1.1 伪分布安装-低调大师

hadoop: hbase1.0.1.1 伪分布安装

2015-05-30 638

环境：hadoop 2.6.0 + hbase 1.0.1.1 + mac OS X yosemite 10.10.3

安装步骤：

一、下载解压

到官网 http://hbase.apache.org 下载合适的版本（hbase与hadoop的版本要匹配，否则可能运行不起来），解压到某个目录即可，本文中的解压目录为

/Users/jimmy/app/hbase-1.0.1.1

二、设置环境变量

...
export HBASE_HOME=/Users/jimmy/app/hbase-1.0.1.1
...
export PATH=${HBASE_HOME}/bin:$PATH...

即：添加HBASE_HOME变量，并将其加入PATH搜索路径

三、修改配置

a) $HBASE_HOME/conf/hbase-env.sh

export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_20.jdk/Contents/Home

只改这一行即可，注：1.0.1.1版要求jdk版本必须在1.7以上，否则启动时会报jdk版本不匹配。

b) $HBASE_HOME/conf/hbase-site.xml

 1 <configuration>
 2   <property>
 3     <name>hbase.rootdir</name>
 4     <value>hdfs://localhost:9000/hbase</value>
 5   </property>
 6   <property>
 7     <name>hbase.cluster.distributed</name>
 8     <value>true</value>
 9   </property>
10 </configuration>

四、启动

a) 先启动hadoop

b) $HBASE_HOME/bin/start-hbase.sh

不报错即可，启动完后，运行jps，检查下进程

21731 HQuorumPeer
19872 NameNode
21934 Jps
21780 HMaster
20221 NodeManager
19946 DataNode
21877 HRegionServer
20142 ResourceManager
20035 SecondaryNameNode

如果hadoop、hbase全部以伪分布模式安装在一台机器上，应该至少有上面8个进程，其中HMaster、HRegionServer、HQuorumPeer是HBASE启动后多出来的。

五、测试

a) 进入shell模式

$HBASE_HOME/bin/hbase shell

b) 新建表

create 'student','info'

c) 插入记录

put 'student','130372049','info:name','yang junming'

d) 根据rowkey查询记录

get 'student','130372049'

e) 查看所有表

list

f) 删除表

disable 'student'

drop 'student'

g) 查看表对应的hdfs文件信息

hbase是基于hdfs文件系统的，可以直接浏览http://localhost:50070/ 来看表对应的真实文件

h) 停止hbase

$HBASE_HOME/stop-hbase.sh

微信关注我们

原文链接：https://yq.aliyun.com/articles/250803

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hadoop:pig 安装及入门示例

pig是hadoop的一个子项目，用于简化MapReduce的开发工作，可以用更人性化的脚本方式分析数据。一、安装 a) 下载从官网http://pig.apache.org下载最新版本(目前是0.14.0版本)，最新版本可以兼容hadop 0.x /1.x / 2.x版本，直接解压到某个目录即可。注：下面是几个国内的镜像站点 http://mirrors.cnnic.cn/apache/pig/ http://mirror.bit.edu.cn/apache/pig/ http://mirrors.hust.edu.cn/apache/pig/ 本文的解压目录是：/Users/jimmy/app/pig-0.14.0 b) 环境变量 export PIG_HOME=/Users/jimmy/app/pig-0.14.0 export HADOOP_HOME=/Users/jimmy/app/hadoop-2.6.0 export PIG_CLASSPATH=${HADOOP_HOME}/etc/hadoop/ export HADOOP_CONF_DIR=${HADOOP_HO...

2015-05-31

602

python十进制转16进制：python -c "print hex(28285)" 程序远程调试:-Xdebug -Xrunjdwp:transport=dt_socket,server=y,address="8000"程序运行时间：ps -eo pid,lstart,etime 硬盘io使用情况iostat -x 1 看util列，如果持续在90以上，有问题 linux清除释放缓存(page cache)buffer/cache:echo 1 > /proc/sys/vm/drop_caches TCP状态(连接状态数量统计)：netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' 判断端口存活:nc -zv 127.0.0.1 80 网络端口消息监控：tcpdump -i any tcp port 4800 -nn -A -v ps - 按进程消耗内存多少排序出处信息 ps -eo rss,pmem,pcpu,vsize,args | sort -k 1 -r -n | less 解析一下...

2015-06-03

746

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。