Alluxio使用——HBase篇

1.服务启停

Zookeeper

./zookeeper/bin.zkServer.sh start ./zookeeper/conf/zoo.cfg ./zookeeper/bin.zkServer.sh stop

Hadoop

./hadoop/sbin/start-dfs.sh ./hadoop/sbin/stop-dfs.sh

HBase

./hbase/bin/start-hbase.sh ./hbase/bin/stop-hbase.sh 

./hbase/bin/hbase-daemon.sh start master ./hbase/bin/hbase-daemon.sh start regionserver 1 ./hbase/bin/hbase-daemon.sh stop master ./hbase/bin/hbase-daemon.sh stop regionserver 1

Alluxio

./alluxio/bin/alluxio local SudoMount

2.HBase配置

Apache HBase可以通过Hadoop文件系统来使用Alluxio

修改配置vi hbase-site.xml

<!-- 修改hbase.rootdir属性，可通过alluxio访问 --> <property> <name>hbase.rootdir</name> <value>alluxio://master_hostname:19998/hbase</value> </property> <!-- 防止HBase以线程不安全的方式刷新Alluxio文件流 --> <property> <name>hbase.regionserver.hlog.syncer.count</name> <value>1</value> </property>

将alluxio的客户端jar复制到hbase的lib中

cp ./alluxio/client/alluxio-2.0.0.client.jar ./hbase/lib

验证

验证HBase

HBase Master URL： http://hbase_master_hostname:16010

验证Alluxio

Alluxio Master URL: http://alluxio_master_hostname:19999

3.测试

测试数据

创建HBase表，并模拟插入10000行数据；然后查询展示10行

编辑： vi alluxio_hbase_test.txt

create 'alluxio_hbase_test', 'cf1' for i in Array(0..9999) put 'alluxio_hbase_test', 'rowid_'+i.to_s , 'cf1:value', 'value_'+i.to_s end list 'alluxio_hbase_test' scan 'alluxio_hbase_test', {LIMIT => 10, STARTROW => 'row1'} get 'alluxio_hbase_test', 'row1'

执行命令

./hbase/bin/hbase shell alluxio_hbase_test.txt

测试结果

使用Hadoop统计行数

./hbase/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter alluxio_hbase_test.txt