Alluxio使用——Hive篇

1.服务启停

Zookeeper

./zookeeper/bin.zkServer.sh start ./zookeeper/conf/zoo.cfg ./zookeeper/bin.zkServer.sh stop

Hadoop

./hadoop/sbin/start-dfs.sh ./hadoop/sbin/stop-dfs.sh

Hive

./hive/bin/hive ./hive/bin/hive --service metastore -p 9083 

Alluxio

./alluxio/bin/alluxio local SudoMount

2.Alluxio操作

下载测试数据

稳定的基准数据集。1700部电影的1000名用户获得100,000评级。发布于4/1998。

MovieLens 100K电影收视率

稳定的基准数据集。238,000个用户将27,000个评级和465,000个标签应用程序应用于27,000部电影。包括标签基因组数据，在1,100个标签上有1200万个相关性分数。2015年4月发布; 更新10月2016以更新links.csv并添加标签基因组数据。

MovieLens 20M电影收视率

创建目录

./bin/alluxio fs mkdir /ml-100k ./bin/alluxio fs chmod -R 777 /ml-100k

导入测试数据

## 解压测试数据包 unzip ml-100k.zip ## 导入数据 ./bin/alluxio fs copyFromLocal ml-100k/u.user alluxio://alluxio_master_hostname:19998/ml-100k

验证数据

3.Hive操作

Jar依赖

将alluxio的客户端jar复制到hive的lib中

cp ./alluxio/client/alluxio-2.0.0.client.jar ./hive/lib

创建hive内部表

CREATE TABLE u_user ( userid INT, age INT, gender CHAR(1), occupation STRING, zipcode STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '|' LOCATION 'alluxio://alluxio_master_hostname:19998/ml-100k';

查询数据