HBase客户端API使用-低调大师

HBase客户端API使用

2016-07-20 789

篇幅中使用的HBase版本为1.1.2

Java API

HBase提供了一套Java API来支持Java程序对HBase数据库的请求操作，在hbase shell中能够使用的都可以通过这套API来实现

HBase有两套API，分别是1.0和2.0，在较新版本的HBase中使用1.0的API时，很多类和方法都被标记为Deprecated，官方表示旧版本的API将会在3.0版本中删除，所以推荐使用2.0
本篇中使用的API均为2.0
2.0官方API文档

需要导入的jar包

com.google.protobuf:rpc通信依赖

org.apache.zookeeper:连接zk依赖

hbase-client:hbase客户端

hbase-common:hbase组件

使用maven可以简单方便地管理jar包，pom文件示例如下：

<properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <hbase.version>1.1.2</hbase.version>
    <zookeeper.version>3.4.5</zookeeper.version>
</properties>
<dependencis>
    <!--hadoop/hbase都要依赖(RPC通信)-->
    <dependency>
        <groupId>com.google.protobuf</groupId>
        <artifactId>protobuf-java</artifactId>
        <version>2.5.0</version>
    </dependency>
    <!--hbase-->
    <dependency>
        <groupId>org.apache.zookeeper</groupId>
        <artifactId>zookeeper</artifactId>
        <version>${zookeeper.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hbase</groupId>
        <artifactId>hbase-client</artifactId>
        <version>${hbase.version}</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hbase</groupId>
        <artifactId>hbase-common</artifactId>
        <version>${hbase.version}</version>
    </dependency>
</dependencis>

开发流程

HBase API的使用可以归纳为一下几个步骤：

1.获得Configuration实例:其中保存了环境和配置信息
2.在Configuration中设置zk和master的相关信息，如果hbase的配置文件在环境变量中则不需要配置
3.获得Connection实例连接到zk
4.通过Connection实例获得Admin和Table实例调用其方法进行操作

其中Admin和Table为HBase API中提供的一个统一操作接口，在1.0中对应的是HAdmin和HTable
Admin对应的是DDL操作
Table对应的是相关表的DML操作

代码示例

//1.获得Configuration实例并进行相关设置
Configuration configuration = HBaseConfiguration.create();
configuration.set("hbase.zookeeper.quorum", "localhost:2181");
configuration.set("hbase.master", "localhost:16010");
//2.获得Connection实例
Connection connection = ConnectionFactory.createConnection(configuration);
//3.1获得Admin接口
Admin admin = connection.getAdmin();
//3.2获得Table接口,需要传入表名
Table table = connection.getTable(tableName)

为了程序的可维护性和方便调用，这里将HBase API提供的接口划分成了三个类

1.HBaseInfo:保存了Configuration和Connection，并进行一些初始化的设置，如zk地址等
2.HBaseDDLUtil:继承HBaseInfo，通过父类的Configuration和Connection获得Admin实例并使用其提供的方式进行DDL操作
3.HBaseDMLUtil:继承HBaseInfo，通过父类的Configuration和Connection获得Table实例并使用其提供的方式进行DML操作

DDL操作

/**
  * 创建表
  * @param tableName 表名
  * @param familyNames 列族名
  * */
 public static void createTable(String tableName, String... familyNames) throws IOException {
     if (admin.tableExists(TableName.valueOf(tableName))) {
         return;
     }
     //通过HTableDescriptor类来描述一个表，HColumnDescriptor描述一个列族
     HTableDescriptor tableDescriptor = new HTableDescriptor(TableName.valueOf(tableName));
     for (String familyName : familyNames) {
         tableDescriptor.addFamily(new HColumnDescriptor(familyName));
     }
     admin.createTable(tableDescriptor);
 }

 /**
   * 删除表
   * @param tableName 表名
   * */
  public static void dropTable(String tableName) throws IOException {
      //删除之前要将表disable
      if (!admin.isTableDisabled(TableName.valueOf(tableName))) {
          admin.disableTable(TableName.valueOf(tableName));
      }
      admin.deleteTable(TableName.valueOf(tableName));

  }

DML操作

HBase中的CRUD都是通过对应的对象来操作的，例如：
Put为新增，如果记录已经存在会用新值覆盖，相当于修改
Delete为删除
Get为查询

/**
 * 指定行/列中插入数据
 * @param tableName 表名
 * @param rowKey 主键rowkey
 * @param family 列族
 * @param column 列
 * @param value 值
 * TODO: 批量PUT
 */
public static void insert(String tableName, String rowKey, String family, String column, String value) throws IOException {
    table = connection.getTable(TableName.valueOf(tableName));
    Put put = new Put(Bytes.toBytes(rowKey));
    put.addColumn(Bytes.toBytes(family), Bytes.toBytes(column), Bytes.toBytes(value));
    table.put(put);
}


/**
 * 删除表中的指定行
 * @param tableName 表名
 * @param rowKey rowkey
 * TODO: 批量删除
 */
public static void delete(String tableName, String rowKey) throws IOException {
    table = connection.getTable(TableName.valueOf(tableName));
    Delete delete = new Delete(Bytes.toBytes(rowKey));
    table.delete(delete);
}

篇幅有限，HBase工具类的代码已上传至Github
API文档中还有许多实用的函数没有接触到，希望在实践中可以操作一下

MapReduceApi

要使用HBase的MapReduce API需要在pom文件中添加以下依赖：

<dependency>
    <groupId>org.apache.hbase</groupId>
    <artifactId>hbase-server</artifactId>
    <version>${hbase.version}</version>
</dependency>

HBase实现了TableInputFormat和TableOutputFormat用于读写HBase表
TableMapper类和TableReducer类，在使用MapReduce操作HBase的时候可以借助这两个类从HBase中读数据和写数据

TableInputFormat

用于读取HBase表数据并生成键值对
将数据表按照Region分割成split，既有多少个Regions就有多个splits
然后将Region按行键分成

TableMapper

和普通的Mapper的区别在于
TableMapper将输入的

TableReducer

该类将Reducer的输出类型限制为Mutation，Mutation是HBase中Delete/Put/Get/Append类的父类，也就是说TableReducer将输出类型限制在这几个类之中
自定义的Reducer类继承TableReducer，指定其输入的

TableOutputFormat

该类负责将Reducer的输出数据写入到HBase中

代码示例

MyTableMapper

public class MyTableMapper extends TableMapper<ImmutableBytesWritable, ImmutableBytesWritable> {

    ImmutableBytesWritable k = new ImmutableBytesWritable();
    ImmutableBytesWritable v = new ImmutableBytesWritable();

    /**
     * 表中的每行都会调用一次map函数
     * */
    @Override
    protected void map(ImmutableBytesWritable key, Result value, Context context) throws IOException, InterruptedException {
        //遍历改行中的结果集
        for (Cell cell : value.rawCells()) {
            //获得rowkey
            byte[] row = CellUtil.cloneRow(cell);
            //获得值
            byte[] rowValue = CellUtil.cloneValue(cell);
            k.set(row);
            v.set(rowValue);
            context.write(k, v);
        }
    }
}

MyTableReducer

public class MyTableReducer extends TableReducer<ImmutableBytesWritable, ImmutableBytesWritable, ImmutableBytesWritable> {
    @Override
    protected void reduce(ImmutableBytesWritable key, Iterable<ImmutableBytesWritable> values, Context context) throws IOException, InterruptedException {
        for (ImmutableBytesWritable value : values) {
            Put put = new Put(key.get());
            put.addColumn(Bytes.toBytes("f1"), Bytes.toBytes("c3"), value.get());
            context.write(key, put);
        }
    }
}

驱动程序

public static void main(String[] args) throws IOException, ClassNotFoundException, InterruptedException {
        Configuration configuration = HBaseConfiguration.create();
        //设置读取的表
        configuration.set(TableInputFormat.INPUT_TABLE, "client");

        Job job = Job.getInstance(configuration, "hbase-mr-api");
        //可以和普通mr程序一样进行设置
        job.setJarByClass(Driver.class);
        job.setInputFormatClass(TableInputFormat.class);
        job.setMapperClass(MyTableMapper.class);
        job.setMapOutputKeyClass(ImmutableBytesWritable.class);
        job.setMapOutputValueClass(ImmutableBytesWritable.class);
        //也可以使用hbase提供的工具类来设置job
        TableMapReduceUtil.initTableReducerJob("t1", MyTableReducer.class, job);
        job.waitForCompletion(true);
    }

示例代码以上传至Github

关于驱动程序中设置job的方法

在上面的代码中可以看到，设置job的方法有两种：MapReduce常用方式和HBase提供的TableMapReduceUtil工具类

两种方式的设置效果是相同的，通过普通的方式进行设置的时候需要配置TableInputFormat/TableOutputFormat的相关属性，如上的

//设置读取的表
configuration.set(TableInputFormat.INPUT_TABLE, "client");

而是使用TableMapReduceUtil的initTableMapperJob/initTableReducerJob则是通过参数传递这些配置，下面给出具体的配置项

TableInputFormat

TableOutputFormat

initTableMapperJob

initTableReducerJob

作者：@小黑

微信关注我们

原文链接：https://yq.aliyun.com/articles/667741

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

Hive通过查询语句向表中插入数据过程中发现的坑

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/beliefer/article/details/51860510 前言最近在学习使用Hive（版本0.13.1）的过程中，发现了一些坑，它们或许是Hive提倡的比关系数据库更加自由的体现（同时引来一些问题），或许是一些bug。总而言之，这些都需要使用Hive的开发人员额外注意。本文旨在列举我发现的3个通过查询语句向表中插入数据过程中的问题，希望大家注意。数据准备为了验证接下来出现的问题，需要先准备两张表employees和staged_employees，并准备好测试数据。首先使用以下语句创建表employees： create table employees ( id int comment 'id', name string comment 'name') partitioned by (country string, state string) row format delimited fields terminated by ','; employees的结构比较简单，有i...

2016-07-20

1376

背景随着大数据的应用越来越广泛，应用的行业也越来越低，我们每天都可以看到大数据的一些新奇的应用，从而帮助人们从中获取到真正有用的价值。在阿里云的云数据库RDS版中，提供了大数据计算服务(MaxCompute，原名ODPS)，它是一种快速、完全托管的TB/PB级数据仓库解决方案。MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型，能够更快速的解决用户海量数据计算问题，有效降低企业成本，并保障数据安全。通过数据集成服务，可将 RDS 数据导入 MaxCompute，实现大规模的数据计算。下面以 MaxCompute 和 RDS 搭配为例介绍大数据应用计算方案。前提需开通MaxCompute 服务，并完成项目设置。需开通数据集成服务操作步骤 1. 登录RDS 管理控制台，选择目标实例。 2. 在 RDS 实例上增加数据集成的白名单。 3.登录MaxCompute 管理控制台，创建 MaxCompute 数据表。 4. 登录数据集成管理控制台，设置 RDS 源库和 MaxCompute 目标库信息。 5 设置数据集成同步字段。 6. 设置数据集...

2016-07-23

818

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。