HBase API 操作范例-低调大师

HBase API 操作范例

2017-11-13 556

package com.test.hbase.api;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.hbase.*;

import org.apache.hadoop.hbase.client.*;

import org.apache.hadoop.hbase.util.Bytes;

import java.io.IOException;

import java.util.ArrayList;

import java.util.List;

/**

* Created by zsq.

* Date: 2017/6/14

* desc:Hbase api操作

*/

public class HBaseAPIDemo {

public static void main(String[] args) throws IOException {

Configuration conf = HBaseConfiguration.create();

//设置zk的地址

conf.set("hbase.zookeeper.quorum", Constants.hostNames);

//获取链接hbase数据的链接对象

Connection conn = ConnectionFactory.createConnection(conf);

//过去时接口

// HBaseAdmin admin=new HBaseAdmin(conn);

//获取操作hbase数据库的对象

HBaseAdmin ha = (HBaseAdmin) conn.getAdmin();

// createNamespace(ha);

// listNamespace(ha);

// createTables(ha);

// listNamespaceTables(ha);

// putDataToTables(ha, conn);

// putMultilDataToTables(ha, conn);

// scanTablesData(ha, conn);

// getTablesData(ha, conn);

deleteNsAndTable(ha, conn);

}

/**

* shell操作：create_namespace 'ns2'

* 说明：创建命名空间

*

* @param ha

* @throws IOException

*/

public static void createNamespace(HBaseAdmin ha) throws IOException {

ha.createNamespace(NamespaceDescriptor.create("ns2").build());

ha.close();

System.out.println("-----createNamespace----over");

}

/**

* shell操作：list_namespace

* 描述：查看所有命名空间

*

* @param ha

* @throws IOException

*/

public static void listNamespace(HBaseAdmin ha) throws IOException {

NamespaceDescriptor[] listns = ha.listNamespaceDescriptors();

for (NamespaceDescriptor ns : listns) {

System.out.println(ns.getName());

}

ha.close();

System.out.println("-----listNamespace----over");

}

/**

* 创建表：help 'create'

* shell操作： create 'ns2:stu', 'cf_info', 'cf_beizhu'

*

* @param ha

* @throws IOException

*/

public static void createTables(HBaseAdmin ha) throws IOException {

//先判断表是否存在

if (!ha.tableExists("ns2:stu")) {

HTableDescriptor htable = new HTableDescriptor(TableName.valueOf("ns2:stu"));

//创建一个表至少需要添加一个列族

htable.addFamily(new HColumnDescriptor("cf_info"));

htable.addFamily(new HColumnDescriptor("cf_beizhu"));

ha.createTable(htable);

}

ha.close();

System.out.println("-----createTables----over");

}

/**

* shell操作：

* 查看命名空下的表：

* list_namespace_tables 'ns2'

*

* @param ha

* @throws IOException

*/

public static void listNamespaceTables(HBaseAdmin ha) throws IOException {

HTableDescriptor[] htables = ha.listTableDescriptorsByNamespace("ns2");

for (HTableDescriptor tb : htables) {

System.out.println(tb.getTableName());

}

ha.close();

System.out.println("-----createTables----over");

}

/**

* 添加数据到表：help 'put'

* shell操作：put 'ns1:t1', 'r1', 'c1', 'value'

*

* @param ha

* @param conn

* @throws IOException

*/

public static void putDataToTables(HBaseAdmin ha, Connection conn) throws IOException {

//判断表是否存在

if (ha.tableExists("ns2:stu")) {

Table mTable = conn.getTable(TableName.valueOf("ns2:stu"));

//创建Put对象并且添加rowkey

Put put = new Put("soft_20170101".getBytes());

//第一个参数是列族，第二个参数是列名，第三个参数是列的值

put.addColumn("cf_info".getBytes(), "name".getBytes(), "laowang".getBytes());

put.addColumn("cf_info".getBytes(), "age".getBytes(), "20".getBytes());

put.addColumn("cf_info".getBytes(), "sex".getBytes(), "nan".getBytes());

put.addColumn("cf_beizhu".getBytes(), "address".getBytes(), "fangshan".getBytes());

mTable.put(put);

}

ha.close();

System.out.println("-----putDataToTables----over");

}

/**

* 批量添加数据到Hbase表

*

* @param ha

* @param conn

* @throws IOException

*/

public static void putMultilDataToTables(HBaseAdmin ha, Connection conn) throws IOException {

//判断表是否存在

if (ha.tableExists("ns2:stu")) {

Table mTable = conn.getTable(TableName.valueOf("ns2:stu"));

List<Put> listput = new ArrayList<Put>();

for (int i = 0; i < 100; i++) {

//创建Put对象并且添加rowkey

Put put = new Put(("soft_20170101" + i).getBytes());

//第一个参数是列族，第二个参数是列名，第三个参数是列的值

put.addColumn("cf_info".getBytes(), "name".getBytes(), ("laowang" + i).getBytes());

put.addColumn("cf_info".getBytes(), "age".getBytes(), "20".getBytes());

if (i % 2 == 1) {

put.addColumn("cf_info".getBytes(), "sex".getBytes(), "nv".getBytes());

} else {

put.addColumn("cf_info".getBytes(), "sex".getBytes(), "nan".getBytes());

}

put.addColumn("cf_beizhu".getBytes(), "address".getBytes(), ("fangshan" + i).getBytes());

listput.add(put);

}

//批量插入

mTable.put(listput);

}

ha.close();

System.out.println("-----putMultilDataToTables----over");

}

/**

* 查看表数据：

* scan 'ns2:stu'

* 查看一个列族

* scan 'ns2:stu',{COLUMNS => 'cf_info'}

* 查看多个列族

* scan 'ns2:stu',{COLUMNS => ['cf_info','cf_beizhu']}

* 查看某个列的数据：

* scan 'ns2:stu',{COLUMNS => 'cf_info:name'}

*

* @param ha

* @param conn

* @throws IOException

*/

public static void scanTablesData(HBaseAdmin ha, Connection conn) throws IOException {

//判断表是否存在

if (ha.tableExists("ns2:stu")) {

Table mTable = conn.getTable(TableName.valueOf("ns2:stu"));

//扫描整张表

Scan scan = new Scan();

//scan.addFamily("cf_info".getBytes());

// scan.addColumn("cf_info".getBytes(), "name".getBytes());

ResultScanner rs = mTable.getScanner(scan);

for (Result result : rs) {

System.out.println("name:" + Bytes.toString(result.getValue("cf_info".getBytes(), "name".getBytes())));

System.out.println("age:" + Bytes.toString(result.getValue("cf_info".getBytes(), "age".getBytes())));

System.out.println("sex:" + Bytes.toString(result.getValue("cf_info".getBytes(), "sex".getBytes())));

System.out.println("address:" + Bytes.toString(result.getValue("cf_beizhu".getBytes(), "address".getBytes())));

}

ha.close();

System.out.println("-----scanTablesData----over");

}

/**

* 查看某一行数据：help 'get'

* <p>

* get 'ns1:stu','data_20170102'

* <p>

* 查看某行的其中的一个列族的数据：

* get 'ns1:stu','data_20170102',{COLUMN => 'cf_info'}

* <p>

* 查看某行的其中的多个列族的数据：

* get 'ns1:stu','data_20170102',{COLUMN => ['cf_info','cf_beizhu']}

* <p>

* 获取某一个列的值：

* get 'ns1:stu','data_20170102','cf_info:name'

*

* @param ha

* @param conn

* @throws IOException

*/

public static void getTablesData(HBaseAdmin ha, Connection conn) throws IOException {

//判断表是否存在

if (ha.tableExists("ns2:stu")) {

Table mTable = conn.getTable(TableName.valueOf("ns2:stu"));

//获取整行数据

Get get = new Get("soft_2017010196".getBytes());

// get.addFamily("cf_info".getBytes());

get.addColumn("cf_info".getBytes(), "name".getBytes());

Result result = mTable.get(get);

System.out.println("name:" + Bytes.toString(result.getValue("cf_info".getBytes(), "name".getBytes())));

System.out.println("age:" + Bytes.toString(result.getValue("cf_info".getBytes(), "age".getBytes())));

System.out.println("sex:" + Bytes.toString(result.getValue("cf_info".getBytes(), "sex".getBytes())));

System.out.println("address:" + Bytes.toString(result.getValue("cf_beizhu".getBytes(), "address".getBytes())));

}

ha.close();

System.out.println("-----getTablesData----over");

}

/**

* 操作：删除命名空间和命名空间所有表

*

* @param ha

* @param conn

* @throws IOException

*/

public static void deleteNsAndTable(HBaseAdmin ha, Connection conn) throws IOException {

//遍历命名空间下所有表

HTableDescriptor[] htables = ha.listTableDescriptorsByNamespace("ns1");

for (HTableDescriptor tb : htables) {

System.out.println(tb.getTableName());

if (ha.isTableEnabled(tb.getTableName())) {

ha.disableTable(tb.getTableName());

}

ha.deleteTable(tb.getTableName());

}

ha.deleteNamespace("ns1");

ha.close();

System.out.println("-----deleteNsAndTable----over");

}

// HBase 的过滤器操作

public class HbaseAPIFilter {

public static void main(String[] args) throws Exception {

// singleColumnValueFilter();

// qualifierFilter();

familyFilter();

}

/**

* 1、单个列值过滤 SingleColumnValueFilter

*

* @throws IOException

*/

public static void singleColumnValueFilter() throws IOException {

Table mTable = TableUtils.getTable(Constants.tableName);

//如果匹配，那么可用获取行数据

//单个列值的匹配：比较基类为BinaryComparator BinaryComparator 匹配完整字节数组

// SingleColumnValueFilter scvf = new SingleColumnValueFilter("cf_info".getBytes(), "name".getBytes(), CompareFilter.CompareOp.EQUAL, "laowang88".getBytes());

SingleColumnValueFilter scvf = new SingleColumnValueFilter("cf_info".getBytes(), "name".getBytes(), CompareFilter.CompareOp.NOT_EQUAL, new BinaryComparator("laowang88".getBytes()));

//BinaryPrefixComparator 匹配开始的部分字节数组 name的值开始部分为"xiao"的行都过滤出来

SingleColumnValueFilter scvf2 = new SingleColumnValueFilter("cf_info".getBytes(), "name".getBytes(), CompareFilter.CompareOp.GREATER_OR_EQUAL, new BinaryPrefixComparator("xiao".getBytes()));

// Only EQUAL or NOT_EQUAL comparisons are valid with this comparator.

// 所以对于RegexStringComparator基类只能用EQUAL或者NOT_EQUAL

SingleColumnValueFilter scvf3 = new SingleColumnValueFilter("cf_info".getBytes(), "name".getBytes(), CompareFilter.CompareOp.EQUAL, new RegexStringComparator("^[x].*$"));

// Only EQUAL or NOT_EQUAL tests are valid with this comparator.

// 所以对于SubstringComparator基类只能用EQUAL或者NOT_EQUAL

SingleColumnValueFilter scvf4 = new SingleColumnValueFilter("cf_info".getBytes(), "name".getBytes(), CompareFilter.CompareOp.EQUAL, new SubstringComparator("bai"));

Scan scan = new Scan();

scan.setFilter(scvf4);

ResultScanner rs = mTable.getScanner(scan);

for (Result result : rs) {

System.out.println("name:" + Bytes.toString(result.getValue("cf_info".getBytes(), "name".getBytes())));

System.out.println("age:" + Bytes.toString(result.getValue("cf_info".getBytes(), "age".getBytes())));

System.out.println("sex:" + Bytes.toString(result.getValue("cf_info".getBytes(), "sex".getBytes())));

System.out.println("address:" + Bytes.toString(result.getValue("cf_beizhu".getBytes(), "address".getBytes())));

}

/**

* 2. 列过滤器(列过滤器表中存在该列的数据都出来)

* QualifierFilter

*

* @throws IOException

*/

public static void qualifierFilter() throws IOException {

Table mTable = TableUtils.getTable(Constants.tableName);

//列名过滤：

//比较基类为BinaryComparator BinaryComparator 匹配完整字节数组

QualifierFilter columnsNameFilter = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new BinaryComparator("name".getBytes()));

QualifierFilter columnsNameFilter2 = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new BinaryComparator("age".getBytes()));

// Only EQUAL or NOT_EQUAL tests are valid with this comparator.

// 所以对于SubstringComparator基类只能用EQUAL或者NOT_EQUAL

QualifierFilter columnsNameFilter3 = new QualifierFilter(CompareFilter.CompareOp.EQUAL, new SubstringComparator("a"));

//BinaryPrefixComparator 匹配开始的部分字节数组, （可能用）

// RegexStringComparator, 正则表达式匹配（可能用）

Scan scan = new Scan();

scan.setFilter(columnsNameFilter3);

ResultScanner rs = mTable.getScanner(scan);

for (Result result : rs) {

System.out.println("name:" + Bytes.toString(result.getValue("cf_info".getBytes(), "name".getBytes())));

System.out.println("age:" + Bytes.toString(result.getValue("cf_info".getBytes(), "age".getBytes())));

System.out.println("sex:" + Bytes.toString(result.getValue("cf_info".getBytes(), "sex".getBytes())));

System.out.println("address:" + Bytes.toString(result.getValue("cf_beizhu".getBytes(), "address".getBytes())));

}

/**

* 定义列族过滤器(表中存在该列族的数据都出来)

* FamilyFilter

*

* @throws IOException

*/

public static void familyFilter() throws IOException {

Table mTable = TableUtils.getTable(Constants.tableName);

//因为是根据列族的名称过滤，所以传入列族名称

FamilyFilter familyFilter = new FamilyFilter(CompareFilter.CompareOp.GREATER_OR_EQUAL, new BinaryPrefixComparator("cf_i".getBytes()));

// Only EQUAL or NOT_EQUAL tests are valid with this comparator.

// 所以对于RegexStringComparator基类只能用EQUAL或者NOT_EQUAL

FamilyFilter familyFilter2 = new FamilyFilter(CompareFilter.CompareOp.EQUAL, new RegexStringComparator("^[a-z_]{3}[^b].+$"));

// BinaryComparator 匹配完整字节数组, （可能用）

// SubstringComparator 比配子串、大小写不敏感（可能用）

Scan scan = new Scan();

scan.setFilter(familyFilter2);

ResultScanner rs = mTable.getScanner(scan);

for (Result result : rs) {

System.out.println("name:" + Bytes.toString(result.getValue("cf_info".getBytes(), "name".getBytes())));

System.out.println("age:" + Bytes.toString(result.getValue("cf_info".getBytes(), "age".getBytes())));

System.out.println("sex:" + Bytes.toString(result.getValue("cf_info".getBytes(), "sex".getBytes())));

System.out.println("address:" + Bytes.toString(result.getValue("cf_beizhu".getBytes(), "address".getBytes())));

}

注意: 前提是保证集群正常运行和HBase集群正常工作。

本文转自 ChinaUnicom110 51CTO博客，原文链接:http://blog.51cto.com/xingyue2011/1937250

微信关注我们

原文链接：https://yq.aliyun.com/articles/545705

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hadoop初探--性能分析２

5h42min？？12G的600万行的表，怎么会需要近6个小时才能计算完行数？？MapReduce不是号称是云计算的基石么？性能怎会如此之差？经过分析，发现12G的这个“TestTable”表的数据在4个节点是如下分布的。可以看到DataNode1的数据量有2.3G，虽然比DataNode3和DataNode4数据量小，但是由于DataNode1是vm，其所依赖的ESXI总共才8G内存（ESXI总共运行5台虚拟机），所以虽然号称是4G内存，但是根本就分不到4G的内存。这4G内存很大一部分使用的是ESSI kernel为其划分的Swap空间。而经过观察发现，Task attempt_201110251718_0001_m_000014_0 failed to report status for 602 seconds. Killing! 的信息都出现在DataNode1上面。监控DataNode1的性能，发现如下所示，负载高达10，已经严重超过此虚拟机的load上限。利用Ganglia监控Cluster的性能，可以看到如下图下面两个图分布是上图的datanode1 memory ...

2017-11-14

583

Elasticsearch内存分配设置详解 Elasticsearch默认安装后设置的内存是1GB，对于任何一个现实业务来说，这个设置都太小了。如果你正在使用这个默认堆内存配置，你的集群配置可能会很快发生问题。这里有两种方式修改Elasticsearch的堆内存（下面就说内存好了），最简单的一个方法就是指定ES_HEAP_SIZE环境变量。服务进程在启动时候会读取这个变量，并相应的设置堆的大小。设置命令如下： exportES_HEAP_SIZE=10g 此外，你也可以通过命令行参数的形式，在程序启动的时候把内存大小传递给它： ./bin/elasticsearch-Xmx10g-Xms10g 备注:确保Xmx和Xms的大小是相同的，其目的是为了能够在java垃圾回收机制清理完堆区后不需要重新分隔计算堆区的大小而浪费资源，可以减轻伸缩堆大小带来的压力。一般来说设置ES_HEAP_SIZE环境变量，比直接写-Xmx10g -Xms10g更好一点。把内存的一半给Lucene 一个常见的问题是配置一个大内存，假设你有一个64G内存的机器，按照正常思维思考，你可能会认为把64G内存都...

2017-11-14

528

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。