大数据应用之HBase数据插入性能优化实测教程-低调大师

大数据应用之HBase数据插入性能优化实测教程

2013-10-08 853

引言：

　　大家在使用HBase的过程中，总是面临性能优化的问题，本文从HBase客户端参数设置的角度，研究HBase客户端数据批量插入性能优化的问题。事实胜于雄辩，数据比理论更有说服力，基于此，作者设计了这么一个HBase数据插入性能优化实测实验，希望大家用自己的服务器跑出的结果，给自己一个值得信服的结论。

一、客户单优化参数

　　1.Put List Size
　　HBase的Put支持单条插入，也支持批量插入。

　　2. AutoFlush　　
　　AutoFlush指的是在每次调用HBase的Put操作，是否提交到HBase Server。默认是true,每次会提交。如果此时是单条插入，就会有更多的IO,从而降低性能

　　3.Write Buffer Size
　　Write Buffer Size在AutoFlush为false的时候起作用，默认是2MB,也就是当插入数据超过2MB,就会自动提交到Server

　　4.WAL
　　WAL是Write Ahead Log的缩写，指的是HBase在插入操作前是否写Log。默认是打开，关掉会提高性能，但是如果系统出现故障(负责插入的Region Server　　挂掉)，数据可能会丢失。

参数	默认值	说明
JVM Heap Size		平台不同值不同自行设置
AutoFlush	True	默认逐条提交
Put List Size	1	支持逐条和批量
Write Buffer Size	2M	与autoflush配合使用
Write Ahead Log	True	默认开启，需要手动关闭
…
…

二、源码程序

  1 import java.io.IOException;
  2 import java.util.ArrayList;
  3 import java.util.List;
  4 import java.util.Random;
  5  
  6 import org.apache.hadoop.conf.Configuration;
  7 import org.apache.hadoop.hbase.HBaseConfiguration;
  8 import org.apache.hadoop.hbase.HColumnDescriptor;
  9 import org.apache.hadoop.hbase.HTableDescriptor;
 10 import org.apache.hadoop.hbase.KeyValue;
 11 import org.apache.hadoop.hbase.MasterNotRunningException;
 12 import org.apache.hadoop.hbase.ZooKeeperConnectionException;
 13 import org.apache.hadoop.hbase.client.Delete;
 14 import org.apache.hadoop.hbase.client.Get;
 15 import org.apache.hadoop.hbase.client.HBaseAdmin;
 16 import org.apache.hadoop.hbase.client.HTable;
 17 import org.apache.hadoop.hbase.client.Result;
 18 import org.apache.hadoop.hbase.client.ResultScanner;
 19 import org.apache.hadoop.hbase.client.Scan;
 20 import org.apache.hadoop.hbase.client.Put;
 21 import org.apache.hadoop.hbase.util.Bytes;
 22 
 23 /*
 24  * -------优化案例说明------------
 25  * 1.优化参数1：Autoflush                默认关闭，需要手动开启
 26  * 2.优化参数2：put list size            支持单条与批量
 27  * 3.优化参数3：JVM heap size             默认值是平台而不同，需要手动设置
 28  * 4.优化参数4：Write Buffer Size        默认值2M    
 29  * 5.优化参数5：Write Ahead Log             默认开启，需要手动关闭
 30  * */
 31 
 32 public class TestInsert {
 33     static Configuration hbaseConfig = null;
 34 
 35     public static void main(String[] args) throws Exception {
 36         Configuration HBASE_CONFIG = new Configuration();
 37         HBASE_CONFIG.set("hbase.master", "192.168.230.133:60000");
 38         HBASE_CONFIG.set("hbase.zookeeper.quorum", "192.168.230.133");
 39         HBASE_CONFIG.set("hbase.zookeeper.property.clientPort", "2181");
 40         hbaseConfig = HBaseConfiguration.create(HBASE_CONFIG);
 41         //关闭wal,autoflush,writebuffer = 24M
 42         insert(false,false,1024*1024*24);
 43         //开启AutoFlush，writebuffer = 0
 44         insert(false,true,0);
 45         //默认值，全部开启
 46         insert(true,true,0);
 47     }
 48 
 49     private static void insert(boolean wal,boolean autoFlush,long writeBuffer)
 50             throws IOException {
 51         String tableName="etltest";
 52         HBaseAdmin hAdmin = new HBaseAdmin(hbaseConfig);
 53         if (hAdmin.tableExists(tableName)) {
 54             hAdmin.disableTable(tableName);
 55             hAdmin.deleteTable(tableName);
 56         }
 57 
 58         HTableDescriptor t = new HTableDescriptor(tableName);
 59         t.addFamily(new HColumnDescriptor("f1"));
 60         t.addFamily(new HColumnDescriptor("f2"));
 61         t.addFamily(new HColumnDescriptor("f3"));
 62         t.addFamily(new HColumnDescriptor("f4"));
 63         hAdmin.createTable(t);
 64         System.out.println("table created");
 65         
 66         HTable table = new HTable(hbaseConfig, tableName);
 67         table.setAutoFlush(autoFlush);
 68         if(writeBuffer!=0){
 69             table.setWriteBufferSize(writeBuffer);
 70         }
 71         List<Put> lp = new ArrayList<Put>();
 72         long all = System.currentTimeMillis();
 73         
 74         System.out.println("start time = "+all);
 75         int count = 20000;
 76         byte[] buffer = new byte[128];
 77         Random r = new Random();
 78         for (int i = 1; i <= count; ++i) {
 79             Put p = new Put(String.format("row d",i).getBytes());
 80             r.nextBytes(buffer);
 81             p.add("f1".getBytes(), null, buffer);
 82             p.add("f2".getBytes(), null, buffer);
 83             p.add("f3".getBytes(), null, buffer);
 84             p.add("f4".getBytes(), null, buffer);
 85             p.setWriteToWAL(wal);
 86             lp.add(p);
 87             if(i%1000 == 0){
 88                 table.put(lp);
 89                 lp.clear();
 90             }
 91         }
 92         
 93         System.out.println("WAL="+wal+",autoFlush="+autoFlush+",buffer="+writeBuffer+",count="+count);
 94         long end = System.currentTimeMillis();
 95         System.out.println("total need time = "+ (end - all)*1.0/1000+"s");
 96         
 97         
 98         System.out.println("insert complete"+",costs:"+(System.currentTimeMillis()-all)*1.0/1000+"ms");
 99     }
100 }

三、集群配置

3.1 服务器硬件配置清单

序号	节点名称	CUP	内存	硬盘	带宽
1	HMaster
2	HregionServer1
3	HregionServer2
4	…
5
6
7

3.2 客户端硬件配置清单

设备	节点名称
Cpu
内存
硬盘
带宽

四、测试报告

数据量	JVM	AutoFlush	Put List Size	WriteBufferSize	WAL	耗时
1000	512m	false	1000	1024102424	false
2000
5000
10000
20000
50000
100000
200000
500000
100000

备注：该技术专题讨论正在群Hadoop高级交流群：293503507同步直播中，敬请关注。

作者：张子良
出处：http://www.cnblogs.com/hadoopdev
本文版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。

微信关注我们

原文链接：https://yq.aliyun.com/articles/438599

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

HBase Shell输入命令无法删除问题解决技巧

一、引言： HBase shell使用过程中，使用CRT客户端，命令输入后无法删除一直困绕着我，今天终于受不了，几番度娘，谷哥之后，终于有了解决方法，特共享给大家。二、操作步骤 secureCRT中，点击【选项】【回话选项】【终端】【仿真】，右边的终端选择linux 英文版本请对应选择输入: 三、删除操作执行删除操作时，需要使用组合键：Ctrl+Back Space同时按下，不妨现在就开始尝试一下吧。四、遗憾我一直比较喜欢黄色字体，黑色背景，设置Linux后原来的背景色不起作用了。也不知道是什么原因导致的，希望下一步能找到答案。作者：张子良出处：http://www.cnblogs.com/hadoopdev 本文版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。

2013-10-08

830

1. 将开发好MR代码打包成jar。添加到distributed cache中。 Xml代码 bin/hadoopfs-copyFromLocal/root/stat-analysis-mapred-1.0-SNAPSHOT.jar/user/root/lib bin/hadoop fs -copyFromLocal /root/stat-analysis-mapred-1.0-SNAPSHOT.jar /user/root/lib 2. 在服务器端创建和你客户端一模一样的用户。创建目录 /tmp/hadoop-root/stagging/用户 3. 客户端提交job的代码 Java代码 Configurationconf=HBaseConfiguration.create(); conf.set("hbase.zookeeper.quorum","node.tracker1"); conf.set("fs.default.name","hdfs://node.tracker1:9000/hbase"); conf.set("mapred.job.tracker","...

2013-10-09

917

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。