大数据应用之HBase数据插入性能优化实测教程
引言： 大家在使用HBase的过程中，总是面临性能优化的问题，本文从HBase客户端参数设置的角度，研究HBase客户端数据批量插入性能优化的问题。事实胜于雄辩，数据比理论更有说服力，基于此，作者设计了这么一个HBase数据插入性能优化实测实验，希望大家用自己的服务器跑出的结果，给自己一个值得信服的结论。 一、客户单优化参数 1.Put List Size HBase的Put支持单条插入，也支持批量插入。 2. AutoFlush AutoFlush指的是在每次调用HBase的Put操作，是否提交到HBase Server。 默认是true,每次会提交。如果此时是单条插入，就会有更多的IO,从而降低性能 3.Write Buffer Size Write Buffer Size在AutoFlush为false的时候起作用，默认是2MB,也就是当插入数据超过2MB,就会自动提交到Server 4.WAL WAL是Write Ahead Log的缩写，指的是HBase在插入操作前是否写Log。默认是打开，关掉会提高性能，但是如果系统出现故障(负责插入的Region Server 挂掉)，数据可能会丢失。 参数 默认值 说明 JVM Heap Size 平台不同值不同自行设置 AutoFlush True 默认逐条提交 Put List Size 1 支持逐条和批量 Write Buffer Size 2M 与autoflush配合使用 Write Ahead Log True 默认开启，需要手动关闭 … … 二、源码程序 1 import java.io.IOException; 2 import java.util.ArrayList; 3 import java.util.List; 4 import java.util.Random; 5 6 import org.apache.hadoop.conf.Configuration; 7 import org.apache.hadoop.hbase.HBaseConfiguration; 8 import org.apache.hadoop.hbase.HColumnDescriptor; 9 import org.apache.hadoop.hbase.HTableDescriptor; 10 import org.apache.hadoop.hbase.KeyValue; 11 import org.apache.hadoop.hbase.MasterNotRunningException; 12 import org.apache.hadoop.hbase.ZooKeeperConnectionException; 13 import org.apache.hadoop.hbase.client.Delete; 14 import org.apache.hadoop.hbase.client.Get; 15 import org.apache.hadoop.hbase.client.HBaseAdmin; 16 import org.apache.hadoop.hbase.client.HTable; 17 import org.apache.hadoop.hbase.client.Result; 18 import org.apache.hadoop.hbase.client.ResultScanner; 19 import org.apache.hadoop.hbase.client.Scan; 20 import org.apache.hadoop.hbase.client.Put; 21 import org.apache.hadoop.hbase.util.Bytes; 22 23 /* 24 * -------优化案例说明------------ 25 * 1.优化参数1：Autoflush 默认关闭，需要手动开启 26 * 2.优化参数2：put list size 支持单条与批量 27 * 3.优化参数3：JVM heap size 默认值是平台而不同，需要手动设置 28 * 4.优化参数4：Write Buffer Size 默认值2M 29 * 5.优化参数5：Write Ahead Log 默认开启，需要手动关闭 30 * */ 31 32 public class TestInsert { 33 static Configuration hbaseConfig = null; 34 35 public static void main(String[] args) throws Exception { 36 Configuration HBASE_CONFIG = new Configuration(); 37 HBASE_CONFIG.set("hbase.master", "192.168.230.133:60000"); 38 HBASE_CONFIG.set("hbase.zookeeper.quorum", "192.168.230.133"); 39 HBASE_CONFIG.set("hbase.zookeeper.property.clientPort", "2181"); 40 hbaseConfig = HBaseConfiguration.create(HBASE_CONFIG); 41 //关闭wal,autoflush,writebuffer = 24M 42 insert(false,false,1024*1024*24); 43 //开启AutoFlush，writebuffer = 0 44 insert(false,true,0); 45 //默认值，全部开启 46 insert(true,true,0); 47 } 48 49 private static void insert(boolean wal,boolean autoFlush,long writeBuffer) 50 throws IOException { 51 String tableName="etltest"; 52 HBaseAdmin hAdmin = new HBaseAdmin(hbaseConfig); 53 if (hAdmin.tableExists(tableName)) { 54 hAdmin.disableTable(tableName); 55 hAdmin.deleteTable(tableName); 56 } 57 58 HTableDescriptor t = new HTableDescriptor(tableName); 59 t.addFamily(new HColumnDescriptor("f1")); 60 t.addFamily(new HColumnDescriptor("f2")); 61 t.addFamily(new HColumnDescriptor("f3")); 62 t.addFamily(new HColumnDescriptor("f4")); 63 hAdmin.createTable(t); 64 System.out.println("table created"); 65 66 HTable table = new HTable(hbaseConfig, tableName); 67 table.setAutoFlush(autoFlush); 68 if(writeBuffer!=0){ 69 table.setWriteBufferSize(writeBuffer); 70 } 71 List<Put> lp = new ArrayList<Put>(); 72 long all = System.currentTimeMillis(); 73 74 System.out.println("start time = "+all); 75 int count = 20000; 76 byte[] buffer = new byte[128]; 77 Random r = new Random(); 78 for (int i = 1; i <= count; ++i) { 79 Put p = new Put(String.format("row d",i).getBytes()); 80 r.nextBytes(buffer); 81 p.add("f1".getBytes(), null, buffer); 82 p.add("f2".getBytes(), null, buffer); 83 p.add("f3".getBytes(), null, buffer); 84 p.add("f4".getBytes(), null, buffer); 85 p.setWriteToWAL(wal); 86 lp.add(p); 87 if(i%1000 == 0){ 88 table.put(lp); 89 lp.clear(); 90 } 91 } 92 93 System.out.println("WAL="+wal+",autoFlush="+autoFlush+",buffer="+writeBuffer+",count="+count); 94 long end = System.currentTimeMillis(); 95 System.out.println("total need time = "+ (end - all)*1.0/1000+"s"); 96 97 98 System.out.println("insert complete"+",costs:"+(System.currentTimeMillis()-all)*1.0/1000+"ms"); 99 } 100 } 三、集群配置 3.1 服务器硬件配置清单 序号 节点名称 CUP 内存 硬盘 带宽 1 HMaster 2 HregionServer1 3 HregionServer2 4 … 5 6 7 3.2 客户端硬件配置清单 设备 节点名称 Cpu 内存 硬盘 带宽 四、测试报告 数据量 JVM AutoFlush Put List Size WriteBufferSize WAL 耗时 1000 512m false 1000 1024*1024*24 false 2000 5000 10000 20000 50000 100000 200000 500000 100000 备注：该技术专题讨论正在群Hadoop高级交流群：293503507同步直播中，敬请关注。 作者：张子良 出处：http://www.cnblogs.com/hadoopdev 本文版权归作者所有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。
