Impala、Hive性能简单对比测试
Impala、Hive性能简单对比测试 一、测试环境 操作系统:CentOS6.4 大数据平台:CDH5、Hive、Impala、MapReduce 集群规模:3台服务器,每台64G内存(原谅小气的公司给了如此糟糕的开发环境) Impala共三几个后台Impalad进程,两个正常,一个失效,如图: 一、HBase加载数据 首先,在HBase中创建一个表,表中列簇为f,有两列dn、fn; 其次,利用Java API在HBase中产生约1000万条测试数据,代码如下: @SuppressWarnings("static-access") @Test public void testPutBasic() { for (int m = 0; m < 20; m++) { new Thread() { @Override public void run() { int j = 0; for (int i = 0; i < 1000000; i++) { Random random = new Random(); Hash...