通过Hive查询 HBase-低调大师

通过Hive查询 HBase

2017-11-06 642

线上的zipkin的存储是利用的HBase0.94.6，一开始Dev想直接写MR来做离线分析，后来聊了下发现走Hive会提高开发的效率（当然，这里查询HBase的SQL接口还有phoenix，Impala等，只不过都还不够成熟，并且是离线分析不是adhocquery，BTW，前阶段和intel的聊过他们的Hive Over HBase是跳过MR的，效率非常赞，不过钱也略贵了=.=）；

其实用Hive查询HBase非常简单：

 
    
      
        
       
          //首先在HBase里建一张表并插入几条数据
         
 
          hbase(main):
          003
          :
          0
          > create 
          'table_inhbase'
          ,
          'cf' 
         
 
          0 
          row(s) in 
          1.2060 
          seconds 
         

          => Hbase::Table - table_inhbase
         
 
          hbase(main):
          004
          :
          0
          > list 
         

          TABLE                                                              
         

          table_inhbase                                                       
         
 
          1 
          row(s) in 
          0.0350 
          seconds 
         
 
          hbase(main):
          005
          :
          0
          > put 
          'table_inhbase'
          ,
          'row1'
          ,
          'cf:a'
          ,
          'value1' 
         
 
          0 
          row(s) in 
          0.0830 
          seconds 
         
 
          hbase(main):
          006
          :
          0
          > put 
          'table_inhbase'
          ,
          'row2'
          ,
          'cf:a'
          ,
          'value2' 
         
 
          0 
          row(s) in 
          0.0200 
          seconds 
         
 
          hbase(main):
          007
          :
          0
          > put 
          'table_inhbase'
          ,
          'row3'
          ,
          'cf:b'
          ,
          'value3' 
         
 
          0 
          row(s) in 
          0.0180 
          seconds 
         
 
          hbase(main):
          008
          :
          0
          > scan 
          'table_inhbase' 
         

          ROW                                        COLUMN+CELL             
         
 
           
          row1                                      column=cf:a, timestamp=
          1383736436773
          ,value=value1                                                             
         
 
           
          row2                                      column=cf:a, timestamp=
          1383736462917
          ,value=value2                                                             
         
 
           
          row3                                      column=cf:b, timestamp=
          1383736476017
          ,value=value3                                                            
         
 
          3 
          row(s) in 
          0.0660 
          seconds 
         

          //在Hive里创建一个外部表，注意要在hive-site.xml加入ZK,否则会hang住，一直去重试localhost:2181
         

          CREATE EXTERNAL TABLE ext_table_inhbase(key string, avalue string,bvaluestring)
         
 
          STORED BY 
          'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
         
 
          WITH SERDEPROPERTIES (
          "hbase.columns.mapping" 
          =
          "cf:a,cf:b"
          ) 
         
 
          TBLPROPERTIES(
          "hbase.table.name" 
          = 
          "table_inhbase"
          ); 
         

          hive> CREATE EXTERNAL TABLE ext_table_inhbase(key string, avaluestring,bvalue string)
         
 
              
          > STORED BY
          'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
         
 
              
          > WITH SERDEPROPERTIES(
          "hbase.columns.mapping" 
          = 
          "cf:a,cf:b"
          ) 
         
 
              
          > TBLPROPERTIES(
          "hbase.table.name" 
          =
          "table_inhbase"
          ); 
         

          OK
         

          //注意，这里要加入这2个jar包：hbase-0.94.6-cdh4.4.0.jar，hive-hbase-handler-0.10.0-cdh4.4.0.jar否则会抛出异常
         

          hive> select * from ext_table_inhbase;
         

          OK
         

          row1    value1  NULL
         

          row2    value2  NULL
         

          row3    NULL    value3
         
 
          Time taken: 
          0.609 
          seconds 
         

          hive> select key,avalue from ext_table_inhbase;
         

          java.io.IOException: Cannot create an instance of InputSplit.apache.hadoop.hive.hbase.HBaseSplit:Classorg.apache.hadoop.hive.hbase.HBaseSplit not found
         
 
                  
          at org.apache.hadoop.hive.ql.io.HiveInputFormat$HiveInputSplit.readFields(HiveInputFormat.java:
          146
          ) 
         
 
                  
          atorg.apache.hadoop.io.serializer.WritableSerialization$WritableDeserializer.deserialize(WritableSerialization.java:
          73
          ) 
         
 
                  
          atorg.apache.hadoop.io.serializer.WritableSerialization$WritableDeserializer.deserialize(WritableSerialization.java:
          44
          ) 
         
 
                  
          atorg.apache.hadoop.mapred.MapTask.getSplitDetails(MapTask.java:
          356
          ) 
         
 
                  
          atorg.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:
          388
          ) 
         
 
                  
          at org.apache.hadoop.mapred.MapTask.run(MapTask.java:
          332
          ) 
         
 
                  
          atorg.apache.hadoop.mapred.Child$
          4
          .run(Child.java:
          268
          ) 
         
 
                  
          atjava.security.AccessController.doPrivileged(Native Method) 
         
 
                  
          atjavax.security.auth.Subject.doAs(Subject.java:
          396
          ) 
         
 
                  
          at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:
          1408
          ) 
         

          hive> select key,avalue from ext_table_inhbase;
         
 
          Total MapReduce jobs = 
          1 
         
 
          Launching Job 
          1 
          out of 
          1 
         
 
          Number of reduce tasks is set to 
          0 
          since there's no reduce operator 
         
 
          Hadoop job information 
          for 
          Stage-
          1
          : number of mappers: 
          1
          ; number ofreducers: 
          0 
         
 
          19
          :
          33
          :
          55
          ,
          386 
          Stage-
          1 
          map = 
          0
          %,  reduce = 
          0
          % 
         
 
          19
          :
          34
          :
          01
          ,
          472 
          Stage-
          1 
          map = 
          100
          %,  reduce = 
          0
          %, CumulativeCPU 
          2.73 
          sec 
         
 
          19
          :
          34
          :
          02
          ,
          495 
          Stage-
          1 
          map = 
          100
          %,  reduce = 
          0
          %, CumulativeCPU 
          2.73 
          sec 
         
 
          19
          :
          34
          :
          03
          ,
          512 
          Stage-
          1 
          map = 
          100
          %,  reduce = 
          100
          %,Cumulative CPU 
          2.73 
          sec 
         
 
          MapReduce Total cumulative CPU time: 
          2 
          seconds 
          730 
          msec 
         

          Ended Job = job_201311061424_0003
         

          MapReduce Jobs Launched:
         
 
          Job 
          0
          : Map: 
          1   
          Cumulative CPU: 
          2.73 
          sec   HDFS Read:
          255 
          HDFS Write: 
          39 
          SUCCESS 
         
 
          Total MapReduce CPU Time Spent: 
          2 
          seconds 
          730 
          msec 
         

          OK
         

          row1    value1
         

          row2    value2
         

          //尝试通过HiveServer去查询
         
 
          beeline> !connect jdbc:hive2:
          //test-2:10000 hdfs hdfsorg.apache.hive.jdbc.HiveDriver        
         
 
          Connecting to jdbc:hive2:
          //test-2:10000 
         
 
          Connected to: Hive (version 
          0.10
          .
          0
          ) 
         
 
          Driver: Hive (version 
          0.10
          .
          0
          -cdh4.
          4.0
          ) 
         

          Transaction isolation: TRANSACTION_REPEATABLE_READ
         
 
          0
          : jdbc:hive2:
          //test-2:10000> show databases; 
         

          +----------------+
         

          | database_name  |
         

          +----------------+
         
 
          | 
          default        
          | 
         

          +----------------+
         
 
          1 
          row selected (
          1.483 
          seconds) 
         
 
          0
          : jdbc:hive2:
          //test-2:10000> show tables; 
         

          +--------------------+
         

          |      tab_name      |
         

          +--------------------+
         

          | ext_table_inhbase  |
         

          |test              |
         

          +--------------------+
         
 
          2 
          rows selected (
          0.657 
          seconds) 
         
 
          0
          : jdbc:hive2:
          //test-2:10000> select count(*) from ext_table_inhbase; 
         

          +------+
         

          | _c0  |
         

          +------+
         
 
          | 
          3    
          | 
         

          +------+
         
 
      

     
   

本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1320637，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/476802

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

基于Hiveserver的查询平台Timeout异常排查

线上查询平台刚上线时经常跑一个查询跑到5分钟左右就抛异常了，因为是基于Hiveserver2的，先看一下是否在目标端超时设置有问题. 对于Hiveserver2的超时设置有2个参数来决定的（Hive 0.10），默认值如下： 1 2 3 4 5 6 7 8 9 10 < property > < name >hive.server.read.socket.timeout</ name > < value >10</ value > < description >Timeout for theHiveServer to close the connection if no response from the client in N seconds,defaults to 10 seconds.</ description > </ property > < property > < name >hive.server.tcp.keepalive</ nam...

2017-11-07

652

实时数据之python操作elasticsearch监控数据插入图表分析

例行公事，有些人可能不太了解elasticsearch，下面搜了一段，大家瞅一眼。 Elasticsearch是一款分布式搜索引擎，支持在大数据环境中进行实时数据分析。它基于Apache Lucene文本搜索引擎，内部功能通过ReST API暴露给外部。除了通过HTTP直接访问Elasticsearch，还可以通过支持Java、JavaScript、Python及更多语言的客户端库来访问。它也支持集成Apache Hadoop环境。Elasticsearch在有些处理海量数据的公司中已经有所应用，如GitHub、Foursquare和SoundCloud等。 elasticsearch 他对外提供了rest的http的接口，貌似很强大的样子。但是咱们的一些数据平台市场会对于elasticsearch的数据进行分析，尤其是实时分析。当然不能用 http的方式。比如官网的demo提供的例子：下面是查询，/ceshi 是索引，rui是type，搜索的内容是，title是jones的。 1 curlhttp: //vim.xiaorui.cc:9200/ceshi/rui/_searc...

2017-11-07

489

发表评论

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。