hive0.13用户自建表无权限bug fix-低调大师

hive0.13用户自建表无权限bug fix

2017-11-06 627

最近线上的hive升级到了0.13，遇到不少问题。权限上面，设置了hive.security.authorization.createtable.owner.grants 在hive0.13中，用户自己创建的表也没有权限。通过对源码的分析和debug找到了rc并fix，下面记录下。

1.首先在hive0.11中和hive0.13中分别做建表测试，通过查看数据库中的元数据，发现在hive0.11中如果设置了owner的参数在表创建之后，用户会有这个表的all的权限（具体可以分析db_privs ，tbl_privs表，hive.security.authorization.createtable.owner.grants设置为了all），而在hive0.13中则为空的。

2.通过

 
          hive -hiveconf hive.root.logger=DEBUG,console

对比前后的日志,发现在hive0.11的时候，创建的表的属性中有权限的设置

而在hive0.13中这个是为空的

 
    
      
        
        
          hive0.
          11
          : 
         
 
          14
          /
          07
          /
          16 
          17
          :
          05
          :
          39 
          DEBUG hive.log: DDL: struct ericni4 { string a}
          14
          /
          07
          /
          16 
          17
          :
          05
          :
          39 
          DEBUG 
         
 
           
          lazy.LazySimpleSerDe: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe initialized with: 
         
 
            
          columnNames=[a] columnTypes=[string] separator=[[B
          @5b224686
          ] nullstring=\N  
         
 
            
          lastColumnTakesRest=false14/
          07
          /
          16 
          17
          :
          05
          :
          39 
          INFO metastore.HiveMetaStore: 
          0
          :  
         
 
            
          create_table: Table(tableName:ericni4, dbName:temp, owner:ericni2, createTime:
          1405501539
          , 
         
 
             
          lastAccessTime:
          0
          , retention:
          0
          ,sd:StorageDescriptor(cols:[FieldSchema(name:a,  
         
 
             
          type:string, comment:
          null
          )], location:
          null
          ,  
         
 
             
          inputFormat:org.apache.hadoop.mapred.SequenceFileInputFormat, 
         
 
             
          outputFormat:org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat,  
         
 
             
          compressed:
          false
          , numBuckets:-
          1
          , 
         
 
             
          serdeInfo:SerDeInfo(name:
          null
          , serializationLib:org.apache.hadoop.hive.serde2.lazy. 
         
 
             
          LazySimpleSerDe,parameters:{serialization.format=
          1
          }), bucketCols:[], sortCols:[],  
         
 
             
          parameters:{}, skewedInfo:SkewedInfo(skewedColNames:[], skewedColValues:[],  
         
 
             
          skewedColValueLocationMaps:{}), storedAsSubDirectories:
          false
          ),partitionKeys:[], 
         
 
             
          parameters:{}, viewOriginalText:
          null
          , viewExpandedText:
          null
          , tableType:MANAGED_TABLE, 
         
 
             
          privileges:PrincipalPrivilegeSet(userPrivileges:{ericni2=[PrivilegeGrantInfo(privilege: 
         
 
             
          all, createTime:-
          1
          , grantor:ericni2, grantorType:USER, grantOption:
          true
          )]},  
         
 
             
          groupPrivileges:
          null
          , rolePrivileges:
          null
          )) #hive0.
          11
          创建表的时候增加了这个设置 
         
 
              
         
 
          hive0.
          13 
         
 
          14
          /
          07
          /
          16 
          17
          :
          10
          :
          07 
          DEBUG hive.log: DDL: struct ericni4 { string a}
          14
          /
          07
          /
          16 
          17
          :
          10
          :
          07 
          DEBUG 
         
 
           
          lazy.LazySimpleSerDe: org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe initialized with: 
         
 
            
          columnNames=[a] columnTypes=[string] separator=[[B
          @1667e92a
          ] nullstring=\N  
         
 
            
          lastColumnTakesRest=false14/
          07
          /
          16 
          17
          :
          10
          :
          07 
          INFO metastore.HiveMetaStore: 
          0
          :  
         
 
            
          create_table: Table(tableName:ericni4, dbName:temp, owner:ericni1, createTime:
          1405501807
          , 
         
 
             
          lastAccessTime:
          0
          , retention:
          0
          ,sd:StorageDescriptor(cols:[FieldSchema(name:a,  
         
 
             
          type:string, comment:
          null
          )], location:
          null
          ,  
         
 
             
          inputFormat:org.apache.hadoop.mapred.SequenceFileInputFormat, 
         
 
             
          outputFormat:org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat,  
         
 
             
          compressed:
          false
          , numBuckets:-
          1
          , 
         
 
             
          serdeInfo:SerDeInfo(name:
          null
          , serializationLib:org.apache.hadoop.hive.serde2.lazy 
         
 
             
          .LazySimpleSerDe,parameters:{serialization.format=
          1
          }), bucketCols:[], sortCols:[],  
         
 
             
          parameters:{}, skewedInfo:SkewedInfo(skewedColNames:[], skewedColValues:[],  
         
 
             
          skewedColValueLocationMaps:{}), storedAsSubDirectories:
          false
          ),partitionKeys:[],  
         
 
             
          parameters:{}, viewOriginalText:
          null
          , viewExpandedText:
          null
          , tableType:MANAGED_TABLE) 
         
 
      

     
   

3.会不会是参数没有生效？在hive0.13中注释掉这个设置做对比，发现create_table的属性并没有改变，说明至少在现在的0.13环境下这个参数并没有生效。而在0.11中前后是有变化的。

4.在hive0.11中我们设置一个错误的值来获取堆栈的调用信息：

得到0.11的调用栈：

 
          at org.apache.hadoop.hive.ql.session.CreateTableAutomaticGrant.checkPrivilege(CreateTableAutomaticGrant.java:
          118
          ) 
         
          at org.apache.hadoop.hive.ql.session.CreateTableAutomaticGrant.getGrantorInfoList(CreateTableAutomaticGrant.java:
          97
          ) 
         
          at org.apache.hadoop.hive.ql.session.CreateTableAutomaticGrant.create(CreateTableAutomaticGrant.java:
          52
          ) 
         
          at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:
          275
          )     
         
          at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:
          278
          ) 
         
          at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:
          670
          ) 
         
          at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:
          614
          ) 
         
          at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
         
          at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:
          39
          ) 
         
          at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:
          25
          ) 
         
          at java.lang.reflect.Method.invoke(Method.java:
          597
          ) 
         
          at org.apache.hadoop.util.RunJar.main(RunJar.java:
          208
          )

再来分析源码

在hive0.11中，在初始化session时，调用SessionState的start方法，会直接根据CreateTableAutomaticGrant类设置createTableGrants属性。

 
          SessionState.start:
         
          try 
          { 
         
          startSs. authenticator = HiveUtils.getAuthenticator( 
         
          startSs.getConf(),HiveConf.ConfVars.HIVE_AUTHENTICATOR_MANAGER); 
         
          startSs. authorizer = HiveUtils.getAuthorizeProviderManager( 
         
          startSs.getConf(), HiveConf.ConfVars.HIVE_AUTHORIZATION_MANAGER, 
         
          startSs. authenticator); 
         
          startSs. createTableGrants = CreateTableAutomaticGrant.create(startSs 
         
          .getConf()); 
          //设置owner的相关权限 
         
          } 
          catch 
          (HiveException e) { 
         
          throw 
          new 
          RuntimeException(e); 
         
          }

然后在创建表的时候，调用Hive.createTable的方法

 
          (
          public 
          void 
          createTable(Table tbl, 
          boolean 
          ifNotExists))

 
          public 
          CreateTableAutomaticGrant getCreateTableGrants() { 
         
          return 
          createTableGrants; 
         
          }

而在hive0.13中，即使设置错误也不会有报错产生，通过debug源码发现这里的调用关系有些变化，SessionState的getCreateTableGrants方法调用的是setupAuth方法。

 
          public 
          CreateTableAutomaticGrant getCreateTableGrants() { 
         
          setupAuth(); 
          //调用setupAuth方法设置createTableGrants 
         
          return 
          createTableGrants; 
         
          }

其中setupAuth方法如下：

 
          private 
          void 
          setupAuth() { 
         
          if 
          (authenticator != 
          null
          ) { 
         
          // auth has been initialized 
         
          return
          ; 
         
          } 
         
          try 
          { 
         
          authenticator = HiveUtils.getAuthenticator( conf, 
         
          HiveConf.ConfVars.HIVE_AUTHENTICATOR_MANAGER); 
         
          authenticator.setSessionState( 
          this
          ); 
         
          authorizer = HiveUtils.getAuthorizeProviderManager( conf, 
         
          HiveConf.ConfVars.HIVE_AUTHORIZATION_MANAGER, authenticator, 
          true 
          ); 
         
          if 
          (authorizer == 
          null
          ) { 
          //在authorizer 的取值为null时，才会生成权限 
         
          // if it was null, the new authorization plugin must be specified in 
         
          // config 
         
          HiveAuthorizerFactory authorizerFactory = HiveUtils.getAuthorizerFactory(conf , 
         
          HiveConf.ConfVars.HIVE_AUTHORIZATION_MANAGER); 
         
          authorizerV2 = authorizerFactory.createHiveAuthorizer(
          new 
          HiveMetastoreClientFactoryImpl(), 
         
          conf, authenticator); 
         
          authorizerV2.applyAuthorizationConfigPolicy(conf ); 
         
          // create the create table grants with new config 
         
          createTableGrants = CreateTableAutomaticGrant.create( conf); 
         
          } 
         
          } 
          catch 
          (HiveException e) { 
         
          throw 
          new 
          RuntimeException(e); 
         
          } 
         
          if
          (LOG.isDebugEnabled()){ 
         
          Object authorizationClass = getAuthorizationMode() == AuthorizationMode. V1 ? 
         
          getAuthorizer() : getAuthorizerV2(); 
         
          LOG.debug(
          "Session is using authorization class " 
          + authorizationClass.getClass()); 
         
          } 
         
          return
          ; 
         
          }

可以看到在在authorizer 的取值为null时，才会有生产ower权限的操作（CreateTableAutomaticGrant.create(conf)）

authorizer 的值由参数hive.security.authorization.manager获得，在hive0.13里面这个是有默认值的：

 
          HIVE_AUTHORIZATION_MANAGER(
          "hive.security.authorization.manager"
          , 
         
          "org.apache.hadoop.hive.ql.security.authorization.DefaultHiveAuthorizationProvider"
          ),

这样就导致在setupAuth方法中并不会通过CreateTableAutomaticGrant.create(conf)来设置owner的权限，rc找到了。fix也比较简单。

 
          try 
          { 
         
          authenticator = HiveUtils.getAuthenticator( conf, 
         
          HiveConf.ConfVars.HIVE_AUTHENTICATOR_MANAGER); 
         
          authenticator.setSessionState( 
          this
          ); 
         
          authorizer = HiveUtils.getAuthorizeProviderManager( conf, 
         
          HiveConf.ConfVars.HIVE_AUTHORIZATION_MANAGER, authenticator, 
          true 
          ); 
         
          createTableGrants = CreateTableAutomaticGrant.create(conf); 
          //不管authorizer 是否为空都设置相关权限 
         
          if 
          (authorizer == 
          null
          ) {  
         
          .......

bug fix之后，使用错误的参数，堆栈如下，说明生效了：

 
          14
          /
          07
          /
          18 
          12
          :
          33
          :
          38 
          WARN session.SessionState: authenticator is 
          null 
          ,
          return
          ,auth has been initialized 
         
          14
          /
          07
          /
          18 
          12
          :
          33
          :
          38 
          WARN session.CreateTableAutomaticGrant: Privilege is 
          null 
         
          FAILED: RuntimeException org.apache.hadoop.hive.ql.metadata.HiveException: Privilege alldddd is not found.
         
          14
          /
          07
          /
          18 
          12
          :
          33
          :
          38 
          ERROR ql.Driver: FAILED: RuntimeException org.apache.hadoop.hive.ql.metadata.HiveException: Privilege alldddd is not found. 
         
          java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Privilege alldddd is not found.
         
          at org.apache.hadoop.hive.ql.session.SessionState.setupAuth(SessionState.java:
          410
          ) 
         
          at org.apache.hadoop.hive.ql.session.SessionState.getAuthorizationMode(SessionState.java:
          979
          ) 
         
          at org.apache.hadoop.hive.ql.session.SessionState.isAuthorizationModeV2(SessionState.java:
          990
          ) 
         
          at org.apache.hadoop.hive.ql.Driver.doAuthorization(Driver.java:
          508
          ) 
         
          at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:
          461
          ) 
         
          at org.apache.hadoop.hive.ql.Driver.compile(Driver.java:
          322
          ) 
         
          at org.apache.hadoop.hive.ql.Driver.compileInternal(Driver.java:
          975
          ) 
         
          at org.apache.hadoop.hive.ql.Driver.runInternal(Driver.java:
          1040
          ) 
         
          at org.apache.hadoop.hive.ql.Driver.run(Driver.java:
          911
          ) 
         
          at org.apache.hadoop.hive.ql.Driver.run(Driver.java:
          901
          ) 
         
          at org.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java:
          268
          ) 
         
          at org.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java:
          220
          ) 
         
          at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:
          423
          ) 
         
          at org.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java:
          359
          ) 
         
          at org.apache.hadoop.hive.cli.CliDriver.processReader(CliDriver.java:
          456
          ) 
         
          at org.apache.hadoop.hive.cli.CliDriver.processFile(CliDriver.java:
          466
          ) 
         
          at org.apache.hadoop.hive.cli.CliDriver.processInitFiles(CliDriver.java:
          502
          ) 
         
          at org.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java:
          739
          ) 
         
          at org.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java:
          686
          ) 
         
          at org.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java:
          625
          ) 
         
          at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 
         
          at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:
          39
          ) 
         
          at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:
          25
          ) 
         
          at java.lang.reflect.Method.invoke(Method.java:
          597
          ) 
         
          at org.apache.hadoop.util.RunJar.main(RunJar.java:
          208
          ) 
         
          Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Privilege alldddd is not found.
         
          at org.apache.hadoop.hive.ql.session.CreateTableAutomaticGrant.validatePrivilege(CreateTableAutomaticGrant.java:
          129
          ) 
         
          at org.apache.hadoop.hive.ql.session.CreateTableAutomaticGrant.getGrantorInfoList(CreateTableAutomaticGrant.java:
          105
          ) 
         
          at org.apache.hadoop.hive.ql.session.CreateTableAutomaticGrant.create(CreateTableAutomaticGrant.java:
          57
          ) 
         
          at org.apache.hadoop.hive.ql.session.SessionState.setupAuth(SessionState.java:
          392
          ) 
         
          ... 
          24 
          more

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1440128，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434510

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hive执行流程(1)-hive入口CliDriver类分析

在运行hive cli命令时，调用hadoop jar hive-cli-0.13.1.jar org.apache.hadoop.hive.cli.CliDriver xxxx 命令,而org.apache.hadoop.util.RunJar方法其实是封装了反射调用，最终是调用org.apache.hadoop.hive.cli.CliDriver类的main方法. CliDriver类是hive的入口类。首先CliDriver类会通过OptionsProcessor类来parse输入的命令。比如解析-e,-s,-h等参数，然后把对应的值存放到对应的CliSessionState类的属性中，最后应用于CliDriver类中。比如在executeDriver方法中，根据CliSessionState的属性对命令进行处理 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 CliDrivercli= new CliDriver(); cli.setHiveVariables(oproc.getHiveVariables()); //有...

2017-11-07

579

yarn RM crash问题一例

今天收到线上的resource manager报警：报错信息如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 2014 - 07 - 08 13 : 22 : 54 , 118 INFOorg.apache.hadoop.yarn.util.AbstractLivelinessMonitor:Expired:xxxx: 53356 Timedoutafter 600 secs 2014 - 07 - 08 13 : 22 : 54 , 118 INFOorg.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl:DeactivatingNodexxxx: 53356 asitisnowLOST 2014 - 07 - 08 13 : 22 : 54 , 118 INFOorg.apache.hadoop.yarn.server.resourcemanager.rmnode.RMNodeImpl:xxxx: 53356 NodeTransitionedfromUNHEALTHYtoLOST 2014 -...

2017-11-07

819

发表评论

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。