实现hive proxy1-hive认证实现-低调大师

实现hive proxy1-hive认证实现

2017-11-21 633

扩展HadoopDefaultAuthenticator类的setConf方法，实现可以代理用户运行的功能，主要需求如下：

1.不传入参数时，按本用户执行

2.传入参数时，按传入参数执行

3.对设置为hdfs用户进行限制

主要更改HiveConf类和HadoopDefaultAuthenticator类

HiveConf增加：

 
        HIVE_USE_CUSTOM_PROXY(
        "use.custom.proxy"
        , 
        false
        ), 
       
        HIVE_CUSTOM_PROXY_USER(
        "custom.proxy.user"
        , 
        ""
        ),

更改HadoopDefaultAuthenticator 的setConf方法：

 
        protected 
        String proxyUser; 
       
        ....
       
        public 
        void 
        setConf(Configuration conf) { 
       
        UserGroupInformation ugi = 
        null
        ; 
       
        if
        (HiveConf.getBoolVar(conf,HiveConf.ConfVars.HIVE_USE_CUSTOM_PROXY)){ 
       
        proxyUser = HiveConf.getVar(conf, HiveConf.ConfVars.HIVE_CUSTOM_PROXY_USER); 
       
        if
        ((
        ""
        ).equals(proxyUser)||proxyUser == 
        null
        ||(
        "hdfs"
        ).equals(proxyUser)){ 
       
        throw 
        new 
        RuntimeException( 
       
        "User proxy user, but set the wrong username [" 
        +proxyUser+
        "]"
        ); 
       
        } 
       
        try 
        { 
       
        ugi = ShimLoader.getHadoopShims().createRemoteUser(proxyUser,
        null
        ); 
       
        } 
        catch 
        (Exception e) { 
       
        throw 
        new 
        RuntimeException(e); 
       
        } 
       
        if 
        (ugi == 
        null
        ) { 
       
        throw 
        new 
        RuntimeException( 
       
        "Can not initialize ProxyUserAuthenticator for user [" 
        +proxyUser+
        "]"
        ); 
       
        } 
       
        this
        .userName = ShimLoader.getHadoopShims().getShortUserName(ugi); 
       
        if 
        (ugi.getGroupNames() != 
        null
        ) { 
       
        this
        .groupNames = Arrays.asList(ugi.getGroupNames()); 
       
        } 
       
        }
        else
        { 
       
        try 
        { 
       
        ugi = ShimLoader.getHadoopShims().getUGIForConf(conf); 
       
        } 
        catch 
        (Exception e) { 
       
        throw 
        new 
        RuntimeException(e); 
       
        } 
       
        if 
        (ugi == 
        null
        ) { 
       
        throw 
        new 
        RuntimeException( 
       
        "Can not initialize HadoopDefaultAuthenticator."
        ); 
       
        } 
       
        this
        .userName = ShimLoader.getHadoopShims().getShortUserName(ugi); 
       
        if 
        (ugi.getGroupNames() != 
        null
        ) { 
       
        this
        .groupNames = Arrays.asList(ugi.getGroupNames()); 
       
        } 
       
        } 
       
        }

使用方法：

hive -hiveconf use.custom.proxy=true -hiveconf custom.proxy.user=xxx

1）use.custom.proxy 默认值为 false，即使用登录用户做权限验证

2）custom.proxy.user 不能设置为空和 hdfs

测试结果：

 
        hive> show grant user ericni on database 
        default
        ; 
        //用权限的用户 
       
        OK
       
        default                         
        ericni  USER    Select  
        false   
        1417681722000   
        hdfs 
       
        hive> show grant user ericni1 on database 
        default
        ; 
        //无权限的用户 
       
        OK

有权限的用户 proxy到无权限用户测试, 报没有权限错误：

 
  
    
      
     
        hive  -i /home/hdfs/.hiverc2 -hiveconf hive.root.logger=WARN,console  
       
 
        -hiveconf use.custom.proxy=
        true 
        -hiveconf  custom.proxy.user=ericni1 
       
 
        14
        /
        12
        /
        05 
        15
        :
        10
        :
        35 
        WARN ExecReducer: in ShimLoader getHadoopShims hadoopShims is 
        class 
        org.apache.hadoop.hive.shims.Hadoop23Shims 
       
 
        Authorization failed:No privilege 
        'Select' 
        found 
        for 
        inputs { database:
        default
        , table:dual}. Use SHOW GRANT to get more details. 
       
 
        14
        /
        12
        /
        05 
        15
        :
        10
        :
        36 
        ERROR ql.Driver: Authorization failed:No privilege 
        'Select' 
        found 
        for 
        inputs { database:
        default
        , table:dual}. Use SHOW GRANT to get more details. 
       
 
    

   
 

无权限的用户 proxy到有权限用户测试, 查询正常：

 
        hive> select 
        1 
        from 
        default
        .dual; 
        //没有设置 proxy的时候，没有权限查询 
       
        Authorization failed:No privilege 
        'Select' 
        found 
        for 
        inputs { database:
        default
        , table:dual}. Use SHOW GRANT to get more details. 
       
        hive -hiveconf use.custom.proxy=
        true 
        -hiveconf  custom.proxy.user=ericni 
       
        //设置代理后，查询正常

仍然存在的问题：

1)Hive向hdfs 写入数据的用户和这个用户是分开的，暂时这块代码还没有动，后面继续跟进

2)代理用户运行任务会有安全的问题，需要加个map，限制用户可以代理的用户

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1587251，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434356

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hive2solr问题小结

搞了一段时间，hive2solr的job终于可以稳定的跑了，实现使用hive向solr插数据，主要是实现RecordWriter接口，重写write方法和close方法。下面对遇到的问题一一列出： 1.数据覆盖问题，使用原子更新参考：http://caiguangguang.blog.51cto.com/1652935/1599137 2.重复构建solrserver和solrtable对象问题，使用static在初始化的时候构建，后面直接调用构建： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 public static Map<Integer,SolrServer>solrServers= new HashMap<Integer,SolrServer>(); public static Map<Integer,SolrTable>solrTables= new HashMap<Integer,SolrTable>(); public static String[]ipa...

2017-11-21

649

hive启动debug问题

最近在debug hive的一个bug,之前都是使用打印日志来跟踪源码，这种方式效率比较低（每次更改了源码都要重新编译并替换线上的jar包）,java的应用可以支持remote debug的，hive也不例外，主要是通过hive --debug来实现. 在运行hive --debug时遇到如下问题： 1 2 3 ERROR:Cannotload this JVMTIagenttwice,checkyourjavacommandline for duplicatejdwpoptions. ErroroccurredduringinitializationofVM agentlibraryfailedtoinit:jdwp 根据错误信息，可以看到是由于重复的jdwp参数导致。hive其实是一个shell脚本，追踪其运行情况: 1 cd ${HIVE_HOME} /bin ;sh-x. /hive --debug 查看hive --debug的调用情况： 1 2 3 4 5 6 7 8 9 if [ "$DEBUG" ]; then if [ "$HELP" ]; then debug...

2017-11-21

1128

发表评论

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。