实现hive proxy2-hive操作hadoop时使用用户的地方-低调大师

实现hive proxy2-hive操作hadoop时使用用户的地方

2017-11-06 659

hive权限有两层，hive本身的验证和hadoop的验证。自定义hive的proxy功能时，hive层面的相关验证更改在
http://caiguangguang.blog.51cto.com/1652935/1587251

中已经提过，这里说下hive和hadoop以及本地文件系统相关的几个出现用户的地方：
1.job的log文件

session初始化时会初始化日志文件，主要在SessionState的start方法中：

 
        public 
        static 
        SessionState start(SessionState startSs) { 
       
        setCurrentSessionState(startSs); 
       
        if
        (startSs.hiveHist == 
        null
        ){ 
       
        if 
        (startSs.getConf().getBoolVar(HiveConf.ConfVars.HIVE_SESSION_HISTORY_ENABLED)) {  
       
        // 如果设置hive.session.history.enabled为true，则会初始化日志文件,默认为false 
       
        startSs.hiveHist = 
        new 
        HiveHistoryImpl(startSs);   
        // 由HiveHistoryImpl 产生日志文件 
       
        }
        else 
        { 
       
        //Hive history is disabled, create a no-op proxy 
       
        startSs.hiveHist = HiveHistoryProxyHandler.getNoOpHiveHistoryProxy(); 
       
        } 
       
        } 
       
        ...

再来看org.apache.hadoop.hive.ql.history.HiveHistoryImpl类的构造函数，定义了日志的路径，如果日志目录不存在，则创建目录：

 
        public 
        HiveHistoryImpl(SessionState ss) { 
       
        try 
        { 
       
        console = 
        new 
        LogHelper(LOG); 
       
        String conf_file_loc = ss.getConf().getVar( 
       
        HiveConf.ConfVars.HIVEHISTORYFILELOC);  
       
        //HIVEHISTORYFILELOC("hive.querylog.location", System.getProperty("java.io.tmpdir") + File.separator + System.getProperty("user.name")), 
       
        默认值是/tmp/${user.name}/目录 
       
        if 
        ((conf_file_loc == 
        null
        ) || conf_file_loc.length() == 
        0
        ) { 
       
        console.printError(
        "No history file location given"
        ); 
       
        return
        ; 
       
        } 
       
        // Create directory 
       
        File histDir = 
        new 
        File(conf_file_loc); 
       
        if 
        (!histDir.exists()) { 
        //创建日志目录 
       
        if 
        (!histDir.mkdirs()) { 
       
        console.printError(
        "Unable to create log directory " 
        + conf_file_loc); 
       
        return
        ; 
       
        } 
       
        } 
       
        do 
        { 
       
        histFileName = conf_file_loc + File.separator + 
        "hive_job_log_" 
        + ss.getSessionId() + 
        "_" 
       
        + Math.abs(randGen.nextInt()) + 
        ".txt"
        ;  
       
        // 日志文件的完整路径 比如 /tmp/hdfs/hive_job_log_4f96f470-a6c1-41ae-9d30-def308e5412f_564454280.txt
       
        /tmp/hdfs/hive_job_log_sessionid_随机数.txt
       
        } 
        while 
        (! 
        new 
        File(histFileName).createNewFile()); 
       
        console.printInfo(
        "Hive history file=" 
        + histFileName); 
       
        histStream = 
        new 
        PrintWriter(histFileName); 
       
        HashMap<String, String> hm = 
        new 
        HashMap<String, String>(); 
       
        hm.put(Keys.SESSION_ID.name(), ss.getSessionId()); 
       
        log(RecordTypes.SessionStart, hm); 
       
        } 
        catch 
        (IOException e) { 
       
        console.printError(
        "FAILED: Failed to open Query Log : " 
        + histFileName 
       
        + 
        " " 
        + e.getMessage(), 
        "\n" 
       
        + org.apache.hadoop.util.StringUtils.stringifyException(e)); 
       
        } 
       
        }

2.job的中间文件
hive执行过程中保存在hdfs的路径，由hive.exec.scratchdir和hive.exec.local.scratchdir定义
scratch文件是在org.apache.hadoop.hive.ql.Context类的构造方法中获取
关于scratch目录的相关配置：

 
        SCRATCHDIR(
        "hive.exec.scratchdir"
        , 
        "/tmp/hive-" 
        + System.getProperty(
        "user.name"
        )),   
       
        //默认值为/tmp/hive-当前登录用户
       
        LOCALSCRATCHDIR(
        "hive.exec.local.scratchdir"
        , System.getProperty(
        "java.io.tmpdir"
        ) + File.separator + System.etProperty(
        "user.name"
        )), 
       
        SCRATCHDIRPERMISSION(
        "hive.scratch.dir.permission"
        , 
        "700"
        ),

在org.apache.hadoop.hive.ql.Context类的构造方法中

 
        // scratch path to use for all non-local (ie. hdfs) file system tmp folders 
       
        private 
        final 
        Path nonLocalScratchPath; 
       
        // scratch directory to use for local file system tmp folders 
       
        private 
        final 
        String localScratchDir ; 
       
        // the permission to scratch directory (local and hdfs ) 
       
        private 
        final 
        String scratchDirPermission ; 
       
        ...
       
        public 
        Context(Configuration conf, String executionId)  { 
       
        this
        .conf = conf; 
       
        this
        .executionId = executionId; 
       
        // local & non-local tmp location is configurable. however it is the same across 
       
        // all external file systems 
       
        nonLocalScratchPath = 
       
        new 
        Path(HiveConf.getVar(conf, HiveConf.ConfVars.SCRATCHDIR), 
       
        executionId); 
       
        localScratchDir = 
        new 
        Path(HiveConf.getVar(conf, HiveConf.ConfVars.LOCALSCRATCHDIR), 
       
        executionId).toUri().getPath(); 
       
        scratchDirPermission= HiveConf.getVar(conf, HiveConf.ConfVars.SCRATCHDIRPERMISSION); 
       
        }

在Driver的compile方法中会初始化这个对象。

3.job提交的用户

 
        JobClient的init方法
       
        UserGroupInformation clientUgi; 
       
        ....
       
        public 
        void 
        init( JobConf conf) 
        throws 
        IOException { 
       
        setConf(conf); 
       
        cluster = 
        new 
        Cluster(conf); 
       
        clientUgi = UserGroupInformation.getCurrentUser(); 
       
        }

这里增加proxy比较容易，用UserGroupInformation的createRemoteUser方法即可：
比如把init方法改为：

 
        public 
        void 
        init(JobConf conf) 
        throws 
        IOException { 
       
        setConf(conf); 
       
        cluster = 
        new 
        Cluster(conf); 
       
        if 
        (conf.getBoolean(
        "use.custom.proxy"
        ,
        false
        )) 
       
        { 
       
        String proxyUser = conf.get(
        "custom.proxy.user"
        ); 
       
        clientUgi = UserGroupInformation.createRemoteUser(proxyUser); 
       
        }
        else
        { 
       
        clientUgi = UserGroupInformation.getCurrentUser(); 
       
        } 
       
        LOG.warn(
        "clientUgi is " 
        + clientUgi); 
       
        }

 
  本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1589874，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434340

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

hive Context类和DriverContext类

在hive的源码中经常可以看到Context类和DriverContext类，咋一看感觉这两个意思差不多，其实其作用区别还是蛮大的： org.apache.hadoop.hive.ql.Context类存储job的上下文信息，一个job创建一个Context对象，job运行完后，调用clear方法进行清除 1）初始化/创建/删除中间目录中间的目录包括local job的和非local job的 1 2 3 4 5 6 7 protected int pathid= 10000 ; private static final StringMR_PREFIX= "-mr-" ; //对应getMRTmpPath方法 private static final StringEXT_PREFIX= "-ext-" ; //对应getLocalTmpPath方法 private static final StringLOCAL_PREFIX= "-local-" ; //对应getExternalTmpPath方法 private StringnextPathId(){ return Int...

2017-11-06

804

最近线上的的nm 有crash的问题，查看错误日志： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 2014 - 06 - 19 00 : 01 : 22 , 308 FATAL org.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.ResourceLocalizationService:Error:Shuttingdownjava.util. ConcurrentModificationException atjava.util.LinkedList$ListItr.checkForComodification(LinkedList.java: 761 ) atjava.util.LinkedList$ListItr.next(LinkedList.java: 696 ) atorg.apache.hadoop.yarn.server.nodemanager.containermanager.localizer.Lo...

2017-11-06

833

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。