实现hive proxy4-scratch目录权限问题解决-低调大师

实现hive proxy4-scratch目录权限问题解决

2017-11-13 720

hive在hdfs中的job中间文件是根据当前登陆用户产生的，其默认值为/tmp/hive-${user.name}，这就导致实现proxy的功能时会遇到临时文件的权限问题，比如在实现了proxy功能后，以超级用户hdfs proxy到普通用户user时，在hdfs中的临时文件在/tmp/hive-user目录中，而目录的属主是hdfs,这时再以普通用户user运行job时，对这个目录就会有权限问题，下面说下这里proxy的实现和解决权限问题的方法：
1.实现proxy功能
更改org.apache.hadoop.hive.ql.Context类的构造方法：

 
        public 
        Context(Configuration conf, String executionId)  { 
       
        this
        .conf = conf; 
       
        this
        .executionId = executionId; 
       
        if
        (HiveConf.getBoolVar(conf,HiveConf.ConfVars.HIVE_USE_CUSTOM_PROXY)){ 
       
        String proxyUser = HiveConf.getVar(conf, HiveConf.ConfVars.HIVE_CUSTOM_PROXY_USER); 
       
        LOG.warn(
        "use custom proxy,gen Scratch path,proxy user is " 
        + proxyUser); 
       
        if
        ((
        ""
        ).equals(proxyUser)||proxyUser == 
        null
        ||(
        "hdfs"
        ).equals(proxyUser)){ 
       
        nonLocalScratchPath = 
        new 
        Path(HiveConf.getVar(conf, HiveConf.ConfVars.SCRATCHDIR),executionId); 
       
        localScratchDir = 
        new 
        Path(HiveConf.getVar(conf, HiveConf.ConfVars.LOCALSCRATCHDIR),executionId).toUri().getPath(); 
       
        }
        else
        { 
       
        localScratchDir = 
        new 
        Path((System.getProperty(
        "java.io.tmpdir"
        ) + File.separator + proxyUser),executionId).toUri().getPath(); 
       
        nonLocalScratchPath = 
        new 
        Path((
        "/tmp/hive-" 
        + proxyUser),executionId); 
       
        } 
       
        }
        else
        { 
       
        nonLocalScratchPath = 
        new 
        Path(HiveConf.getVar(conf, HiveConf.ConfVars.SCRATCHDIR),executionId); 
       
        localScratchDir = 
        new 
        Path(HiveConf.getVar(conf, HiveConf.ConfVars.LOCALSCRATCHDIR),executionId).toUri().getPath(); 
       
        } 
       
        LOG.warn(
        "in Context init function nonLocalScratchPath is " 
        + nonLocalScratchPath); 
       
        LOG.warn(
        "in Context init function localScratchPath is " 
        + localScratchDir); 
       
        scratchDirPermission= HiveConf.getVar(conf, HiveConf.ConfVars.SCRATCHDIRPERMISSION); 
       
        }

2.权限问题的解决
在上面的代码中可以看到scratchDirPermission的设置，这个是指创建的目录的权限，默认是700，因为是中间文件，我们可以把权限设置的大一点，比如777，在设置了777之后，却发现目录的权限是755.
根据报错的堆栈可以看到方法在Context中调用的情况:

 
        getExternalTmpPath--->getExternalScratchDir-->getScratchDir-->Utilities.createDirsWithPermission

(目录不存在时，根据HiveConf.ConfVars.SCRATCHDIRPERMISSION的设置创建hdfs tmp目录)
看下getScratchDir方法：

 
        private 
        final 
        Map<String, Path> fsScratchDirs = 
        new 
        HashMap<String, Path>(); 
       
        .....
       
        private 
        Path getScratchDir(String scheme, String authority, 
       
        boolean 
        mkdir, String scratchDir) { 
        // 如果是explain语句mkdir为false 
       
        String fileSystem =  scheme + 
        ":" 
        + authority; 
       
        Path dir = fsScratchDirs.get(fileSystem + 
        "-" 
        + TaskRunner.getTaskRunnerID()); 
       
        if 
        (dir == 
        null
        ) { 
       
        Path dirPath = 
        new 
        Path(scheme, authority, 
       
        scratchDir + 
        "-" 
        + TaskRunner.getTaskRunnerID()); 
       
        if 
        (mkdir) { 
       
        try 
        { 
       
        FileSystem fs = dirPath.getFileSystem( conf); 
       
        dirPath = 
        new 
        Path(fs.makeQualified(dirPath).toString()); 
       
        FsPermission fsPermission = 
        new 
        FsPermission(Short.parseShort(scratchDirPermission.trim(), 
        8
        ));  
       
        // 目录权限由HiveConf.ConfVars.SCRATCHDIRPERMISSION 设置
       
        if 
        (!Utilities.createDirsWithPermission(conf , dirPath, fsPermission)) { 
       
        throw 
        new 
        RuntimeException(
        "Cannot make directory: " 
       
        + dirPath.toString()); 
       
        } 
       
        if 
        (isHDFSCleanup ) { 
       
        fs.deleteOnExit(dirPath); 
       
        } 
       
        } 
        catch 
        (IOException e) { 
       
        throw 
        new 
        RuntimeException (e); 
       
        } 
       
        } 
       
        dir = dirPath; 
       
        fsScratchDirs.put(fileSystem + 
        "-" 
        + TaskRunner.getTaskRunnerID(), dir); 
       
        } 
       
        return 
        dir; 
       
        }

调用Utilities.createDirsWithPermission方法时，传入的目录的权限（由HiveConf.ConfVars.SCRATCHDIRPERMISSION 设置）默认是700
org.apache.hadoop.hive.ql.exec.Utilities类的createDirsWithPermission方法内容如下：

 
        public 
        static 
        boolean 
        createDirsWithPermission(Configuration conf, Path mkdir, 
       
        FsPermission fsPermission) 
        throws 
        IOException { 
       
        boolean 
        recursive = 
        false
        ;  
       
        if 
        (SessionState.get() != 
        null
        ) { 
       
        recursive = SessionState.get().isHiveServerQuery() && 
       
        conf.getBoolean(HiveConf.ConfVars.HIVE_SERVER2_ENABLE_DOAS.varname, 
       
        HiveConf.ConfVars.HIVE_SERVER2_ENABLE_DOAS.defaultBoolVal);  
       
        //如果是来自hiverserver的请求，并且开启了doas，recursive为true,权限设置为777,umask 000 
       
        fsPermission = 
        new 
        FsPermission((
        short
        )
        00777
        ); 
       
        } 
       
        // if we made it so far without exception we are good! 
       
        return 
        createDirsWithPermission(conf, mkdir, fsPermission, recursive); 
        //默认recursive为false 
       
        }
       
        .....
       
        public 
        static 
        boolean 
        createDirsWithPermission(Configuration conf, Path mkdirPath, 
       
        FsPermission fsPermission, 
        boolean 
        recursive) 
        throws 
        IOException { 
       
        String origUmask = 
        null
        ; 
       
        LOG.warn(
        "Create dirs " 
        + mkdirPath + 
        " with permission " 
        + fsPermission + 
        " recursive " 
        + 
       
        recursive); 
       
        if 
        (recursive) { 
        //如果recursive为true,origUmask 为000，否则为null 
       
        origUmask = conf.get(
        "fs.permissions.umask-mode"
        ); 
       
        // this umask is required because by default the hdfs mask is 022 resulting in 
       
        // all parents getting the fsPermission & !(022) permission instead of fsPermission 
       
        conf.set(
        "fs.permissions.umask-mode"
        , 
        "000"
        );  
       
        } 
       
        FileSystem fs = ShimLoader.getHadoopShims().getNonCachedFileSystem(mkdirPath.toUri(), conf); 
       
        LOG.warn(
        "fs.permissions.umask-mode is " 
        + conf.get(
        "fs.permissions.umask-mode"
        ));  
        //默认为022 
       
        boolean 
        retval = 
        false
        ; 
       
        try 
        { 
       
        retval = fs.mkdirs(mkdirPath, fsPermission); 
       
        resetConfAndCloseFS(conf, recursive, origUmask, fs);  
       
        //这里因为recursive为false,导致不会重置fs.permissions.umask-mode的配置， 
       
        即fs.permissions.umask-mode为
        022
        ，因此导致即使设置了权限为
        777
        ，创建的目录权限最终还是为
        755 
       
        } 
        catch 
        (IOException ioe) { 
       
        try 
        { 
       
        resetConfAndCloseFS(conf, recursive, origUmask, fs); 
       
        } 
       
        catch 
        (IOException e) { 
       
        // do nothing - double failure 
       
        } 
       
        } 
       
        return 
        retval; 
       
        }

hdfs中关于fs.permissions.umask-mode的配置，默认是002

 
        public 
        static 
        final 
        String  FS_PERMISSIONS_UMASK_KEY = 
        "fs.permissions.umask-mode"
        ; 
       
        public 
        static 
        final 
        int     
        FS_PERMISSIONS_UMASK_DEFAULT = 
        0022
        ;

为了实现可以创建777权限的临时文件目录，更改createDirsWithPermission方法如下：

 
        public 
        static 
        boolean 
        createDirsWithPermission(Configuration conf, Path mkdir, 
       
        FsPermission fsPermission) 
        throws 
        IOException { 
       
        boolean 
        recursive = 
        false
        ;  
       
        if 
        (SessionState.get() != 
        null
        ) { 
       
        recursive = (SessionState.get().isHiveServerQuery() && 
       
        conf.getBoolean(HiveConf.ConfVars.HIVE_SERVER2_ENABLE_DOAS.varname, 
       
        HiveConf.ConfVars.HIVE_SERVER2_ENABLE_DOAS.defaultBoolVal))||(HiveConf.getBoolVar(conf,HiveConf.ConfVars.HIVE_USE_CUSTOM_PROXY));  
       
        fsPermission = 
        new 
        FsPermission((
        short
        )
        00777
        ); 
       
        } 
       
        // if we made it so far without exception we are good! 
       
        return 
        createDirsWithPermission(conf, mkdir, fsPermission, recursive);  
       
        }

这样，就可以创建出777的hdfs目录了。

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1589879，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/434338

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

实现hive proxy3-日志目录权限问题解决

使用proxy之后，目录名为proxy之后的用户名目录，但是生成的文件属主是当前登陆用户，导致不能正常写入，日志目录的创建在org.apache.hadoop.hive.ql.history.HiveHistoryImpl类中，更改后的构造方法（增加了proxy之后的代码）： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 public HiveHistoryImpl(SessionStatess){ try { console= new LogHelper(LOG); if (ss.getConf().getBoolVar(HiveConf.ConfVars.HIVE_USE_CUSTOM_PROXY)){ LOG.warn( "usercustomproxy,genhistorylogfile" ); proxyUser=ss.getConf().getVar(HiveConf.C...

2017-11-13

793

hive hook限制grant权限

hive中有个比较严重的bug，默认情况下任何用户都可以运行grant命令来做授权操作在Driver.compile方法中，可以增加对AST的hook(hive可以有很多hook，后面分析hive hook的类型和使用阶段)，用来做一些forbidden的操作： compile相关的内容如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 BaseSemanticAnalyzersem=SemanticAnalyzerFactory.get(conf,tree); List<HiveSemanticAnalyzerHook>saHooks= getHooks(HiveConf.ConfVars.SEMANTIC_ANALYZER_HOOK, HiveSemanticAnalyzerHook. class ); //获取hive.semantic.analyzer.hook的设置，可以是多项，中间以逗号分隔 //Dosemanticanalysisandplangeneration if (saHooks!...

2017-11-13

617

发表评论

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源，继承了IntelliJ IDEA强大的JS部分的功能。