首页 文章 精选 留言 我的

精选列表

搜索[权限控制],共10014篇文章
优秀的个人博客,低调大师

hive hook限制grant权限

hive中有个比较严重的bug,默认情况下任何用户都可以运行grant命令来做授权操作 在Driver.compile方法中,可以增加对AST的hook(hive可以有很多hook,后面分析hive hook的类型和使用阶段),用来做一些forbidden的操作: compile相关的内容如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 BaseSemanticAnalyzersem=SemanticAnalyzerFactory.get(conf,tree); List<HiveSemanticAnalyzerHook>saHooks= getHooks(HiveConf.ConfVars.SEMANTIC_ANALYZER_HOOK, HiveSemanticAnalyzerHook. class ); //获取hive.semantic.analyzer.hook的设置,可以是多项,中间以逗号分隔 //Dosemanticanalysisandplangeneration if (saHooks!= null ){ HiveSemanticAnalyzerHookContexthookCtx= new HiveSemanticAnalyzerHookContextImpl(); hookCtx.setConf(conf); hookCtx.setUserName(userName); for (HiveSemanticAnalyzerHookhook:saHooks){ tree=hook.preAnalyze(hookCtx,tree); } sem.analyze(tree,ctx); hookCtx.update(sem); for (HiveSemanticAnalyzerHookhook:saHooks){ hook.postAnalyze(hookCtx,sem.getRootTasks()); } } else { sem.analyze(tree,ctx); } 即,compile阶段通过获取hive.semantic.analyzer.hook的设置,来获取对应的hook方法,然后逐一应用到ast中。 具体的代码如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 import org.apache.hadoop.hive.ql.parse.ASTNode; import org.apache.hadoop.hive.ql.parse.AbstractSemanticAnalyzerHook; import org.apache.hadoop.hive.ql.parse.HiveParser; import org.apache.hadoop.hive.ql.parse.HiveSemanticAnalyzerHookContext; import org.apache.hadoop.hive.ql.parse.SemanticException; import org.apache.hadoop.hive.ql.session.SessionState; public class MyAuthHook extends AbstractSemanticAnalyzerHook{ private static Stringadmin="hdfs; @Override public ASTNodepreAnalyze(HiveSemanticAnalyzerHookContextcontext, ASTNodeast) throws SemanticException{ switch (ast.getToken().getType()){ case HiveParser.TOK_CREATEDATABASE: case HiveParser.TOK_DROPDATABASE: case HiveParser.TOK_CREATEROLE: case HiveParser.TOK_DROPROLE: case HiveParser.TOK_GRANT: case HiveParser.TOK_REVOKE: case HiveParser.TOK_GRANT_ROLE: case HiveParser.TOK_REVOKE_ROLE: StringuserName= null ; if (SessionState.get()!= null &&SessionState.get().getAuthenticator()!= null ){ userName=SessionState.get().getAuthenticator().getUserName(); } if (!admin.equalsIgnoreCase(userName)){ throw new SemanticException(userName + "can'tuseADMINoptions,except" +admin+ "." ); } break ; default : break ; } return ast; } } 测试一般用户的grant命令: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 FAILED:SemanticExceptionUser:ericniisn'tADMIN,pleaseask for hdfs. 14 / 12 / 04 16 : 24 : 41 ERRORql.Driver:FAILED:SemanticExceptionUser:ericniisn'tADMIN,pleaseask for hdfs. org.apache.hadoop.hive.ql.parse.SemanticException:User:ericniisn'tADMIN,pleaseask for hdfs. atcom.vipshop.hive.plugin.AuthHook.preAnalyze(AuthHook.java: 44 ) atorg.apache.hadoop.hive.ql.Driver.compile(Driver.java: 433 ) atorg.apache.hadoop.hive.ql.Driver.compile(Driver.java: 329 ) atorg.apache.hadoop.hive.ql.Driver.compileInternal(Driver.java: 1002 ) atorg.apache.hadoop.hive.ql.Driver.runInternal(Driver.java: 1075 ) atorg.apache.hadoop.hive.ql.Driver.run(Driver.java: 934 ) atorg.apache.hadoop.hive.ql.Driver.run(Driver.java: 921 ) atorg.apache.hadoop.hive.cli.CliDriver.processLocalCmd(CliDriver.java: 281 ) atorg.apache.hadoop.hive.cli.CliDriver.processCmd(CliDriver.java: 227 ) atorg.apache.hadoop.hive.cli.CliDriver.processLine(CliDriver.java: 442 ) atorg.apache.hadoop.hive.cli.CliDriver.executeDriver(CliDriver.java: 860 ) atorg.apache.hadoop.hive.cli.CliDriver.run(CliDriver.java: 733 ) atorg.apache.hadoop.hive.cli.CliDriver.main(CliDriver.java: 666 ) atsun.reflect.NativeMethodAccessorImpl.invoke0(NativeMethod) atsun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java: 39 ) atsun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java: 25 ) atjava.lang.reflect.Method.invoke(Method.java: 597 ) atorg.apache.hadoop.util.RunJar.main(RunJar.java: 208 ) 本文转自菜菜光 51CTO博客,原文链接:http://blog.51cto.com/caiguangguang/1587253,如需转载请自行联系原作者

优秀的个人博客,低调大师

groovy–流程控制

在本篇文章中,我们将介绍逻辑分支,循环,以及如何从if-else以及try-catch代码块中返回值。 if – else Groovy 支持Java传统的if-else语法: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 def x = false def y = false if ( !x ) { x = true } assert x == true if ( x ) { x = false } else { y = true } assert x == y Groovy 也支持Java传统的if-else if -else 语法: 1 if( ... ) { 2 ... 3 }elseif(...) { 4 ... 5 }else{ 6 ... 7 } 三元操作符 Groovy 也支持Java传统的三元操作符: 1 defy =5 2 defx = (y >1) ?"worked":"failed" 3 assertx =="worked" switch Groovy也支持switch语句,不过和java的switch语句还是有很大的区别的: 1 defx =1.23 2 defresult ="" 3 4 switch( x ) { 5 case"foo": 6 result ="found foo" 7 // lets fall through 8 9 case"bar": 10 result +="bar" 11 12 case[4,5,6,'inList']: 13 result ="list" 14 break 15 16 case12..30: 17 result ="range" 18 break 19 20 caseInteger: 21 result ="integer" 22 break 23 24 caseNumber: 25 result ="number" 26 break 27 28 default: 29 result ="default" 30 } 31 32 assertresult =="number" 从上面的例子可以看出switch ( x )中的x可以使用任何类型的值,而且下面的匹配值也可以使用任何的类型。 循环 Groovy也支持Java传统的while循环语法: 1 defx =0 2 defy =5 3 4 while( y-- >0) { 5 x++ 6 } 7 8 assertx ==5 for循环 在Groovy中,for循环更加的简单,而且如果你愿意的话,你也可以在Groovy中使用标准的C/Java的for循环语法。 1 for (inti =0; i <5; i++) { 2 } 3 4 // iterate over a range 5 defx =0 6 for ( iin0..9) { 7 x += i 8 } 9 assertx ==45 10 11 // iterate over a list 12 x =0 13 for ( iin[0,1,2,3,4] ) { 14 x += i 15 } 16 assertx ==10 17 18 // iterate over an array 19 array = (0..4).toArray() 20 x =0 21 for ( iinarray ) { 22 x += i 23 } 24 assertx ==10 25 26 // iterate over a map 27 defmap = ['abc':1,'def':2,'xyz':3] 28 x =0 29 for ( einmap ) { 30 x += e.value 31 } 32 assertx ==6 33 34 // iterate over values in a map 35 x =0 36 for ( vinmap.values() ) { 37 x += v 38 } 39 assertx ==6 40 41 // iterate over the characters in a string 42 deftext ="abc" 43 deflist = [] 44 for (cintext) { 45 list.add(c) 46 } 47 assertlist == ["a","b","c"] 闭包(closures) 有时候你也可以使用闭包的each()和eachWithIndex()方法来替换一些for循环代码。 1 defstringList = ["java","perl","python","ruby","c#","cobol", 2 "groovy","jython","smalltalk","prolog","m","yacc"]; 3 4 defstringMap = ["Su":"Sunday","Mo":"Monday","Tu":"Tuesday", 5 "We":"Wednesday","Th":"Thursday","Fr":"Friday", 6 "Sa":"Saturday"]; 7 8 stringList.each() {print" ${it}"};println""; 9 // java perl python ruby c# cobol groovy jython smalltalk prolog m yacc 10 11 stringMap.each() { key, value ->println"${key} == ${value}"}; 12 // Su == Sunday 13 // We == Wednesday 14 // Mo == Monday 15 // Sa == Saturday 16 // Th == Thursday 17 // Tu == Tuesday 18 // Fr == Friday 19 20 stringList.eachWithIndex() { obj, i ->println" ${i}: ${obj}"}; 21 // 0: java 22 // 1: perl 23 // 2: python 24 // 3: ruby 25 // 4: c# 26 // 5: cobol 27 // 6: groovy 28 // 7: jython 29 // 8: smalltalk 30 // 9: prolog 31 // 10: m 32 // 11: yacc 33 34 stringMap.eachWithIndex() { obj, i ->println" ${i}: ${obj}"}; 35 // 0: Su=Sunday 36 // 1: We=Wednesday 37 // 2: Mo=Monday 38 // 3: Sa=Saturday 39 // 4: Th=Thursday 40 // 5: Tu=Tuesday 41 // 6: Fr=Friday 从if-else和try-catch代码块中返回值 从 Groovy 1.6开始,在方法或者闭包中的最后一行表达式,可以从if/else和try/catch/finally代码块中返回值,而且并不需要明确的使用return关键字返回值,只需要他们是代码块的最后一个表达式就行。 下面的例子就说明了这个情况,在下面的代码块中虽然没有显示的调用return关键字,但是仍然会返回1: 1 defmethod() { 2 if(true)1else0 3 } 4 5 assertmethod() ==1 对于 try/catch/finally blocks代码块来说,如果try代码块中没有抛出异常的话,那么try代码块的最后一行的表达式将会被返回,如果try的代码块抛出异常并且被catch住的时候,那么catch代码块中的最后一个表达式的值将会被返回。 但是请注意:finally代码块不会返回值的。 1 defmethod(bool) { 2 try{ 3 if(bool)thrownewException("foo") 4 1 5 }catch(e) { 6 2 7 }finally{ 8 3 9 } 10 } 11 12 assertmethod(false) ==1 13 assertmethod(true) ==2 ============================================================================== 本文转自被遗忘的博客园博客,原文链接:http://www.cnblogs.com/rollenholt/p/3349046.html,如需转载请自行联系原作者

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Sublime Text

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能,例如代码缩略图,Python的插件,代码段等。还可自定义键绑定,菜单和工具栏。Sublime Text 的主要功能包括:拼写检查,书签,完整的 Python API , Goto 功能,即时项目切换,多选择,多窗口等等。Sublime Text 是一个跨平台的编辑器,同时支持Windows、Linux、Mac OS X等操作系统。

WebStorm

WebStorm

WebStorm 是jetbrains公司旗下一款JavaScript 开发工具。目前已经被广大中国JS开发者誉为“Web前端开发神器”、“最强大的HTML5编辑器”、“最智能的JavaScript IDE”等。与IntelliJ IDEA同源,继承了IntelliJ IDEA强大的JS部分的功能。

用户登录
用户注册