hive启动debug问题
最近在debug hive的一个bug,之前都是使用打印日志来跟踪源码，这种方式效率比较低（每次更改了源码都要重新编译并替换线上的jar包）,java的应用可以支持remote debug的，hive也不例外，主要是通过hive --debug来实现. 在运行hive --debug时遇到如下问题： 1 2 3 ERROR:Cannotload this JVMTIagenttwice,checkyourjavacommandline for duplicatejdwpoptions. ErroroccurredduringinitializationofVM agentlibraryfailedtoinit:jdwp 根据错误信息，可以看到是由于重复的jdwp参数导致。hive其实是一个shell脚本，追踪其运行情况: 1 cd ${HIVE_HOME} /bin ;sh-x. /hive --debug 查看hive --debug的调用情况： 1 2 3 4 5 6 7 8 9 if [ "$DEBUG" ]; then if [ "$HELP" ]; then debug_help exit 0 else get_debug_params "$DEBUG" export HADOOP_CLIENT_OPTS= "$HADOOP_CLIENT_OPTS$HIVE_MAIN_CLIENT_DEBUG_OPTS" fi fi 这里是： 1 2 HIVE_MAIN_CLIENT_DEBUG_OPTS='-XX:+UseParallelGC -agentlib:jdwp=transport=dt_socket,server=y,address=8000,suspend=y' HIVE_MAIN_CLIENT_DEBUG_OPTS 变量是在${HIVE_HOME}/bin/ext/debug.sh中，这个脚本控制了debug的参数,比如说端口 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 get_debug_params(){ set_debug_defaults parse_debug$1 #ForDebug-XX:+UseParallelGCisneeded,asitisa(unfortunatelynotperfect) #workaroundforJVM6862295bug,thataffectssomeJVMsstillinuse if does_jvm_support_ti; then export HIVE_MAIN_CLIENT_DEBUG_OPTS="-XX:+UseParallelGC -agentlib:jdwp=transport=dt_socket,server=y,$port,$main_suspend" export HIVE_CHILD_CLIENT_DEBUG_OPTS="-XX:+UseParallelGC -agentlib:jdwp=transport=dt_socket,server=y,$child_suspend" else export HIVE_MAIN_CLIENT_DEBUG_OPTS="-XX:+UseParallelGC -Xdebug-Xrunjdwp:transport=dt_socket,server=y,$port,$main_suspend" export HIVE_CHILD_CLIENT_DEBUG_OPTS="-XX:+UseParallelGC -Xdebug-Xrunjdwp:transport=dt_socket,server=y,$child_suspend" fi 最终hive运行的命令为： 1 2 exec ${HADOOP_HOME} /bin/hadoop jarhive-cli-0.13.1.jar org.apache.hadoop.hive.cli.CliDriver--hiveconfhive.aux.jars.path=xxxxx 而在${HADOOP_HOME}/bin/hadoop中，设置HADOOP_OPTS时，又引用了HADOOP_CLIENT_OPTS这个变量，就导致jdwp的参数重复了 只需要注释下面一行即可以： 1 HADOOP_OPTS= "$HADOOP_OPTS$HADOOP_CLIENT_OPTS" 这其实是一个bug: 相关的bug id https://issues.apache.org/jira/browse/HADOOP-9455 https://issues.apache.org/jira/browse/HIVE-3936 bug描述： 1 HADOOP_CLIENT_OPTSappendedtwicecausesJVMfailures 在官方提供的bug id中可以看到hive0.13是fix这个bug的，具体的patch如下： 1 2 3 4 5 6 7 8 9 10 11 diff --gitbin /hive bin /hive index40e2c75..434ea6c100755 ---bin /hive +++bin /hive @@-251,7+251,6@@ if [ "$DEBUG" ]; then else get_debug_params "$DEBUG" export HADOOP_CLIENT_OPTS= "$HADOOP_CLIENT_OPTS$HIVE_MAIN_CLIENT_DEBUG_OPTS" - export HADOOP_OPTS= "$HADOOP_OPTS$HADOOP_CLIENT_OPTS" fi fi 经过测试，这个path并没有生效。 本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1564148，如需转载请自行联系原作者
