hadoop+hive使用中遇到的问题汇总-低调大师

hadoop+hive使用中遇到的问题汇总

2017-11-28 1161

问题排查方式

一般的错误，查看错误输出，按照关键字google
异常错误（如namenode、datanode莫名其妙挂了）：查看hadoop（$HADOOP_HOME/logs）或hive日志

hadoop错误
1.datanode无法正常启动
添加datanode后，datanode无法正常启动，进程一会莫名其妙挂掉，查看namenode日志显示如下：

    Text代码  
     
2013-06-21 18:53:39,182 FATAL org.apache.hadoop.hdfs.StateChange: BLOCK* NameSystem.getDatanode: Data node x.x.x.x:50010 is attempting to report storage ID DS-1357535176-x.x.x.x-50010-1371808472808. Node y.y.y.y:50010 is expected to serve this storage.

原因分析：
拷贝hadoop安装包时，包含data与tmp文件夹（见本人《hadoop安装》一文），未成功格式化datanode
解决办法：

    Shell代码  
     
   
rm -rf /data/hadoop/hadoop-1.1.2/data  
rm -rf /data/hadoop/hadoop-1.1.2/tmp  
hadoop datanode -format  

2. safe mode

    Text代码  
     
2013-06-20 10:35:43,758 ERROR org.apache.hadoop.security.UserGroupInformation: PriviledgedActionException as:hadoop cause:org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot renew lease for DFSClient_hb_rs_wdev1.corp.qihoo.net,60020,1371631589073. Name node is in safe mode.

解决方案：

    Shell代码  
     
hadoop dfsadmin -safemode leave

3.连接异常

    Text代码  
     
2013-06-21 19:55:05,801 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to homename/x.x.x.x:9000 failed on local exception: java.io.EOFException

可能原因：

namenode监听127.0.0.1:9000，而非0.0.0.0:9000或外网IP:9000
iptables限制

解决方案：

检查/etc/hosts配置，使得hostname绑定到非127.0.0.1的IP上
iptables放开端口

4. namenode id

    Text代码  
     
ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /var/lib/hadoop-0.20/cache/hdfs/dfs/data: namenode namespaceID = 240012870; datanode namespaceID = 1462711424 .

问题：Namenode上namespaceID与datanode上namespaceID不一致。

　　问题产生原因：每次namenode format会重新创建一个namenodeId,而tmp/dfs/data下包含了上次format下的id,namenode format清空了namenode下的数据,但是没有清空datanode下的数据,所以造成namenode节点上的namespaceID与datanode节点上的namespaceID不一致。启动失败。

　　解决办法：参考该网址 http://blog.csdn.net/wh62592855/archive/2010/07/21/5752199.aspx 给出两种解决方法，我们使用的是第一种解决方法：即:

　　(1)停掉集群服务

　　(2)在出问题的datanode节点上删除data目录，data目录即是在hdfs-site.xml文件中配置的dfs.data.dir目录，本机器上那个是/var/lib/hadoop-0.20/cache/hdfs/dfs/data/ (注：我们当时在所有的datanode和namenode节点上均执行了该步骤。以防删掉后不成功，可以先把data目录保存一个副本).

　　(3)格式化namenode.

　　(4)重新启动集群。

　　问题解决。
这种方法带来的一个副作用即是，hdfs上的所有数据丢失。如果hdfs上存放有重要数据的时候，不建议采用该方法，可以尝试提供的网址中的第二种方法。

5. 目录权限
start-dfs.sh执行无错，显示启动datanode，执行完后无datanode。查看datanode机器上的日志，显示因dfs.data.dir目录权限不正确导致：

    Text代码  
     
expected: drwxr-xr-x,current:drwxrwxr-x

解决办法：
查看dfs.data.dir的目录配置，修改权限即可。

hive错误
1.NoClassDefFoundError
Could not initialize class java.lang.NoClassDefFoundError: Could not initialize class org.apache.hadoop.hbase.io.HbaseObjectWritable
将protobuf-***.jar添加到jars路径

    Xml代码  
     
   
//$HIVE_HOME/conf/hive-site.xml  
<property>  
   <name>hive.aux.jars.path</name>  
   <value>file:///data/hadoop/hive-0.10.0/lib/hive-hbase-handler-0.10.0.jar,file:///data/hadoop/hive-0.10.0/lib/hbase-0.94.8.jar,file:///data/hadoop/hive-0.10.0/lib/zookeeper-3.4.5.jar,file:///data/hadoop/hive-0.10.0/lib/guava-r09.jar,file:///data/hadoop/hive-0.10.0/lib/hive-contrib-0.10.0.jar,file:///data/hadoop/hive-0.10.0/lib/protobuf-java-2.4.0a.jar</value>  
</property>  

2.hive动态分区异常
[Fatal Error] Operator FS_2 (id=2): Number of dynamic partitions exceeded hive.exec.max.dynamic.partitions.pernode

    Shell代码  
     
hive> set hive.exec.max.dynamic.partitions.pernode = 10000;

3.mapreduce进程超内存限制——hadoop Java heap space
vim mapred-site.xml添加：

    Xml代码  
     
//mapred-site.xml  
    <property>  
  
    <name>mapred.child.java.opts</name>  
  
    <value>-Xmx2048m</value>  
  
    </property>

    Shell代码  
     
   
#$HADOOP_HOME/conf/hadoop_env.sh  
export HADOOP_HEAPSIZE=5000  

4.hive文件数限制
[Fatal Error] total number of created files now is 100086, which exceeds 100000

    Shell代码  
     
hive> set hive.exec.max.created.files=655350;

5.metastore连接超时

    Text代码  
     
FAILED: SemanticException org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: Read timed out

解决方案：

    Shell代码  
     
hive> set hive.metastore.client.socket.timeout=500;

6. java.io.IOException: error=7, Argument list too long

    Text代码  
     
   
Task with the most failures(5):   
-----  
Task ID:  
  task_201306241630_0189_r_000009  
  
URL:  
  http://namenode.godlovesdog.com:50030/taskdetails.jsp?jobid=job_201306241630_0189&tipid=task_201306241630_0189_r_000009  
-----  
Diagnostic Messages for this Task:  
java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row (tag=0) {"key":{"reducesinkkey0":"164058872","reducesinkkey1":"djh,S1","reducesinkkey2":"20130117170703","reducesinkkey3":"xxx"},"value":{"_col0":"1","_col1":"xxx","_col2":"20130117170703","_col3":"164058872","_col4":"xxx,S1"},"alias":0}  
    at org.apache.hadoop.hive.ql.exec.ExecReducer.reduce(ExecReducer.java:270)  
    at org.apache.hadoop.mapred.ReduceTask.runOldReducer(ReduceTask.java:520)  
    at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:421)  
    at org.apache.hadoop.mapred.Child$4.run(Child.java:255)  
    at java.security.AccessController.doPrivileged(Native Method)  
    at javax.security.auth.Subject.doAs(Subject.java:415)  
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1149)  
    at org.apache.hadoop.mapred.Child.main(Child.java:249)  
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Hive Runtime Error while processing row (tag=0) {"key":{"reducesinkkey0":"164058872","reducesinkkey1":"xxx,S1","reducesinkkey2":"20130117170703","reducesinkkey3":"xxx"},"value":{"_col0":"1","_col1":"xxx","_col2":"20130117170703","_col3":"164058872","_col4":"djh,S1"},"alias":0}  
    at org.apache.hadoop.hive.ql.exec.ExecReducer.reduce(ExecReducer.java:258)  
    ... 7 more  
Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: [Error 20000]: Unable to initialize custom script.  
    at org.apache.hadoop.hive.ql.exec.ScriptOperator.processOp(ScriptOperator.java:354)  
    at org.apache.hadoop.hive.ql.exec.Operator.process(Operator.java:474)  
    at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:800)  
    at org.apache.hadoop.hive.ql.exec.SelectOperator.processOp(SelectOperator.java:84)  
    at org.apache.hadoop.hive.ql.exec.Operator.process(Operator.java:474)  
    at org.apache.hadoop.hive.ql.exec.Operator.forward(Operator.java:800)  
    at org.apache.hadoop.hive.ql.exec.ExtractOperator.processOp(ExtractOperator.java:45)  
    at org.apache.hadoop.hive.ql.exec.Operator.process(Operator.java:474)  
    at org.apache.hadoop.hive.ql.exec.ExecReducer.reduce(ExecReducer.java:249)  
    ... 7 more  
Caused by: java.io.IOException: Cannot run program "/usr/bin/python2.7": error=7, 参数列表过长  
    at java.lang.ProcessBuilder.start(ProcessBuilder.java:1042)  
    at org.apache.hadoop.hive.ql.exec.ScriptOperator.processOp(ScriptOperator.java:313)  
    ... 15 more  
Caused by: java.io.IOException: error=7, 参数列表过长  
    at java.lang.UNIXProcess.forkAndExec(Native Method)  
    at java.lang.UNIXProcess.<init>(UNIXProcess.java:135)  
    at java.lang.ProcessImpl.start(ProcessImpl.java:130)  
    at java.lang.ProcessBuilder.start(ProcessBuilder.java:1023)  
    ... 16 more  
  
  
FAILED: Execution Error, return code 20000 from org.apache.hadoop.hive.ql.exec.MapRedTask. Unable to initialize custom script.  

解决方案：
升级内核或减少分区数 https://issues.apache.org/jira/browse/HIVE-2372
6.runtime error

    Shell代码  
     
   
hive> show tables;  
FAILED: Error in metadata: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient  
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask  

问题排查：

    Shell代码  
     
hive -hiveconf hive.root.logger=DEBUG,console

    Text代码  
     
   
13/07/15 16:29:24 INFO hive.metastore: Trying to connect to metastore with URI thrift://xxx.xxx.xxx.xxx:9083  
13/07/15 16:29:24 WARN hive.metastore: Failed to connect to the MetaStore Server...  
org.apache.thrift.transport.TTransportException: java.net.ConnectException: 拒绝连接  
。。。  
MetaException(message:Could not connect to meta store using any of the URIs provided. Most recent failure: org.apache.thrift.transport.TTransportException: java.net.ConnectException: 拒绝连接  

尝试连接9083端口，netstat查看该端口确实没有被监听，第一反应是hiveserver没有正常启动。查看hiveserver进程却存在，只是监听10000端口。
查看hive-site.xml配置，hive客户端连接9083端口，而hiveserver默认监听10000，找到问题根源了
解决办法：

    Shell代码  
     
   

hive --service hiveserver -p 9083
//或修改$HIVE_HOME/conf/hive-site.xml的hive.metastore.uris部分
//将端口改为10000

本文转自疯吻IT博客园博客，原文链接：http://www.cnblogs.com/fengwenit/p/6005542.html，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/372748

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

logstash日志系统搭建

本文将介绍如果使用logstash，elasticsearch，kibana搭建一个日志分析系统。Logstash支持的日志类型非常的广泛，支持nginx,postfix.windows系统日志，java日志以及mysql慢查询日志，Docker日志等，并带有强大的过滤器功能，还可以输出到elasticsearch，nagios,mail等，功能相当的强大，在我们要部署的日志分析系统中logstash用来收集各种日志，然后推送给elasticsearch，kibana负责通过web接口最终展示出来。环境介绍：操作系统版本：centos6.664bit Logstash版本:logstash-2.0.0.tar.gz Elasticsearch版本：elasticsearch-2.1.0.tar.gz Kibana版本：Kibana4.2.1 Java版本：1.8.0_45 一：软件下载 1 2 3 #wgethttps://download.elastic.co/logstash/logstash/logstash-2.0.0.tar.gz #wgethttps://downlo...

2017-11-29

627

创建 kylin Module/Cube

1. 首先要创建 Project 2. 再把Hive 表加载进来： 3. 创建model 3.1. 首先选择或者创建一个project 3.2.创建一个新modle 3.3. 选择数据库 3.4 选择dimension (需要用到的列） 3.5. 选择 measure 用作过滤，聚合 6 4. 创建cube 4.1.选择model 4.2.输入cube名称自动生成dimension: 全选：这里没有用到聚合，所以直接到下一步： 4.3. build 在monitor 里查看进度: 最后在 Insight 里查询: 1 2 SELECT * FROM tb_dtu where DTUID = '4560477054' order by "TIME" DESC, ADDR 注意：TIME 等列要大写， TIME DESC 这里TIME要加引号本文转自疯吻IT博客园博客，原文链接：http://www.cnblogs.com/fengwenit/p/5826358.html，如需转载请自行联系原作者

2017-11-29

667

发表评论

资源下载

更多资源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题，腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构，目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。