hive在E-MapReduce集群的实践(一)hive异常排查入门
hive是hadoop集群最常用的数据分析工具,只要运行sql就可以分析海量数据。初学者在使用hive时,经常会遇到各种问题,不知道该怎么解决。
本文是hive实践系列的第一篇,以E-MapReduce集群环境为例,介绍常见的hive执行异常,定位和解决方法,以及hive日志查看方法。
除作者本人的知乎专栏外,其他转载需要先联系我。
一.常见异常表现
主要是执行hive sql时卡住,提示异常信息。
如执行sql时直接提示异常信息,执行sql时卡住,显示mapreduce进度一直0%,mapreduce进度长时间不变化,执行一半提示异常退出,等等。
二.异常定位和解决
2.1.执行sql直接提示异常信息
一般是语法问题,资源问题或hive服务异常。
2.1.1 语法解析错误
sql写的有问题。如ParseException
hive> sho

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
自建ES通过OSS快照迁移至阿里云ES
在同一个VPC内使用3台ECS部署自建ES集群,可以通过给自建Elasticsearch打快照存储到OSS,在利用OSS中的快照进行数据库恢复,将自建Elasticsearch迁移至阿里云Elasticsearch。 安装OSS快照仓库插件,下载插件并解压到ES集群各节点Elasticsearch根目录下的plugins目录 # wget https://github.com/zhichen/elasticsearch-repository-oss/releases/download/v5.5.3/elasticsearch-repository-oss-5.5.3.zip # unzip elasticsearch-repository-oss-5.5.3.zip -d /srv/elasticsearch-5.4.3/plugins/ 修改配置文件中的版本号为当前ES集群的版本,完成后需要重启ES各节点。 # cat /srv/elasticsearch-5.4.3/plugins/elasticsearch/plugin-descriptor.properties |grep v...
- 下一篇
CentOS7部署Hadoop2.7.5全分布式群集
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_34173549/article/details/79905306 思路 安装虚拟机 安装JDK 克隆 安装HADOOP 配置ssh 搭建hadoop集群 配置hadoop-env.sh 配置hadoop-core-site.xm 配置hadoop-hdfs-site.xm 配置hadoop-mapred-site.xml 配置hadoop-yarm-site.xml 配置slave 发送hadoop文件到所有机子上 测试 安装虚拟机 VMware Workstation 12.5.7 PRO 安装 CentOS7 安装JDK linux安装最新版JDK 克隆 我是直接克隆虚拟机,要是有服务器或者自安装也可以。点击完整克隆 安装HADOOP CentOS7安装单机版Hadoop 配置HADOOP 修改UUID vim /etc/sysconfig/network-scripts/ifcfg-ens33 因为克隆过来的UUID是相同的,可以删除重新生成,也可以修改其中一个数就可以了,里...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS7设置SWAP分区,小内存服务器的救世主
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS8安装MyCat,轻松搞定数据库的读写分离、垂直分库、水平分库
- Windows10,CentOS7,CentOS8安装Nodejs环境
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS8安装Docker,最新的服务器搭配容器使用
- 设置Eclipse缩进为4个空格,增强代码规范
- Docker快速安装Oracle11G,搭建oracle11g学习环境