Apache Zepplin使用Hive Interpreter查询
1.Hadoop
a).配置core-site.xml
hadoop文件core-site.xml中配置信息如下,重启HDFS
<property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value> </property> <property> <name>hadoop.proxyuser.hadoop.groups</name> <value>*</value> </property>
b).启停HDFS
## 启动HDFS ./hadoop/sbin/start-dfs.sh ## 停止HDFS ./hadoop/sbin/stop-dfs.sh
c).HDFS退出安全模式
./hadoop/bin/hdfs dfsadmin -safemode leave
2.Hive
a).配置hive-site.xml
修改hive-site.xml中thrift相关配置项
## 配置host和port <property> <name>hive.server2.thrift.port</name> <value>10000</value> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>hostname</value> </property> ## 访问权限 <property> <name>hive.scratch.dir.permission</name> <value>755</value> </property>
b).启动
## 启动server2 ./hive/bin/hive --service server2 ## 启动thrift服务 ./hive/bin/hive --service metastore -p 9083
3.Zeppline配置Hive Interpreter
a).创建Hive Interpreter
Interpreter Name: hive
Interpreter Group: jdbc
b).配置Hive Interpreter
hive.driver: org.apache.hive.jdbc.HiveDriver
hive.url: jdbc:hive2://hostname:10000
dependencies: hive-jdbc-.jar,hive-service-.jar,hadoop-common-.jar,protobuf-java-.jar
4.查询
show databases
use database
show tables
agg query
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
好程序员大数据学习路线分享Scala系列之映射Map
好程序员大数据学习路线分享Scala系列之映射Map首先我们先来看一下什么是映射(map)在Scala中,把哈希表这种数据结构叫做映射。 构建映射 在Scala中,有两种Map,一个是immutable包下的Map,该Map中的内容不可变;另一个是mutable包下的Map,该Map中的内容可变。 构建一个不可变的map 使用元组方式构建 构建一个可变的map 获取和修改映射中的值根据键获取map中对应的值,可以有以下三种方法,尤其推荐使用getOrElse方法。 修改可变map信息,遍历访问mapobject MappingDemo { def main(args: Array[String]): Unit = { //定义构建一个可变的map val scores = scala.collection.mutable.Map ("zhangsan" -> 90, "lisi" -> 80, "wangwu" -> 0) //val scores2 = scala.collection.mutable.Map ("moumou"->50) //修改map中对应...
- 下一篇
elasticsearc使用指南之ES管道聚合(Pipeline Aggregation)
管道聚合处理来自其他聚合而不是文档集的输出,将信息添加到输出树中。 注:关于脚本聚合目前在本文中暂时不会涉及。 主要有如下两种管道聚合方式: parent sibling 下面一一介绍ES定义的管道聚合。 1、Avg Bucket Aggregation 同级管道聚合,它计算同级聚合中指定度量的平均值。同级聚合必须是多桶聚合,针对的是度量聚合(metric Aggregation)。示例如下: { "avg_bucket": { "buckets_path": "the_sum" // @1 } } buckets_path:指定聚合的名称,支持多级嵌套聚合。其他参数: gap_policy当管道聚合遇到不存在的值,有点类似于term等聚合的(missing)时所采取的策略,可选择值为:skip、insert_zeros。 skip:此选项将丢失的数据视为bucket不存在。它将跳过桶并使用下一个可用值继续计算。 insert_zeros:默认使用0代替。 format用于格式化聚合桶的输出(key)。 示例如下: POST /_search { "size": 0, "aggs": ...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Windows10,CentOS7,CentOS8安装Nodejs环境
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Docker安装Oracle12C,快速搭建Oracle学习环境
- Hadoop3单机部署,实现最简伪集群