LINUX下安装HPL/SQL
环境要求:
Java 1.6 及以上版本
Hadoop 1.x 或 2.x版本
本例环境信息:
Linux version:CentOS release 6.8 (Final)
Hadoop version:hdp 2.4.0.0-169
Java version:jre-1.8.0-openjdk.x86_64
下载hpl/sql安装包
下载地址:http://www.hplsql.org/download
下载完成后上传到linux平台
解压安装包并安装到/opt:
tar -zvxf hplsql-0.3.31.tar.gz -C /opt
in -s /opt/hplsql-0.3.31 /opt/hplsql
解压后包含以下文件
hplsql
hplsql.cmd
hplsql-x.x.x.jar
hplsql-site.xml
antlr-runtime-4.5.jar
修改权限:
chmod +x /opt/hplsql
配置CLASSPATH
cd /opt/hplsql
vi hplsql
如果是hadoop为CDH
删除hplsql文件中所有的export “HADOOP_CLASSPATH=…”
添加export “HADOOP_CLASSPATH=/opt/cloudera/parcels/CDH/jars/*”
如果是hadoop为HDP
检查/usr/hdp/x.x.x.x-x目录,并修改hplsql文件中所有的export “HADOOP_CLASSPATH=…”路径为/usr/hdp/x.x.x.x-x对应的路径。
其他版本的hadoop,请检查/usr/lib下是否有hadoop的jars,并在phlsql文件做对应的修改。
测试是否安装成功
/opt/hplsql –version
cd /opt/hplsql
./hplsql –version
如果以上命令能返回hplsql的版本信息,则表示安装成功。
添加hplsql到PATH变量
export PATH=$PATH:/opt/hplsql
设置PATH后就可以直接通过hplsql命令调用HPL/SQL
Hplsql <option>
配置
cd /opt/hplsql
vi hplsql-site.xml
修改
<property>
<name>hplsql.conn.init.hive2conn</name>
<value></value>
</property>
为:
<property>
<name>hplsql.conn.init.hive2conn</name>
<value>
set mapred.job.queue.name=dev;
set hive.execution.engine=mr;
use sales_db;
</value>
</property>
运行HPL/SQL
hplsql -e “CURRENT_DATE+1”
hplsql -e “SELECT * FROM src LIMIT 1”
hplsql -f script.sql
在shell脚本中使用HPL/SQL
从HPL/SQL脚本中获取一个值
MDATE=$(hplsql -e “NVL(MIN_PARTITION_DATE(sales,local_dt,code=’A’),’1970-01-01’)”)
START=$(hplsql -e ‘CURRENT_DATE – 1’)
本文转自 天黑顺路 51CTO博客,原文链接:http://blog.51cto.com/mjal01/2067249,如需转载请自行联系原作者

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
MaxCompute Studio使用心得系列2——编译SQL脚本
开发人员写好代码,对代码进行语法编译是很常见的操作,但是目前常用的MaxCompute sql开发工具(大数据开发套件和console客户端),都没有该功能,必须把sql脚本提交运行后若有语法问题才会通过返回错误日志中获取相关信息。 MaxCompute每次提交job都要少则几秒多则数分钟不等的排队过程,等返回失败信息,也需要等待一定的时间,不仅仅影响开发效率,还浪费计算资源。 本次分享 通过MaxCompute Studio 进行SQL脚本开发过程中“编译”功能带来的便利。 前提条件:Project Explorer窗口中必须添加好项目,即添加项目元数据。 语法检查与错误提示 Studio脚本编辑功能与 MaxCompute 编译器高度整合,能够在脚本编辑过程中实时进行语法检查,并通过特殊高亮及 tips 文本给出错误提醒。便于开发人员快
- 下一篇
第二十三周微职位elk日志系统
利用ELK+redis搭建一套nginx日志分析平台。 logstash,elasticsearch,kibana 怎么进行nginx的日志分析呢?首先,架构方面,nginx是有日志文件的,它的每个请求的状态等都有日志文件进行记录。其次,需要有个队列,redis的list结构正好可以作为队列使用。然后分析使用elasticsearch就可以进行分析和查询了。 我们需要的是一个分布式的,日志收集和分析系统。logstash有agent和indexer两个角色。对于agent角色,放在单独的web机器上面,然后这个agent不断地读取nginx的日志文件,每当它读到新的日志信息以后,就将日志传送到网络上的一台redis队列上。对于队列上的这些未处理的日志,有不同的几台logstash indexer进行接收和分析。分析之后存储到elasticsearch进行搜索分析。再由统一的kibana进行日志web界面的展示。 下面我计划在一台机器上实现这些角色。 准备工作 1 2 3 4 5 安装了redis,开启在 6379 端口 安装了elasticsearch,开启在 9200 端口 安装了k...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- Docker安装Oracle12C,快速搭建Oracle学习环境
- SpringBoot2全家桶,快速入门学习开发网站教程
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- CentOS关闭SELinux安全模块
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- CentOS6,CentOS7官方镜像安装Oracle11G
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作