首页 文章 精选 留言 我的

精选列表

搜索[客户端],共10008篇文章
优秀的个人博客,低调大师

基于python impyla的hive客户端

打开微信扫一扫,关注微信公众号【数据与算法联盟】 转载请注明出处:http://blog.csdn.net/gamer_gyt 博主微博:http://weibo.com/234654758 Github:https://github.com/thinkgamer 写在前边的话 在hive部署的时候我们谈过hive的三种访问方式 CLI(shell 终端) HWI (Hive的web页面操作) thrift (启动hiveserver2服务,基于thrift建立hive的操作) 第三种thrift方式的,网友们进行了封装,目前有三个广负盛名的python backage pyhive impyla(小主采用该backage) pyhs2 小主本地环境介绍 CentOS6.5 /64 位 python 2.7 这里小主做的web可视化界面比较菜看两张截图吧(这个是HIW项目的一部分 github-HIW) 部署 impyla必须的依赖包括: six bit_array thriftpy(python2.x则是thrift) 为了支持Hive还需要以下两个包: sasl thrift_sasl 先安装依赖 pip install thrift_sasl pip install sasl 报错: gcc: error trying to exec 'cc1plus': execvp: No such file or directory error: command 'gcc' failed with exit status 1 解决办法: 缺少g++文件 yum install gcc-c++ (centos中g++叫gcc-c++,如果直接安装g++会出现No package g++ available. Error: Nothing to do ) 又报错: UnicodeDecodeError: 'ascii' codec can't decode byte 0xe2 in position 73: ordinal not i 解决办法: 在python安装目录的site-packages目录下,创建sitecustomize.py,python会自动加载,添加 import sys sys.setdefaultencoding('utf-8') 如果涉及到中文只需将utf-8修改为gb2312 即可 又报错: sasl/saslwrapper.h:22:23: error: sasl/sasl.h: No such file or directory 解决办法 centos解决办法: yum install gcc-c++ python-devel.x86_64 cyrus-sasl-devel.x86_64 ubuntu/deepin(小主自己的是deepin) sudo apt-get install libsasl2-dev 然后执行 pip install thrift_sasl pip install sasl OK pip命令安装: pip install impyla 报错: bitarray/_bitarray.c:9:20: fatal error: Python.h: 没有那个文件或目录 compilation terminated. error: command 'x86_64-linux-gnu-gcc' failed with exit status 1 解决办法: 由于小主的是deepin 15.2 64位,python版本为2.7,其对应的解决办法是 sudo apt-get install python-dev python3.X版本对应的命令为 sudo apt-get install python3-dev 然后在执行安装命令即可 pip install impyla 一个小Demo 注意执行该程序之前,必须启动hiveserver2服务 from impala.dbapi import connect #需要注意的是这里的auth_mechanism必须有,但database不必须 conn = connect(host='127.0.0.1', port=10000, database='default', auth_mechanism='PLAIN') cur = conn.cursor() cur.execute('SHOW DATABASES') print(cur.fetchall()) cur.execute('SHOW Tables') print(cur.fetchall()) 关于auth_mechanism解释: auth_mechanism的值取决于hive-site.xml里边的一个配置 <name>hive.server2.authentication</name> <value>NOSASL</value> auth_mechanism的值默认是NONE,还可以是“NOSASL”,“PLAIN”,“KERBEROS”,“LDAP” 对hql进行连续处理 很简单的应用场景便是我们要处理的N句SQL的连续体,而不是单句的SQL语句,我这里进行的处理办法是切分,使用python的split,然后再进行单句执行 #连接hive def conn(): con = connect(host="192.168.132.27",port=10000,auth_mechanism="PLAIN") cur = con.cursor() return cur #执行HQL语句 def run_hql(sql): sql_list = sql[:-1].split(";") cur=conn() for s in sql_list: cur.execute(s) result=cur.fetchall() return result if __name__=="__main__": sql="show databases;use default;show tables;" print run_hql(sql) 运行结果也是没有问题的 [root@master1 HIW]# python hive/phive.py [('test',)] 后续若有可能的话,我会更新一些impyla的其他一些用法,因为网上关于impyla的资料很少,除了github项目地址之外很难再找到其他的,所以 如果你有好的文章或者教程的话,欢迎留言

资源下载

更多资源
Mario

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长,特征是大鼻子、头戴帽子、身穿背带裤,还留着胡子。与他的双胞胎兄弟路易基一起,长年担任任天堂的招牌角色。

腾讯云软件源

腾讯云软件源

为解决软件依赖安装时官方源访问速度慢的问题,腾讯云为一些软件搭建了缓存服务。您可以通过使用腾讯云软件源站来提升依赖包的安装速度。为了方便用户自由搭建服务架构,目前腾讯云软件源站支持公网访问和内网访问。

Nacos

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称,一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux

Rocky Linux(中文名:洛基)是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版,作为CentOS稳定版停止维护后与RHEL(Red Hat Enterprise Linux)完全兼容的开源替代方案,由社区拥有并管理,支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性,采用模块化包装和SELinux安全架构,默认包含GNOME桌面环境及XFS文件系统,支持十年生命周期更新。

用户登录
用户注册