HiveServer2 Impersonation-低调大师

HiveServer2 Impersonation

2017-11-06 568

CDH4.2.0开始支持hiveserver2的impersonation,只需要设置参数hive.server2.enable.impersonation(该参数在Hive里是HIVE_SERVER2_KERBEROS_IMPERSONATION，容易被误会和kerberos一起使用)为true即可，这样可以使得提交的HQL以提交用户来运行MAPREDUCE而不是运行Hiveserver的User，那么具体是如何实现的呢：

当通过ThriftCliService开启一个Session时，如果开启了上面的参数，则会调用CliService的openSessionWithImpersonation方法进而SessionManager就会生成一个HiveSession的动态代理HiveSessionImplwithUGI，并把用户的UGI传入进去：

session = (HiveSession)HiveSessionProxy.getProxy(hiveSessionUgi,hiveSessionUgi.getSessionUgi());

hiveSessionUgi.setProxySession(session);

每次执行方法的时候都是通过ShimLoader.getHadoopShims().doAs执行，如果没有指定该参数则是以运行Hiveserver的用户执行.

本文转自MIKE老毕 51CTO博客，原文链接：http://blog.51cto.com/boylook/1311584，如需转载请自行联系原作者

微信关注我们

原文链接：https://yq.aliyun.com/articles/476827

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

实时数据之python操作elasticsearch监控数据插入图表分析

例行公事，有些人可能不太了解elasticsearch，下面搜了一段，大家瞅一眼。 Elasticsearch是一款分布式搜索引擎，支持在大数据环境中进行实时数据分析。它基于Apache Lucene文本搜索引擎，内部功能通过ReST API暴露给外部。除了通过HTTP直接访问Elasticsearch，还可以通过支持Java、JavaScript、Python及更多语言的客户端库来访问。它也支持集成Apache Hadoop环境。Elasticsearch在有些处理海量数据的公司中已经有所应用，如GitHub、Foursquare和SoundCloud等。 elasticsearch 他对外提供了rest的http的接口，貌似很强大的样子。但是咱们的一些数据平台市场会对于elasticsearch的数据进行分析，尤其是实时分析。当然不能用 http的方式。比如官网的demo提供的例子：下面是查询，/ceshi 是索引，rui是type，搜索的内容是，title是jones的。 1 curlhttp: //vim.xiaorui.cc:9200/ceshi/rui/_searc...

2017-11-07

490

前言由于最近开始涉及MR程序的编写，之前会一点HIVE，对MR接触不多，不论从原理还是实际操作上，都有些障碍，终于在今天柳暗花明，将这一过程记录下，与大家分享~ 环境准备在VM上搭建好LINUX虚拟机，并安装配置好HADOOP2.2.0，我这里是单节点的伪分布式在eclipse中安装hadoop插件对我们这种MR的新手而言，最好在本地有一个HADOOP运行环境，这样有许多好处：如果我们每次写完MR程序，都打成JAR包上传至线上服务器上运行，那么每次MR运行的时间非常长，也许等待了许久，运行结果和我们预期不一致，又得改程序重新来一边，这会有一点痛苦！在我们本地的HADOOP上运行MR程序非常快，就那么几秒，更加重要的是，我们可以再本地准备输入文件去测试MR的逻辑，这对调试/开发程序非常方便！实例及原理分析假设，我们有这样的输入文件： cate-aspu-11 cate-aspu-12 cate-aspu-23 cate-aspu-24 cate-aspu-35 cate-aspu-36 cate-aspu-17 cate-aspu-48 cate-aspu-49 cat...

2017-11-07

602

资源下载

更多资源

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。