原来MaxCompute还能这么玩系列（2）—— 利用HiveServer2 Proxy实现MaxCompute与Hive生态工具的互通-低调大师

原来MaxCompute还能这么玩系列（2）—— 利用HiveServer2 Proxy实现MaxCompute与Hive生态工具的互通

2016-10-03 674 89

注：MaxCompute原名ODPS，是阿里云自研的大数据计算平台，文中出现的MaxCompute与ODPS都指代同一平台，不做区分

什么是Hive

Hive是一款经典的hadoop技术栈的数仓软件，可以让用户采用SQL来完成大数据量的计算分析。如果你对Hive还不熟悉，请移步Apache Hive官网获取进一步了解。MaxCompute在很多功能上与Hive相近，所以大部分MaxCompute的用户曾经也是Hive的用户。

什么是HiveServer2

既然提到HiveServer2，那得先介绍一下HiveServer1，我们通常也直接称之为HiveServer。HiveServer是基于Apache Thrift构建的一套服务，它支持远程客户端通过Thrift API向Hive提交请求。由于HiveServer1无法处理超过一个以上客

微信关注我们

原文链接：https://yq.aliyun.com/articles/61262

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

2016-09-30 00:00:00

Storm的BaseBasicBolt源码解析ack机制

我们在学习ack机制的时候，我们知道Storm的Bolt有BaseBasicBolt和BaseRichBolt。在BaseBasicBolt中，BasicOutputCollector在emit数据的时候，会自动和输入的tuple相关联，而在execute方法结束的时候那个输入tuple会被自动ack。在使用BaseRichBolt需要在emit数据的时候，显示指定该数据的源tuple要加上第二个参数anchor tuple，以保持tracker链路，即collector.emit(oldTuple, newTuple);并且需要在execute执行成功后调用OutputCollector.ack(tuple), 当失败处理时，执行OutputCollector.fail(tuple);那么我们来看看BasicBolt的源码是不是这样的，不能因为看到别人的帖子说是这样的，我们就这样任务，以讹传讹，我们要To see is to believe。为了方便看源代码，我先上我们的继承类： public class SplitSentenceBolt extends BaseBasicBol...

586

2016-10-07 00:00:00

CDH集群安装&测试总结

0.绪论之前完全没有接触过大数据相关的东西，都是书上啊，媒体上各种吹嘘啊，我对大数据，集群啊，分布式计算等等概念真是高山仰止，充满了仰望之情，觉得这些东西是这样的：当我搭建的过程中，发现这些东西是这样的：对于初学者来说，我认为缺点如下： 1.需要控制，配置的东西太多，并且配置对应并不是很清晰（以后优化集群是否会有很高含金量？） 2.整个集群，我觉的从硬件到软件整体来说还是稳定性有待提高，尤其CDH 集群这块一会这个主机失去联系，一会NameNode挂，一会monitor挂，整个使用过程就是在不断的挂，看日志，挑错。基本离自动化，智能化还有很大距离。 CDH集群测试主要包括以下几个方面的内容： 1.装机（pxe），搭建服务器集群基础环境 2.安装CDH集群，调试集群的健康状况，使集群可用 3.测试集群性能，优化集群，使用测试框架（如Intel的HiBench框架）测试集群性能 1.基础建设简称基建上一篇文章，我们已经介绍了集群安装操作系统的大杀器： pxe无人值守安装linux机器笔记在批量安装完毕系统之后，本节主要围绕搭建CDH集群的基础建设进行介绍，基础建设简称基建，主要是...

763

资源下载

更多资源

优质分享Android(本站安卓app)

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario，低调大师唯一一个Java游戏作品

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Eclipse（集成开发环境）

Eclipse 是一个开放源代码的、基于Java的可扩展开发平台。就其本身而言，它只是一个框架和一组服务，用于通过插件组件构建开发环境。幸运的是，Eclipse 附带了一个标准的插件集，包括Java开发工具（Java Development Kit，JDK）。

Java Development Kit(Java开发工具)

JDK是 Java 语言的软件开发工具包，主要用于移动设备、嵌入式设备上的java应用程序。JDK是整个java开发的核心，它包含了JAVA的运行环境（JVM+Java系统类库）和JAVA工具。

原来MaxCompute还能这么玩系列（2）—— 利用HiveServer2 Proxy实现MaxCompute与Hive生态工具的互通

什么是Hive