Hive架构
[toc]
概念
按照官网翻译,Hive是一个使用SQL管理和使用基于分布式存储的数据集的数据仓库工具软件。注意形容词知道了几个特点:
- 使用SQL
- 数据仓库、管理数据集(表)
- 基于Hadoop
Hive的组件包括HCatalog和WebHCat。
- HCatalog是Hadoop的表和存储管理层,它使具有不同数据处理工具(包括Pig和MapReduce)的用户能够更轻松地在网格上读写数据。
- WebHCat提供了一种服务,可用于运行Hadoop MapReduce(或YARN),Pig,Hive作业。还可以使用HTTP(REST样式)接口执行Hive元数据操作。
架构
照例先说下架构图
这里可以看到非常明确的组件关系。数据以文件形式存储在HDFS,执行期间用户通过cli提交DDL 或者query SQL,DDL会与MetaStore交互,其中MetaSto
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
停发年终奖背后,是程序员“失宠”了?
1月10日,在互联网职场上又有一件标志性事件发生,脉脉上有人爆料,称罗振宇的“得到”今年取消了APP团队年终奖,并且发布了内部信解释为何取消。 从落款上看,这次内部信是青衣快刀撰写的,与其所对话的APP技术团队相符。信比较长,大体内容是:一刀切给年终奖是不思考的管理方式,也不科学;200多人技术团队,很多人表现一般,还总想着跳槽;薪酬制度会改革,会有技术委员会评估,会培训提升程序员能力。 当然,这只是字面意思,内部含有的潜台词也是有的: 如果觉得公司制度不合理,可以离开,双向选择就好; 这一年表现不好的程序员,得到年终奖然后再跳槽的想法就不要有了; 以后奖金不像工资那么好得了,需要切实的成绩; 所谓成绩,要么切实提升用户量,用户使用,用户付费,要么通过技术委员会评估有大进步也行。 有人评价,不给年终奖还振振有词,实在让人看了生气。但实际上,这个
- 下一篇
云HBase发布全文索引服务,轻松应对复杂查询
云HBase发布了“全文索引服务”功能,自2019年01月25日后创建的云HBase实例,可以在控制台免费开启此“全文索引服务”功能。使用此功能可以让用户在HBase之上构建功能更丰富的搜索业务,不再局限于KV简单查询,不再苦恼于设计各种rowkey,不再后怕日益变化的HBase复杂查询业务。“全文索引服务”为云HBase增强查询能力而设计,自动同步数据,用户只需重点关注如何使用强大的检索功能来丰富自己的业务架构。 为什么要增强HBase的检索能力 我们在使用HBase的时候都会面临一个问题,就是设计HBase的rowkey。可尽管我们工程师是多么的优秀,整理罗列了所有业务检索需求,并裁剪折中了这样那样的业务,缺依然不能设计一个全能的rowkey来满足各种业务查询需求。例如在某物流管理系统中,我们需要对收件人姓名/手机/地址、寄件人姓
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- Windows10,CentOS7,CentOS8安装Nodejs环境
- Red5直播服务器,属于Java语言的直播服务器
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS关闭SELinux安全模块
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- CentOS7编译安装Gcc9.2.0,解决mysql等软件编译问题
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7