Hive统一元数据管理
从E-MapReduce-2.4.0(以下简称 EMR) 版本开始,E-MapReduce支持了统一元数据管理,在E-MapReduce-2.4.0版本之前,用户所有集群均采用的是集群本地的mysql数据库作为Hive元数据库,在E-MapReduce-2.4.0版本以及之后的版本中, E-MapReduce 会支持统一的高可靠的 Hive元数据库。
介绍
统一的元数据管理,可以实现:
- 持久化的元数据存储。
之前元数据都是在集群内部的mysql数据库,元数据会随着集群的释放而丢失,特别是EMR提供了灵活按量模式,集群可以按需创建用完就释放。如果用户需要保留现有的元数据信息,必须登录集群手动将元数据信息导出。支持统一的元数据管理之后,不再存在该问题。 - 更方便地实现计算存储分离。
EMR上可以支持将数据存放在阿里云OSS中,在大数据量的情况下将数
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
深度学习系统镜像(预装NVIDIA GPU驱动和深度学习框架)
深度学习系统镜像一键安装简单方便,无需手动安装GPU驱动和深度学习框架,码笔记分享阿里云深度学习操作系统镜像,这款镜像是免费使用的,基于CentOS 7.3 64位系统,预装NVIDIA GPU驱动、TensorFlow、MXNet开源深度学习框架: 深度学习镜像操作系统 镜像来源:阿里云镜像市场 预装软件:预装NVIDIA GPU驱动、TensorFlow、MXNet开源深度学习框架 费用:免费使用 镜像详细说明 该镜像使用CentOS 7.3 64bit系统,预装NVIDIA GPU驱动(384.66),CUDA(8.0.61.2 including cuBLAS Patch 2),cuDNN(6.0.21) 预装TensorFlow 1.3.0,MXNet 0.11.0。 镜像使用方法 该镜像为阿里云GN4/GN5/GN5i系列实例专用,选购该镜像对应的ECS云服务器,免费安装镜像。如何使用该镜像?用户可以在基于该镜像创建的云主机实例上直接进行深度学习的训练和推理。使用方法很简单,创建GN4/GN5/GN5i系列云服务器: 选择ECS云服务器规格ECS云服务器有多种规格,要选择这...
- 下一篇
蚂蚁金服自研分布式关系数据库OceanBase上线阿里云
OceanBase于2020年3月在阿里云上完成了商业化,在公有云上正式对外开放。同步上线的还有相关的生态产品,包括集群管控(OCP:OceanBase Cloud Platform),诊断(OTA:OceanBase Tunning Advisor),迁移服务(OMS:OceanBase Migration Service)及开发者中心(ODC:OceanBase Developer Center)。 一、公共云OceanBase服务端部署 蚂蚁金服自研分布式关系数据库OceanBase是一款纯原生的分布式关系数据库,在代码层面完全可控。公共云OceanBase产品(图1-1)是基于三份副本3AZ部署,通过paxos协议保证了多节点间的数据一致性,单点故障甚至单AZ故障,也可以保障业务连续性,RPO=0,RTO<30s,做到机房级高可用,未来还将推出三地五中心的产品形态,具备城市级高可用切换能力。同时,OceanBase的资源管理具有非常高的灵活性。它支持多租户部署,在OceanBase集群里面,我们可以按需分配实例,并且可以进行在线资源扩容或者缩容。从安全性和可用性来讲,Oc...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS7安装Docker,走上虚拟化容器引擎之路
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- Mario游戏-低调大师作品
- 2048小游戏-低调大师作品
- SpringBoot2初体验,简单认识spring boot2并且搭建基础工程
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Thymeleaf,官方推荐html解决方案