抢占式ECS搭建离线大数据分析集群
场景描述
基于阿里云的抢占式ECS实例以及弹性伸缩能力,同时结合阿里云对象存储OSS服务搭建离线大数据分析集群,实现计算与存储分离架构,同时降低计算资源成本和提升计算资源利用率且拥有海量存储能力。
方案优势
- 计算与存储资源成本优化
- 大数据分析集群海量存储能力
- 计算资源弹性伸缩
- 运维简便
- 计算与存储分离架构,集群高性能
解决问题
- 离线大数据分析集群计算和存储资源成本管控困难
- 计算资源弹性能力不足
- 大数据量大导致存储容量不足
- 大数据分析集群云资源性能优化
产品列表
- 抢占式ECS实例
- 对象存储OSS
- 弹性伸缩ESS
- 专有网络VPC
- 弹性公网IP
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
美亚高分好评,2020年优秀的7本Linux shell新书
近日,bookauthority评选出2020年学习Linux shell最号的7本新书,美亚评分全部在4分以上,而且版本是最新的,你都不需要担心书籍过时的问题。 关于Linux的重要性,相信大家都知道了,猿妹这里就不多��嗦了,还是一起来看看都是哪7本书吧: 1. 《Cybersecurity Ops with bash》 本书作者Paul Troncone也是《bash Cookbook》的作者之一,他通过这本书介绍了攻防基本原则,命令行和Bash基础以及正则表达式,数据收集与分析,实时日志监控和恶意软件分析、渗透测试,以及用户管理权限,软件和设备目录等。 2. 《Linux: 2019 NEW Easy User Manual to Learn the Linux Operating System and Linux Command Line》 这本书适合Linux新手学习,通过它你将了解什么是Linux,以及为什么要使用它,使用Linux的好处有哪些;如何开始使用Linux,如何使用shell,如何管理正在运行的进程等......内容都十分基础,因此,十分适合初学者 3. 《L...
- 下一篇
使用阿里云CSI插件实现云盘数据卷动态扩容
使用云盘存储卷,往往在服务初始化的时候申请了一个适当容量的云盘,但是随着数据的增长,数据盘的容量不能满足需求,需要扩容。 传统应用的扩容场景中,往往是先手动停掉应用,再对数据盘进行备份,然后执行扩容操作,最后重新启动应用。 Kubernetes本身是一个自动化调度、编排系统,实现了对数据卷的生命周期管理。在K8S 1.14中,CSI数据卷扩容属于Alpha阶段,需要开启Feature Gates才可以使用; 本文描述在CSI环境中如何进行云盘的动态扩容: 使用说明: 1. 数据备份: 切记:做数据卷扩容前,先对云盘打快照备份,以防扩容过程异常导致数据出现问题; 2. 集群依赖: 对云盘扩容操作需要调用云盘扩容相应API,所以需要集群具有此API的调用权限,可以参考集群权限文档为集群添加此权限;参考详细步骤。 3. 数据卷限制: 只有动态存储卷才可以进行数据卷动态扩容,即配置了StorageClassName的PV; 不支持InlineVolume类型(非PV、PVC方式)云盘数据卷扩容; 普通云盘类型不支持动态扩容,请参考使用手动扩容云盘方案; 3. 对StorageClass的要求:...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合Redis,开启缓存,提高访问速度
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- Hadoop3单机部署,实现最简伪集群
- CentOS7,CentOS8安装Elasticsearch6.8.6
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS7安装Docker,走上虚拟化容器引擎之路
- CentOS8编译安装MySQL8.0.19
- Docker安装Oracle12C,快速搭建Oracle学习环境