抢占式ECS搭建离线大数据分析集群-低调大师

抢占式ECS搭建离线大数据分析集群

2020-02-11 779

场景描述

基于阿里云的抢占式ECS实例以及弹性伸缩能力，同时结合阿里云对象存储OSS服务搭建离线大数据分析集群，实现计算与存储分离架构，同时降低计算资源成本和提升计算资源利用率且拥有海量存储能力。

方案优势

计算与存储资源成本优化
大数据分析集群海量存储能力
计算资源弹性伸缩
运维简便
计算与存储分离架构，集群高性能

解决问题

离线大数据分析集群计算和存储资源成本管控困难
计算资源弹性能力不足
大数据量大导致存储容量不足
大数据分析集群云资源性能优化

产品列表

抢占式ECS实例
对象存储OSS
弹性伸缩ESS
专有网络VPC
弹性公网IP

直达最佳实践》》

微信关注我们

原文链接：https://yq.aliyun.com/articles/744599

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

美亚高分好评，2020年优秀的7本Linux shell新书

近日，bookauthority评选出2020年学习Linux shell最号的7本新书，美亚评分全部在4分以上，而且版本是最新的，你都不需要担心书籍过时的问题。关于Linux的重要性，相信大家都知道了，猿妹这里就不多��嗦了，还是一起来看看都是哪7本书吧： 1. 《Cybersecurity Ops with bash》本书作者Paul Troncone也是《bash Cookbook》的作者之一，他通过这本书介绍了攻防基本原则，命令行和Bash基础以及正则表达式，数据收集与分析，实时日志监控和恶意软件分析、渗透测试，以及用户管理权限，软件和设备目录等。 2. 《Linux: 2019 NEW Easy User Manual to Learn the Linux Operating System and Linux Command Line》这本书适合Linux新手学习，通过它你将了解什么是Linux，以及为什么要使用它，使用Linux的好处有哪些;如何开始使用Linux，如何使用shell，如何管理正在运行的进程等......内容都十分基础，因此，十分适合初学者 3. 《L...

2020-02-13

759

使用云盘存储卷，往往在服务初始化的时候申请了一个适当容量的云盘，但是随着数据的增长，数据盘的容量不能满足需求，需要扩容。传统应用的扩容场景中，往往是先手动停掉应用，再对数据盘进行备份，然后执行扩容操作，最后重新启动应用。 Kubernetes本身是一个自动化调度、编排系统，实现了对数据卷的生命周期管理。在K8S 1.14中，CSI数据卷扩容属于Alpha阶段，需要开启Feature Gates才可以使用；本文描述在CSI环境中如何进行云盘的动态扩容：使用说明： 1. 数据备份：切记：做数据卷扩容前，先对云盘打快照备份，以防扩容过程异常导致数据出现问题； 2. 集群依赖：对云盘扩容操作需要调用云盘扩容相应API，所以需要集群具有此API的调用权限，可以参考集群权限文档为集群添加此权限；参考详细步骤。 3. 数据卷限制：只有动态存储卷才可以进行数据卷动态扩容，即配置了StorageClassName的PV；不支持InlineVolume类型（非PV、PVC方式）云盘数据卷扩容；普通云盘类型不支持动态扩容，请参考使用手动扩容云盘方案； 3. 对StorageClass的要求：...

2020-02-12

830

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Mario

马里奥是站在游戏界顶峰的超人气多面角色。马里奥靠吃蘑菇成长，特征是大鼻子、头戴帽子、身穿背带裤，还留着胡子。与他的双胞胎兄弟路易基一起，长年担任任天堂的招牌角色。

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。