抢占式ECS搭建离线大数据分析集群-低调大师

抢占式ECS搭建离线大数据分析集群

2020-02-11 806

场景描述

基于阿里云的抢占式ECS实例以及弹性伸缩能力，同时结合阿里云对象存储OSS服务搭建离线大数据分析集群，实现计算与存储分离架构，同时降低计算资源成本和提升计算资源利用率且拥有海量存储能力。

方案优势

计算与存储资源成本优化
大数据分析集群海量存储能力
计算资源弹性伸缩
运维简便
计算与存储分离架构，集群高性能

解决问题

离线大数据分析集群计算和存储资源成本管控困难
计算资源弹性能力不足
大数据量大导致存储容量不足
大数据分析集群云资源性能优化

产品列表

抢占式ECS实例
对象存储OSS
弹性伸缩ESS
专有网络VPC
弹性公网IP

直达最佳实践》》

微信关注我们

原文链接：https://yq.aliyun.com/articles/744599

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

美亚高分好评，2020年优秀的7本Linux shell新书

近日，bookauthority评选出2020年学习Linux shell最号的7本新书，美亚评分全部在4分以上，而且版本是最新的，你都不需要担心书籍过时的问题。关于Linux的重要性，相信大家都知道了，猿妹这里就不多��嗦了，还是一起来看看都是哪7本书吧： 1. 《Cybersecurity Ops with bash》本书作者Paul Troncone也是《bash Cookbook》的作者之一，他通过这本书介绍了攻防基本原则，命令行和Bash基础以及正则表达式，数据收集与分析，实时日志监控和恶意软件分析、渗透测试，以及用户管理权限，软件和设备目录等。 2. 《Linux: 2019 NEW Easy User Manual to Learn the Linux Operating System and Linux Command Line》这本书适合Linux新手学习，通过它你将了解什么是Linux，以及为什么要使用它，使用Linux的好处有哪些;如何开始使用Linux，如何使用shell，如何管理正在运行的进程等......内容都十分基础，因此，十分适合初学者 3. 《L...

2020-02-13

781

使用云盘存储卷，往往在服务初始化的时候申请了一个适当容量的云盘，但是随着数据的增长，数据盘的容量不能满足需求，需要扩容。传统应用的扩容场景中，往往是先手动停掉应用，再对数据盘进行备份，然后执行扩容操作，最后重新启动应用。 Kubernetes本身是一个自动化调度、编排系统，实现了对数据卷的生命周期管理。在K8S 1.14中，CSI数据卷扩容属于Alpha阶段，需要开启Feature Gates才可以使用；本文描述在CSI环境中如何进行云盘的动态扩容：使用说明： 1. 数据备份：切记：做数据卷扩容前，先对云盘打快照备份，以防扩容过程异常导致数据出现问题； 2. 集群依赖：对云盘扩容操作需要调用云盘扩容相应API，所以需要集群具有此API的调用权限，可以参考集群权限文档为集群添加此权限；参考详细步骤。 3. 数据卷限制：只有动态存储卷才可以进行数据卷动态扩容，即配置了StorageClassName的PV；不支持InlineVolume类型（非PV、PVC方式）云盘数据卷扩容；普通云盘类型不支持动态扩容，请参考使用手动扩容云盘方案； 3. 对StorageClass的要求：...

2020-02-12

862

资源下载

更多资源

优质分享App

近一个月的开发和优化，本站点的第一个app全新上线。该app采用极致压缩，本体才4.36MB。系统里面做了大量数据访问、缓存优化。方便用户在手机上查看文章。后续会推出HarmonyOS的适配版本。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。