EMR本地盘实例大规模数据集测试
阿里云最佳实践频道:【点击查看更多上云最佳实践】
这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求!
场景描述
阿里云为了满足大数据场景下的存储需求,在云上推出了本地盘D1机型,这个系列提供了本地盘而非云盘作为存储,提高了磁盘的吞吐能力,发挥Hadoop的就近计算优势。阿里云EMR产品针对本地盘机型,推出了一整套的自动化运维方案,帮助用户方便可靠地使用本地盘机型,不需要关注整个运维过程同时数据的高可靠和服务的高可用。
解决问题
- 云盘多份冗余数据导致成本高
- 磁盘吞吐量不高
- 节点的高可靠分布问题
- 本地盘与节点的故障监控问题
- 数据迁移时自动决策问题
- 自动故障节点迁移与数据平衡问题
产品列表
- E-MapReduce
- 本地盘
- 专有网络VPC
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
低成本跨境文件传输
阿里云最佳实践频道:【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求! 场景描述 通过OSS加速域名,配合函数计算和函数工作流,打造低成本、高效的跨境对象存储数据同步传输系统:1、跨境对象存储数据传输需求2、对跨境传输成本控制严苛3、能接受一定程度网络抖动带来的文件同步延迟4、系统需要有足够的弹性和扩展性应对大规模文件的写入 解决问题 运维低成本:开发人员关注代码逻辑即可 网络成本低:相比CEN高速通道的方式网络成本降低 同步服务部署成本低:文件发生变化触发函数计算任务,按量触发,不用准备ECS 弹性高效:一个文件同步触发一个函数工作流任务,充分利用资源高效同步 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流 直达最佳实践 》》
- 下一篇
超级计算集群结合ACK实现NLP训练
阿里云最佳实践频道:【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求! 场景描述 本方案适用于自然语言处理的训练场景,使用神龙GPU云服务器(SCCGN6)+CPFS+容器服务Kubernetes版(ACK)进行NLP的训练,采用Bert模型,使用飞天AI加速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙+ACK搭建NLP训练环境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器(SCCGN6) 容器服务Kubernetes版(ACK) SCC超级计算集群 CPFS共享存储 直达最佳实践 》》
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2配置默认Tomcat设置,开启更多高级功能
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- MySQL8.0.19开启GTID主从同步CentOS8
- CentOS7,CentOS8安装Elasticsearch6.8.6
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- Linux系统CentOS6、CentOS7手动修改IP地址
- CentOS7安装Docker,走上虚拟化容器引擎之路