批量计算简介与使用-影视动漫阿里云BCS实践系列一
批量计算:
批量计算(BatchCompute)是一种适用于大规模并行批处理作业的分布式云服务。BatchCompute 可支持海量作业并发规模,系统自动完成资源管理、作业调度和数据加载,并按实际使用量计费。
通俗的讲,就是您可以提交一个任意的计算机程序,让它在阿里云的多个 VM 实例上同时运行,然后把结果写入到指定的持久化存储位置(如阿里云对象存储 OSS 或者文件存储 NAS),然后您可以去指定的位置查看结果。
在影视动漫行业,批量计算适用于渲染或者解算等计算集群的管理。
批量计算名词解释:
作业
用户的每个特定的计算需求在 BatchCompute 中被描述为一个作业(Job)。在BatchCompute 系统中,用户可以通过命令行工具、管理控制台或 SDK 提交、管理和查询作业。
任务
一个作业由一组任务(Task)及其依赖关系组成。批量计算支持能以有向无环图 DAG(directed acyclic graph)形式描述的作业。任务间的依赖关系只能在作业提交时指定,提交完成后不能修改。
实例
每个任务可以有一个或多个执行实例(Instance)。同一任务的各个实例并行处理各自的输入数据。实例是 BatchCompute 调度与执行的最小单元,这些实例会动态的运行在系统分配的虚拟服务器节点上。
集群
一系列的VM实例组在 BatchCompute 中被定义为一个集群(Cluster)。一个集群可以由多个实例组(Group)组成,一个组中的实例共享同样的实例类型定义(如指定的 CPU 核数和内存大小组合),多个组之间共享镜像(Image)。
镜像
镜像(Image)是集群资源创建或者作业运行环境的模板。它是一个标准的或者自定义的 ECS 镜像,需要安装 BatchCompute Agent,然后授权给 BatchCompute 服务使用。
Docker镜像
使用官方提供的 ubuntu 镜像(内置 Docker 容器支持),可以支持自定义 Docker 镜像。自定义 Docker 镜像像普通镜像一样,可以自己安装运行作业的各种程序。
批量计算的使用:
1. 创建阿里云账号
如果您还没有阿里云账号,请登陆阿里云官网,点击右上角“免费注册”创建阿里云账号。
2. 开通BatchCompute
使用注册成功的阿里云账号登陆,点菜单中“产品”,在“弹性计算”中找到批量计算(BatchCompute)进入 产品主页,开通 BatchCompute 服务。
3.在批量计算控制台-->集群列表 右侧点击创建集群
4.在集群创建页面,填写集群名称,镜像ID,期望虚拟机数量等信息,点击提交即可。
其中,
镜像ID:集群机器所使用的镜像ID,自定义镜像需要共享给批量计算服务账号(1190847048572539)。
4.提交成功后在集群列表页面可以看到当前状态
5.创建成功后点击集群名称进入可看到集群详细信息
至此,集群创建成功。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
-
上一篇
阿里巴巴如何基于 Kubernetes 实践 CI/CD
本文根据华相在「Kubernetes & Cloud Native Meetup- 广州站」现场演讲内容整理。文中介绍了阿里巴巴构建 CI/CD 管道的一些工具选择和步骤。 大家好, 我是来自阿里云容器服务团队的华相。首先简单解释一下何为 Kubernetes 来帮助大家理解。Kubernetes 是一个生产可用的容器编排系统。Kubernetes 一方面在集群中把所有 Node 资源做一个资源池,然后它调度的单元是 Pod,当然 Pod 里面可以有多个容器。 就像一个人左手抓着 ECS 资源或计算资源,右手抓容器,然后把它们两个匹配起来,这样它就可以作为一个容器的编排系统。 而 Cloudnative 这个概念现在会经常被大家提起,很多人迷惑 Cloudnative 又与 Kubernetes 有什么关联?我们又该如何判断一
-
下一篇
使用Logtail采集Kubernetes上挂载的NAS日志
采集k8s挂载Nas后的日志 该文档主要介绍使用logtail以两种不同的方式进行k8s挂载Nas后的日志采集。两种采集方式的实现原理是一样的,都是通过将Logtail和业务容器挂载到相同的NAS上,使Logtail和业务容器的日志数据共享,以此实现日志采集。下面是两种采集方式的各自特点: SideCar模式。比较灵活、适合水平扩容,适用于数据量较大的场景; 单独部署Logtail的Deployment。资源消耗比较低、但灵活性以及伸缩性不强,适用于整体集群数据量较少的场景(建议整体日志量不超过每秒10M)。 1. Sidecar NAS采集方式 通过 链接 使用PV&PVC的方式配置挂载Nas的nas-pvc 步骤一 创建pv 步骤二 创建pvc 步骤三 根据下面的yaml模板创建含有logtail的Pod,进行单个Pod的内部采集 si
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- Springboot2将连接池hikari替换为druid,体验最强大的数据库连接池
- MySQL数据库在高并发下的优化方案
- Docker快速安装Oracle11G,搭建oracle11g学习环境
- SpringBoot2编写第一个Controller,响应你的http请求并返回结果
- CentOS7,8上快速安装Gitea,搭建Git服务器
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS8编译安装MySQL8.0.19
- Dcoker安装(在线仓库),最新的服务器搭配容器使用