DSW:面向AI研发的集成开发平台
云原生技术,注重用户体验,提升研发效率
环境搭建是算法研发过程中的重要一环,这里除了硬件选型外,软件环境的安装配置,后续升级往往会耗费不少时间。DSW借助阿里云ECS,Docker和Kubernetes等云原生技术,能够在2,3分钟内帮用户完成环境搭建。用户可以根据算法需要和成本考虑, 选择阿里云ECS提供的包括CPU和异构计算GPU在内的所有资源规格。不仅支持预付费,还支持后付费。 DSW还配置了10多种适用于不同AI场景的典型软件环境配置, 包括Tensorflow和PyTorch等主流训练框架的不同版本组合,供用户选择。作为高度开放的开发环境,DSW开放sudo权限给用户、支持任意第三方库安装。
为了满足不同水平层次和开发习惯的算法用户,结合可视化,交互式编程和命令行输入,DSW提供了3种编程入口:WebIde适用于工程化要求比较高的项目;JupyterLab适用于快速POC试验;Terminal入口可用于快速执行Shell命令,运行程序和简单的编辑等。
DSW还开发和预装了各种JupyterLab和WebIDE插件, 比如广受深度学习开发者喜爱的可视化工具Tensorboard,用户在DSW内通过Launcher,Commands打开,甚至还可以使用%tensorboard魔法命令直接在Notebook中开启等多种方式使用Tensorboard。不仅支持本地文件,还可以打开存放在OSS,ODPS里的训练日志。针对算法同学使用Python比较多的特点, DSW的WebIDE内安装了Python插件, 可以直接在浏览器内在线调试,单步跟踪程序运行。用户还可以根据需要,自主安装需要的任意插件。
DSW支持多种数据源读写,包括NAS, OSS,云盘和MaxCompute,尤其是内置了dswmagic魔法命令可以让用户在ipynb文件中使用SQL语句读写MaxCompute表中数据,预置的SQL编辑器支持语法高亮、智能提示、自动补全等功能,还支持运行带变量替换功能的Sql脚本。查询结果自动以最友好的图形化展示。
为了节省资源成本,用户可以利用停机不收费功能,在实例闲置不用时关机保存环境, 需要时再一键快速恢复。此外, DSW支持用户自定义镜像安装,可以基于之前保存或定制的环境创建实例。
DSW在公有云上支持了多次百队以上规模的天池大赛,在阿里集团内同样也承接着比赛,经过千锤百炼,证明不仅适合个人和团队研发,也支持大规模算法竞赛和教育培训。
安全性和稳定性是用户比较关心的问题,DSW使用的计算,存储和网络资源,完全是使用用户自己的账号购买,并部署到用户自己的vpc内部, 可以方便与用户其他数据打通。用户间完全隔离,还具备非常好的安全性。基于阿里云ECS和容器服务, 稳定性有保障。
集成PAI的各能力组件,加速业务落地
身为PAI这个大家庭的一员, DSW除了完成单机开发训练功能之外, 还内置部分PAI的基础能力。比如用户可以直接在实例内利用PAI视觉类算法包EasyVision进行图像分类训练评估、预测; 通过自动调参AutoML进行算法超参数自动调优;用户甚至能够无感知的享受PAI编译优化算法组件TAO提供的训练过程中的算子优化。最后, DSW还提供了供算法直接读取MaxCompute表数据的CommonIO组件,支持TableRecordDataSet, TableReader,TableWriter等标准接口,方便训练程序直接提交到PAI的分布式训练集群。
可以预见,在不久的将来, 会有更多的PAI算法包内置进DSW基础镜像内。 DSW也会依赖PAI SDK,围绕数据读取,加工,模型训练, 模型管理以及在线服务等AI研发生产流程的关键环节,为用户提供像Pipeline搭建,调度和管理之类的一条龙服务。
低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
大数据ACP总结(一)
刚刚顺利苟过了阿里ACP, 主要复习策略是多次熟悉阿里云提供大数据官方教程,官方文档,并对核心环境做总结。 社区关于复习提纲的内容以及比较详细了,这里梳理下存在关键细节的考点,也给大家一些参考。 关键数字: 单表分区层级最多6级。单表分区数最多允许60000个分区。一次查询最多查询分区数为10000个分区。 MaxCompute支持上传的单个资源大小上限为500MB, 当使用Select语句屏显时,目前最多只能显示10000行结果 单个SQL中最多可以写256路输出, MaxCompute在MapJoin中最多支持指定8张小表,否则报语法错误。如果使用MapJoin,则所有小表占用的内存总和不得超过512MB。 名称的长度不超过128字节。一张表最多允许60000个分区,单表的分区层次不能超过6级。注释内容是长度不超过1024字节的有效字符串 表的最大列数为1200列。 sql语法: Q:在 MaxCompute SQL 执行过程中,报错为Table xx has n columns, but query has m columns。 A:MaxCompute SQL 使用 INSER...
- 下一篇
【云栖号直播】本周重磅推荐:看智能资深技术专家游骥 解读如何构建持续稳定运行的业务系统
云栖号在线课堂,及时了解行业动态!阿里云推出疫情专题方案,为企业业务护航,让你足不出户了解行业动态。 在这里可以走近阿里云基础产品,了解更多应用方案,还能遇见大咖分享洞见及故事!也可以通过视频的形式让你高效、生动的了解场景化的上云最佳实践。 本周重磅推荐 标题:云原生-高可用技术体系 简介:今天我们邀请到阿里云智能资深技术专家游骥,来为大家解读互联网业务快速发展与云原生技术快速演进的大背景下,如何通过高可用技术体系,构建持续稳定运行的业务系统。 观看直播 标题:阿里云新品发布会第94期:阿里云政企安全加速解决方案全新发布 简介:阿里云政企安全加速解决方案集成了CDN和云安全能力,提供一站式加速+安全能力,在分发链路层实现了防篡改、防爬虫、防DDoS/CC攻击、防WEB入侵等安全特性,助力政府、金融、传媒、企业等领域客户有效应对各类网络应用服务的安全及合规问题。 观看直播 标题:容器技术引领云原生基础设施进化 简介:为什么云原生计算对于对企业数字化转型非常重要?为什么容器技术掀起了云原生计算浪潮,它为现代软件供应链带来了什么样的价值与变革?企业落地容器技术的正确姿势?容器技术作为云原生计...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS8编译安装MySQL8.0.19
- Windows10,CentOS7,CentOS8安装Nodejs环境
- CentOS7编译安装Cmake3.16.3,解决mysql等软件编译问题
- Eclipse初始化配置,告别卡顿、闪退、编译时间过长
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- SpringBoot2整合Redis,开启缓存,提高访问速度
- Docker使用Oracle官方镜像安装(12C,18C,19C)
- CentOS7,8上快速安装Gitea,搭建Git服务器
- Docker安装Oracle12C,快速搭建Oracle学习环境