搞AI开发,你不得不会的PyCharm技术
摘要:PyCharm在AI项目开发提供了优秀的代码编辑、调试、远程连接和同步能力,在开发者中广受欢迎。
使用PyCharm插件配合ModelArts:
- 一键帮助用户配置远程ModelArts Notebook,免去用户手工配置
- 按需使用Notebook资源,启动停止,随心所欲
- 本地代码提交至ModelArts训练任务,沉浸式AI开发体验
ModelArts是华为云一站式AI开发平台,“一站式”是指AI开发的各个环节,包括数据处理、算法开发、模型训练、模型部署都可以在ModelArts上完成。从技术上看,ModelArts底层支持各种异构计算资源,开发者可以根据需要灵活选择使用,而不需要关心底层的技术。同时,ModelArts支持Tensorflow、PyTorch、MindSpore等主流开源的AI开发框架,也支持开发者使用自研的算法框架,匹配您的使用习惯。
AI模型开发的过程,称之为Modeling,一般包含两个阶段:
- 开发阶段:准备并配置环境,调试代码,使代码能够开始进行深度学习训练,推荐在ModelArts开发环境中调试。
- 实验阶段:调整数据集、调整超参等,通过多轮实验,训练出理想的模型,推荐在ModelArts训练中进行实验。
两个过程可以相互转换。如开发阶段代码稳定后,则会进入实验阶段,通过不断尝试调整超参来迭代模型;或在实验阶段,有一个可以优化训练的性能的想法,则会回到开发阶段,重新优化代码
1. 实操体验 How to Use
1.1 插件安装和登录
1.1.1 插件安装
选择File>Settings>Plugins,在Marketplace里搜索“ModelArts”,点击Install即可完成安装。
1.1.2 插件登录
安装完插件后,会在IDE菜单栏出现ModelArts,点击后选择Edit Credential,出现如下页面
点击插件的How to get AK/SK,跳转到华为云文档去按照指导获取AK/SK,把AK/SK填入登录框中,点击OK,即可完成登录。
1.2 训练代码和数据准备
在本博客中,通过附件进行下载获取。
获取完代码和数据中,需要把训练数据上传至OBS中,为下一步提交训练作业做好准备。
进入到OBS控制台中,如果没有OBS桶,需要创建一个,如果已有桶,在该桶下新建一个data文件夹,把已下载好的训练数据上传至该OBS文件夹中。
和data文件夹同级,创建一个job文件夹,用来存放提交的训练作业。
首先获取OBS桶地址,在网页端进行点击获取,地址类似为obs://3xdata
通过拼接获取到data和job文件夹OBS地址分别为:
data:obs://3xdata/data/
job:obs://3xdata/job/
1.3 提交训练作业
通过PyCharm把下载好的训练文件打开,点击插件的Training Job进行训练作业提交
在打开的页面中,选择和填入如下参数:
- Engine必须选择tensorflow_2.1.0
- 启动文件和目录必须位于当前打开项目
- OBS Path为上一步获得地址
- Specifications可以选择免费规格或者CPU/GPU规格
填写无误后,点击Apply and Run, 等待训练作业运行完成即可看到如下图日志输出
点击日志中的网站链接地址,可以在网页端看当训练作业相关详情,完成网页端信息截图即可
恭喜大家,至此,我们的在ModelArts上进行模型开发的体验就顺利完成了。
2. 更多探索 Learn More
如果拥有PyCharm专业版,还可以体验更多丰富功能,使用Notebook进行开发调试后,再进行训练作业提交,可以参考https://support.huaweicloud.com/devtool-modelarts/devtool-modelarts_0016.html
本文作者小马老师将在10月11日直播详细介绍【试驾PyCharm“混动”AI开发初体验】,欢迎各位点击此处参与。

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。
持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。
转载内容版权归作者及来源网站所有,本站原创内容转载请注明来源。
- 上一篇
详解数仓的锁相关参数及视图
摘要:GaussDB(DWS) 中锁等待可以设置等待超时相关参数,一旦等锁的时间超过参数配置值会抛错。 本文分享自华为云社区《GaussDB(DWS) 锁相关参数及视图详解》,作者: yd_220527686。 一、锁相关参数 GaussDB(DWS) 中锁等待可以设置等待超时相关参数,一旦等锁的时间超过参数配置值会抛错。跟锁相关的参数有4个,具体含义如下: 1.deadlock_timeout 表示死锁检测时间,到达该时间后进行死锁检测,默认1秒。 2.lockwait_timeout 当出现表锁冲突的时候生效,当等待表锁的时间超过配置的时间,抛错返回,默认20分钟。 3.update_lockwait_timeout 当出现记录锁冲突的时候生效,如果等待记录锁的时间超过update_lockwait_timeout,抛错返回,默认2分钟。 4.ddl_lock_timeout 当出现八级表锁冲突的时候生效,当等待获取八级锁的时间超过配置的时间,抛错返回,默认值为0,表示不生效,需用户手动开启(在8.1.3版本及更高版本生效)。 二、锁相关参数之间的逻辑 在8.1.3版本中,新增加参...
- 下一篇
重构实时离线一体化数仓,Apache Doris 在思必驰的应用实践
作者:赵伟,思必驰大数据高级研发,10年大数据开发和设计经验,负责大数据平台基础技术和OLAP分析技术开发。社区贡献:Doris-spark-connector 的实时读写和优化。 业务背景 思必驰是国内专业的对话式人工智能平台公司,拥有全链路的智能语音语言技术,致力于成为全链路智能语音及语言交互的平台型企业,自主研发了新一代人机交互平台 DUI 和人工智能芯片 TH1520,为车联网、IoT 及政务、金融等众多行业场景合作伙伴提供自然语言交互解决方案。 思必驰于 2019 年首次引入 Apache Doris ,基于 Apache Doris 构建了实时与离线一体的数仓架构。相对于过去架构,Apache Doris 凭借其灵活的查询模型、极低的运维成本、短平快的开发链路以及优秀的查询性能等诸多方面优势,如今已经在实时业务运营、自助/对话式分析等多个业务场景得到运用,满足了 设备画像/用户标签、业务场景实时运营、数据分析看板、自助 BI、财务对账等多种数据分析需求。在这一过程中我们也积累了诸多使用上的经验,在此分享给大家。 架构演进 早期业务中离线数据分析是我们的主要需求,近几年,随着...
相关文章
文章评论
共有0条评论来说两句吧...
文章二维码
点击排行
推荐阅读
最新文章
- CentOS6,CentOS7官方镜像安装Oracle11G
- CentOS7,8上快速安装Gitea,搭建Git服务器
- SpringBoot2整合Thymeleaf,官方推荐html解决方案
- MySQL8.0.19开启GTID主从同步CentOS8
- SpringBoot2更换Tomcat为Jetty,小型站点的福音
- Red5直播服务器,属于Java语言的直播服务器
- CentOS6,7,8上安装Nginx,支持https2.0的开启
- CentOS8,CentOS7,CentOS6编译安装Redis5.0.7
- Jdk安装(Linux,MacOS,Windows),包含三大操作系统的最全安装
- SpringBoot2整合MyBatis,连接MySql数据库做增删改查操作