搞AI开发，你不得不会的PyCharm技术-低调大师

搞AI开发，你不得不会的PyCharm技术

2022-10-10 492

摘要：PyCharm在AI项目开发提供了优秀的代码编辑、调试、远程连接和同步能力，在开发者中广受欢迎。

使用PyCharm插件配合ModelArts：

一键帮助用户配置远程ModelArts Notebook，免去用户手工配置
按需使用Notebook资源，启动停止，随心所欲
本地代码提交至ModelArts训练任务，沉浸式AI开发体验

ModelArts是华为云一站式AI开发平台，“一站式”是指AI开发的各个环节，包括数据处理、算法开发、模型训练、模型部署都可以在ModelArts上完成。从技术上看，ModelArts底层支持各种异构计算资源，开发者可以根据需要灵活选择使用，而不需要关心底层的技术。同时，ModelArts支持Tensorflow、PyTorch、MindSpore等主流开源的AI开发框架，也支持开发者使用自研的算法框架，匹配您的使用习惯。

AI模型开发的过程，称之为Modeling，一般包含两个阶段：

开发阶段：准备并配置环境，调试代码，使代码能够开始进行深度学习训练，推荐在ModelArts开发环境中调试。
实验阶段：调整数据集、调整超参等，通过多轮实验，训练出理想的模型，推荐在ModelArts训练中进行实验。

两个过程可以相互转换。如开发阶段代码稳定后，则会进入实验阶段，通过不断尝试调整超参来迭代模型；或在实验阶段，有一个可以优化训练的性能的想法，则会回到开发阶段，重新优化代码

1. 实操体验 How to Use

1.1 插件安装和登录

1.1.1 插件安装

选择File>Settings>Plugins，在Marketplace里搜索“ModelArts”,点击Install即可完成安装。

1.1.2 插件登录

安装完插件后，会在IDE菜单栏出现ModelArts，点击后选择Edit Credential,出现如下页面

点击插件的How to get AK/SK，跳转到华为云文档去按照指导获取AK/SK，把AK/SK填入登录框中，点击OK，即可完成登录。

1.2 训练代码和数据准备

在本博客中，通过附件进行下载获取。

获取完代码和数据中，需要把训练数据上传至OBS中，为下一步提交训练作业做好准备。

进入到OBS控制台中，如果没有OBS桶，需要创建一个，如果已有桶，在该桶下新建一个data文件夹，把已下载好的训练数据上传至该OBS文件夹中。

和data文件夹同级，创建一个job文件夹，用来存放提交的训练作业。

首先获取OBS桶地址，在网页端进行点击获取，地址类似为obs://3xdata

通过拼接获取到data和job文件夹OBS地址分别为：

data:obs://3xdata/data/

job:obs://3xdata/job/

1.3 提交训练作业

通过PyCharm把下载好的训练文件打开，点击插件的Training Job进行训练作业提交

在打开的页面中，选择和填入如下参数：

Engine必须选择tensorflow_2.1.0
启动文件和目录必须位于当前打开项目
OBS Path为上一步获得地址
Specifications可以选择免费规格或者CPU/GPU规格

填写无误后，点击Apply and Run, 等待训练作业运行完成即可看到如下图日志输出

点击日志中的网站链接地址，可以在网页端看当训练作业相关详情，完成网页端信息截图即可

恭喜大家，至此，我们的在ModelArts上进行模型开发的体验就顺利完成了。

2. 更多探索 Learn More

如果拥有PyCharm专业版，还可以体验更多丰富功能，使用Notebook进行开发调试后，再进行训练作业提交，可以参考https://support.huaweicloud.com/devtool-modelarts/devtool-modelarts_0016.html

本文作者小马老师将在10月11日直播详细介绍【试驾PyCharm“混动”AI开发初体验】，欢迎各位点击此处参与。

点击关注，第一时间了解华为云新鲜技术~

微信关注我们

原文链接：https://my.oschina.net/u/4526289/blog/5583398

转载内容版权归作者及来源网站所有！

低调大师中文资讯倾力打造互联网数据资讯、行业资源、电子商务、移动互联网、网络营销平台。持续更新报道IT业界、互联网、市场资讯、驱动更新,是最及时权威的产业资讯及硬件资讯报道平台。

详解数仓的锁相关参数及视图

摘要：GaussDB(DWS) 中锁等待可以设置等待超时相关参数，一旦等锁的时间超过参数配置值会抛错。本文分享自华为云社区《GaussDB(DWS) 锁相关参数及视图详解》，作者： yd_220527686。一、锁相关参数 GaussDB(DWS) 中锁等待可以设置等待超时相关参数，一旦等锁的时间超过参数配置值会抛错。跟锁相关的参数有4个，具体含义如下： 1.deadlock_timeout 表示死锁检测时间，到达该时间后进行死锁检测，默认1秒。 2.lockwait_timeout 当出现表锁冲突的时候生效，当等待表锁的时间超过配置的时间，抛错返回，默认20分钟。 3.update_lockwait_timeout 当出现记录锁冲突的时候生效，如果等待记录锁的时间超过update_lockwait_timeout，抛错返回，默认2分钟。 4.ddl_lock_timeout 当出现八级表锁冲突的时候生效，当等待获取八级锁的时间超过配置的时间，抛错返回，默认值为0，表示不生效，需用户手动开启（在8.1.3版本及更高版本生效）。二、锁相关参数之间的逻辑在8.1.3版本中，新增加参...

2022-10-10

388

作者：赵伟，思必驰大数据高级研发，10年大数据开发和设计经验，负责大数据平台基础技术和OLAP分析技术开发。社区贡献：Doris-spark-connector 的实时读写和优化。业务背景思必驰是国内专业的对话式人工智能平台公司，拥有全链路的智能语音语言技术，致力于成为全链路智能语音及语言交互的平台型企业，自主研发了新一代人机交互平台 DUI 和人工智能芯片 TH1520，为车联网、IoT 及政务、金融等众多行业场景合作伙伴提供自然语言交互解决方案。思必驰于 2019 年首次引入 Apache Doris ，基于 Apache Doris 构建了实时与离线一体的数仓架构。相对于过去架构，Apache Doris 凭借其灵活的查询模型、极低的运维成本、短平快的开发链路以及优秀的查询性能等诸多方面优势，如今已经在实时业务运营、自助/对话式分析等多个业务场景得到运用，满足了设备画像/用户标签、业务场景实时运营、数据分析看板、自助 BI、财务对账等多种数据分析需求。在这一过程中我们也积累了诸多使用上的经验，在此分享给大家。架构演进早期业务中离线数据分析是我们的主要需求，近几年，随着...

2022-10-10

414

资源下载

更多资源

Nacos

Nacos /nɑ:kəʊs/ 是 Dynamic Naming and Configuration Service 的首字母简称，一个易于构建 AI Agent 应用的动态服务发现、配置管理和AI智能体管理平台。Nacos 致力于帮助您发现、配置和管理微服务及AI智能体应用。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据、流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。

Spring

Spring框架（Spring Framework）是由Rod Johnson于2002年提出的开源Java企业级应用框架，旨在通过使用JavaBean替代传统EJB实现方式降低企业级编程开发的复杂性。该框架基于简单性、可测试性和松耦合性设计理念，提供核心容器、应用上下文、数据访问集成等模块，支持整合Hibernate、Struts等第三方框架，其适用范围不仅限于服务器端开发，绝大多数Java应用均可从中受益。

Rocky Linux

Rocky Linux（中文名：洛基）是由Gregory Kurtzer于2020年12月发起的企业级Linux发行版，作为CentOS稳定版停止维护后与RHEL（Red Hat Enterprise Linux）完全兼容的开源替代方案，由社区拥有并管理，支持x86_64、aarch64等架构。其通过重新编译RHEL源代码提供长期稳定性，采用模块化包装和SELinux安全架构，默认包含GNOME桌面环境及XFS文件系统，支持十年生命周期更新。

Sublime Text

Sublime Text具有漂亮的用户界面和强大的功能，例如代码缩略图，Python的插件，代码段等。还可自定义键绑定，菜单和工具栏。Sublime Text 的主要功能包括：拼写检查，书签，完整的 Python API ， Goto 功能，即时项目切换，多选择，多窗口等等。Sublime Text 是一个跨平台的编辑器，同时支持Windows、Linux、Mac OS X等操作系统。