使用MindStudio连接ModelArts进行模型训练
1 介绍
本文介绍如何使用MindStudio调用ModelArts资源进行模型训练。ModelArts是面向AI开发者的一站式开发平台,帮助用户快速创建和部署模型,管理全周期AI工作流。它集成了Jupyter Notebook,为AI开发者提供在线的交互式开发调试工具。开发者通过创建开发环境,可以自行编写和调测模型训练代码,然后基于该代码进行模型训练。MindStudio提供了在AI开发所需的一站式开发环境,支持模型开发、算子开发以及应用开发三个主流程中的开发任务。依靠模型可视化、算力测试、IDE本地仿真调试等功能,MindStudio能够帮助开发者在一个工具上就能高效便捷地完成AI应用开发。
本文内容涵盖:ModelArts功能介绍;OBS服务使用;在ModerArts平台上创建Notebook实例;连接Notebook实例对模型进行训练。
配套视频链接:https://www.bilibili.com/video/BV1Cr4y1E7j1
2 环境准备
2.1 华为云账号注册
华为云账号注册地址
2.2 获取访问凭证
鼠标移动到控制台右上角用户名的位置,点击我的凭证
,可以创建访问密钥。
创建访问密钥后可以下载得到一个credentials.csv文件,里面是连接账号的凭证。在后面连接obs和Notebook实例均会用到。
2.3 MindStudio安装
安装MindStudio之前需要安装环境依赖,具体安装细节参考以下链接:
MindStudio安装指南
3 ModelArts
3.1ModelArts控制面板介绍
注册完成后通过以下顺序进入到ModelArts界面,或者直接点击链接ModelArts
点击管理控制台,进入到ModelArts界面,下面简单介绍modelarts的几个功能。
-
自动学习:
自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力,只需上传数据,通过自动学习界面引导和简单操作即可完成模型训练和部署。
-
数据管理
包含数据采集、数据筛选、数据标注、数据集版本管理功能,支持自动化和半自动化的数据筛选功能,支持自动化的数据预标注及辅助自动化标注工具。
-
开发环境
ModelArts开发工具Notebook支持JupyterLab在线交互式开发调试,以及本地IDE远程开发调试。
-
算法管理
ModelArts提供了模型训练的功能,方便您查看训练情况并不断调整您的模型参数。您还可以基于不同的数据,选择不同规格的资源池用于模型训练。
-
训练管理
使用算法开启训练作业,为作业分配服务器资源。
-
AI应用管理
ModelArts提供了统一的AI应用管理能力,将训练作业中得到的模型、本地开发的模型部署为AI应用,并进行统一管理。同时,为方便能够将模型部署在不同的设备上,ModelArts还提供了模型转换能力,转换后的模型可应用于ARM、Ascend等类型。
-
部署上线
通常AI模型部署和规模化落地非常复杂。ModelArts支持将训练好的模型一键部署到端、边、云的各种设备上和各种场景上,并且还为个人开发者、企业和设备生产厂商提供了一整套安全可靠的一站式部署方式。
Modelarts的这些功能都依托于对象存储服务OBS,因此在使用Notebook之前我们将先介绍如何使用OBS对象存储服务。
3.2 对象存储服务OBS
对象存储服务(Object Storage Service,OBS)是一个基于对象的存储服务,在模型训练前,我们需要把训练用的数据集存放在obs中。按如下几个步骤操作。
依次按要求填写桶的相关配置信息,除了红字部分,其他选择默认即可。最后点击立即创建
。
创建之后桶名称出现在桶列表中表示创建成功。
这里选择windows 64位版本,安装后打开,登录界面如下:
使用2.2获得的访问凭证登录或华为云账号登录。
登录进入obs-brower主界面,obs-browser可以更方便地管理桶,进行文件上传与删除等操作。
点击进入刚才创建的桶,把训练代码和数据集从本地上传到OBS桶中,这里已经把本地调试好的训练代码和数据集上传了。
4.Notebook
4.1 创建notebook实例
Notebook实例就是一台linux服务器,可以等同于ECS使用。不同之处在于:
- Notebook实例提供强力的显卡计算资源,按时计费,费用相对较高。而ECS通常不配置显卡,可以包年包月。
- Notebook实例重启之后非
work
目录下的操作都会重置。
在ModelArts控制台,
第一步:进入到ModelArts中开发环境
-> Notebook
,点击创建
按钮。