使用Mindstudio调用Modelarts进行模型训练

2023-10-26

使用MindStudio连接ModelArts进行模型训练

1 介绍

本文介绍如何使用MindStudio调用ModelArts资源进行模型训练。ModelArts是面向AI开发者的一站式开发平台,帮助用户快速创建和部署模型,管理全周期AI工作流。它集成了Jupyter Notebook,为AI开发者提供在线的交互式开发调试工具。开发者通过创建开发环境,可以自行编写和调测模型训练代码,然后基于该代码进行模型训练。MindStudio提供了在AI开发所需的一站式开发环境,支持模型开发、算子开发以及应用开发三个主流程中的开发任务。依靠模型可视化、算力测试、IDE本地仿真调试等功能,MindStudio能够帮助开发者在一个工具上就能高效便捷地完成AI应用开发。

本文内容涵盖:ModelArts功能介绍;OBS服务使用;在ModerArts平台上创建Notebook实例;连接Notebook实例对模型进行训练。

配套视频链接:https://www.bilibili.com/video/BV1Cr4y1E7j1

2 环境准备

2.1 华为云账号注册

华为云账号注册地址

2.2 获取访问凭证

鼠标移动到控制台右上角用户名的位置,点击我的凭证,可以创建访问密钥。
在这里插入图片描述
在这里插入图片描述

创建访问密钥后可以下载得到一个credentials.csv文件,里面是连接账号的凭证。在后面连接obs和Notebook实例均会用到。

在这里插入图片描述

2.3 MindStudio安装

安装MindStudio之前需要安装环境依赖,具体安装细节参考以下链接:

MindStudio安装指南

3 ModelArts

3.1ModelArts控制面板介绍

注册完成后通过以下顺序进入到ModelArts界面,或者直接点击链接ModelArts

在这里插入图片描述

点击管理控制台,进入到ModelArts界面,下面简单介绍modelarts的几个功能。

在这里插入图片描述

  1. 自动学习:

    自动学习功能根据标注数据自动设计模型、自动调参、自动训练、自动压缩和部署模型。开发者无需专业的开发基础和编码能力,只需上传数据,通过自动学习界面引导和简单操作即可完成模型训练和部署。

  2. 数据管理

    包含数据采集、数据筛选、数据标注、数据集版本管理功能,支持自动化和半自动化的数据筛选功能,支持自动化的数据预标注及辅助自动化标注工具。

  3. 开发环境

    ModelArts开发工具Notebook支持JupyterLab在线交互式开发调试,以及本地IDE远程开发调试。

  4. 算法管理

    ModelArts提供了模型训练的功能,方便您查看训练情况并不断调整您的模型参数。您还可以基于不同的数据,选择不同规格的资源池用于模型训练。

  5. 训练管理

    使用算法开启训练作业,为作业分配服务器资源。

  6. AI应用管理

    ModelArts提供了统一的AI应用管理能力,将训练作业中得到的模型、本地开发的模型部署为AI应用,并进行统一管理。同时,为方便能够将模型部署在不同的设备上,ModelArts还提供了模型转换能力,转换后的模型可应用于ARM、Ascend等类型。

  7. 部署上线

    通常AI模型部署和规模化落地非常复杂。ModelArts支持将训练好的模型一键部署到端、边、云的各种设备上和各种场景上,并且还为个人开发者、企业和设备生产厂商提供了一整套安全可靠的一站式部署方式。

    Modelarts的这些功能都依托于对象存储服务OBS,因此在使用Notebook之前我们将先介绍如何使用OBS对象存储服务。

3.2 对象存储服务OBS

对象存储服务(Object Storage Service,OBS)是一个基于对象的存储服务,在模型训练前,我们需要把训练用的数据集存放在obs中。按如下几个步骤操作。

  • 创建桶

    从控制台左上角的服务列表 找到对象存储服务OBS,点击进入。如果是第一次使用obs,会出现是否开启obs服务的选项,点击确认即可。
    在这里插入图片描述

    进入到obs服务控制面板,首先点击①桶列表,第一次进来桶列表是空的,点击②创建桶

在这里插入图片描述

依次按要求填写桶的相关配置信息,除了红字部分,其他选择默认即可。最后点击立即创建

在这里插入图片描述

创建之后桶名称出现在桶列表中表示创建成功。
  • 下载obs-browser

    obs-browser是华为提供用于管理obs的客户端,点击下载链接,选择合适的版本,下载安装。

在这里插入图片描述

这里选择windows 64位版本,安装后打开,登录界面如下:
在这里插入图片描述

使用2.2获得的访问凭证登录或华为云账号登录。

登录进入obs-brower主界面,obs-browser可以更方便地管理桶,进行文件上传与删除等操作。

在这里插入图片描述

点击进入刚才创建的桶,把训练代码和数据集从本地上传到OBS桶中,这里已经把本地调试好的训练代码和数据集上传了。

4.Notebook

4.1 创建notebook实例

Notebook实例就是一台linux服务器,可以等同于ECS使用。不同之处在于:

  • Notebook实例提供强力的显卡计算资源,按时计费,费用相对较高。而ECS通常不配置显卡,可以包年包月。
  • Notebook实例重启之后非work目录下的操作都会重置。

在ModelArts控制台,

第一步:进入到ModelArts中开发环境 -> Notebook,点击创建按钮。

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

使用Mindstudio调用Modelarts进行模型训练 的相关文章

随机推荐

  • spring-boot-maven-plugin爆红解决方案,亲测有效

    报错信息提示如下 Plugin org springframework boot spring boot maven plugin not found 我使用idea中的spring initialer 来创建的 maven项目 但是在下载
  • 揭秘——STL空间配置器

    为什么要有空间配置器呢 这主要是从两个方面来考虑的 1 小块内存带来的内存碎片问题 单从分配的角度来看 由于频繁分配 释放小块内存容易在堆中造成外碎片 极端情况下就是堆中空闲的内存总量满足一个请求 但是这些空闲的块都不连续 导致任何一个单独
  • java中常见的异常类型

    Throwable 类是 Java 语言中所有错误或异常的超类 只有当对象是此类 或其子类之一 的实例时 才能通过 Java 虚拟机或者 Java throw 语句抛出 类似地 只有此类或其子类之一才可以是 catch 子句中的参数类型 两
  • 基于MATLAB的多聚类相位展开算法实现

    基于MATLAB的多聚类相位展开算法实现 相位展开是一种常见的信号处理算法 用于从相位差模糊的信号中恢复出准确的相位信息 多聚类相位展开算法是相位展开的一种改进方法 能够有效处理多个相位聚类的情况 本文将介绍如何使用MATLAB实现多聚类相
  • 【转载】Parameter must be a descendant of this view问题的解决方案

    转载 原文链接为 http www cnblogs com monodin p 3675040 html 关于ViewFlow和GridView嵌套导致Parameter must be a descendant ofthis view问题
  • arcgis图不见了_arcgis的左边图层边栏不见了怎么弄出来

    1 要加载使用 空间分析模块 首先得在ArcMap中执行菜单命令 在扩展模块管理窗口中 将 空间分析 spatial analyst 前的检查框打勾 然后 在ArcMap 工具栏的空白区域点右键 在出现的右键菜单中找到 空间分析 spati
  • maven springmvc hibernate shiro 集成

    最近项目需要进行高要求的Web权限管理 在比较Spring security和Shiro之后由于Shiro更大的灵活度和更强的配置性选择了Shiro 不过官方的文档写的对于集成spring不太清楚 尤其是Realm怎样实现 因此 在查阅一系
  • pandas安装完成后,报错:ImportError

    安装完pandas后 在使用时 发现需要更新numpy 系统自带的版本是1 12 1 执行 pip install U numpy 安装成功 Traceback most recent call last File D Anaconda3
  • vue3 实现点击可左右滑动

    具体代码如下
  • WINDOWS的远程桌面。

    http baike baidu com view 372045 htm 1 远程桌面的功能 远程桌面连接组件是从Windows 2000 Server开始由微软公司提供的 在WINDOWS 2000 SERVER中他不是默认安装的 该组件
  • Flutter 页面跳转和数据传值 pop回指定页面(路由实践)

    flutter搭建app 感觉相对简化了很多 布局核心就是万事皆widget 在之前我们不管是iOS 安卓原生 还是rn 我们在页面跳转和回转 我们都要对页面进行管理 从iOS 到安卓 到rn 路由被强调话了 web前端的一些重要设计思想被
  • .NET6用起来-Autofac

    本文的主角是Autofac 它是一款非常奈斯的依赖注入框架 暂时先不讨论 先分享几个名词 DI 依赖注入 IOC 控制反转 IOC容器 通过Demo 认识这些名词 Demo很简单 创建一个Asp NET Core项目 新增一个用户服务类 U
  • matplotlib中的3D绘图警告解决:MatplotlibDeprecationWarning: Axes3D(fig) adding itself to the figure

    在用matplotlib绘图中 ax Axes3D fig 我们得到了下面的警告 MatplotlibDeprecationWarning Axes3D fig adding itself to the figure is deprecat
  • 物联网安全技术提高区块链应用数据的可信度

    简介 物联网设备可信上链 物联网设备可信上链 为物联网设备上链提供可信的 一站式 多层级的安全服务 与阿里云BaaS等企业级区块链服务无缝对接 相关产品了解TEE 安全能力 密钥全生命周期管理和安全计算 支持企业级区块链 HyperLedg
  • AWB常见面试问题

    1 有没有处理过生产线问题 如何处理的 2 AWB客观和主观的整体调试流程 常用的机制有哪些 3 色差不过该如何解决 4 处理过那些严重偏色问题 解决思路是什么 5 如何根据偏色问题定位需要调试的模块 6 简述一下AWB的算法流程 7 SA
  • display aspect ratio和遥控器上的调整

    刚刚通过实验新鲜总结出来的 科普一下 一张DVD电影碟片 其解码出来的视频画面大小总是固定的 比如NTSC的DVD 总是720x480 其实不一定 但可以姑且这么认为 显示比例为4 3 不过 值得注意的是 现代的DVD Player和电视机
  • C++模板

    模板定义 函数模板 template
  • websocket 心跳机制

    WebSocket 是一种在客户端和服务器之间创建持久连接的技术 为了保持连接的稳定性 就需要通过发送心跳消息来维持 WebSocket 连接 1 创建一个webscoket基本的使用 创建 WebSocket 对象 传入服务器地址 con
  • k8s--基础--23.7--认证-授权-准入控制--限制用户操作k8s资源的权限

    k8s 基础 23 7 认证 授权 准入控制 限制用户操作k8s资源的权限 1 生成一个证书 1 1 生成一个私钥 cd etc kubernetes pki umask 077 openssl genrsa out lucky key 2
  • 使用Mindstudio调用Modelarts进行模型训练

    使用MindStudio连接ModelArts进行模型训练 1 介绍 本文介绍如何使用MindStudio调用ModelArts资源进行模型训练 ModelArts是面向AI开发者的一站式开发平台 帮助用户快速创建和部署模型 管理全周期AI