代码复现问题以及解决

2023-05-16

问题

  1. cuda版本不匹配,对于版本不匹配问题真的很难受
  2. CPU版本还有GPU版本问题
  3. 包安装,apex加速的安装,transformer版本也会限制python的版本
  4. 程序运行,如果程序写的是比较好的,那么这个程序给的运行命令,一定要仔细得看,然后更改到自己的目录,目录一定要正确

解决

  1. cuda已经要按照nvcc -V的命令显示的,nvidia-smi显示的是最高支持的版本,这两个都是你安装的,可以这么理解,nvidia命令是硬件支持的最高的cuda版本,而nvcc命令你可以安装小于这个cuda版本的,例如下图:
    在这里插入图片描述
    在这里插入图片描述
    (可以看出上面硬件最高支持11.6的cuda,但是安装的是11.0的,这样也是可以的)
    但是上面就会引出另一个问题,算力不匹配的问题,例如上面硬件cuda11.6的3090支持的算力是8.6,而安装的cuda11.0的算力支持最高是11.0,可能会出现算力不匹配的问题,所以要在~/.bashrc文件下加上一句,把算力锁一下,当然如果你装的cuda和硬件cuda是匹配的就不用锁了,算力对应表
    vim ~/.bashrc 
    # 在最后一行加上
    export TORCH_CUDA_ARCH_LIST="8.0" 
    
    然后安装torch,按照你安装的cuda,上面是11.0,所以这里要安装1.7.0,可以根据自己安装的去找自己的,在torch历史版本命令集,找到版本对应的命令。
    在这里插入图片描述
    找到命令之后,又会出现超时的错误,就是外网的问题,因为我这个是服务器,所以翻不了墙,或者也会遇到没有找到相关版本的问题,这个问题就直接改命令,下面一般会提示还在的版本,经过我的试验,对于我的版本下面命令是可以安装成功的。
    # 历史版本会给出conda安装和pip安装
    conda install pytorch==1.7.0 torchvision==0.8.0 torchaudio==0.7.0 cudatoolkit=11.0 -c pytorch
    # 建议用pip安装,但是会出现超时,还有可能会出现没有这个版本的问题
    pip install torch==1.7.0+cu110 torchvision==0.8.0+cu110 torchaudio==0.7.0 -f https://download.pytorch.org/whl/torch_stable.html
    # 最后运行了上面的命令,但是出现了超时错误,从网上找到相关的包,然后上传到服务器上,下面是安装命令
    pip install ./torchaudio-0.7.0-cp37-cp37m-manylinux1_x86_64.whl -i https://mirrors.aliyun.com/pypi/simple/
    
    如图:
    在这里插入图片描述
    这里需要注意一下python版本的问题,apex如果要安装也是要python版本对应,给出图示,这里torch版本对应是3.6以上,而apex要python3.7及以上,python3.8又不太适合pytorch1.7.0,会有错误,所以总结一下python用3.7:
    在这里插入图片描述
  2. CPU或者GPU的问题,其实都可以,但是GPU比较快,看个人想要用那个,如果运算需求不大,但是数据量大,那就CPU,因为服务器上内存都大,如果需要数据比较少,不会爆GPU内存,那第一选择还是GPU,安装和上面类似,但是也会出现一些问题
    # 可能有疑问,为啥torch1.7.1,我也不清楚为啥,CPU版本很多包都没有,只有这个能安装成功,可能小版本没有影响吧
    pip install torch==1.7.1+cpu torchvision==0.8.2+cpu torchaudio==0.7.0 -f https://download.pytorch.org/whl/torch_stable.html
    
  3. apex的安装
    # 服务器上安装
    git clone https://github.com/NVIDIA/apex
    cd apex
    # 会经过漫长等待,因为要编译,最后会安装成功
    pip install -v --no-cache-dir --global-option="--cpp_ext" --global-option="--cuda_ext" ./
    
  4. 程序运行命令一定要看github上的命令是怎么运行的,如果不了解,容易出现参数对不上,就是传入多或者少的参数,如果只运行python文件也是不可以的,sh也会出现一些问题,所以最好就是手打命令
    # 这个参数就是添加的,如果不加--mask_entity默认值就是False,如果加上值就变成True
    parser.add_argument('--mask_entity', action='store_true',)
    

补充问题:包的问题,一般从网上下载的代码,一般都可能会有包依赖问题,就是package包引入的时候会报错,所以一定不要建和项目相同的文件夹,直接从git上clone下来,或者就copy到一个空闲的目录下

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

代码复现问题以及解决 的相关文章

  • CEF3 C++接口实现自定义浏览器[simple version]

    目录 目录 1 一 工具准备 2 二 编译C 43 43 接口 2 三 实现浏览器 5 浏览器定制 5 浏览器默认最大化 xff0c 标题从配置文件读取 5 设置浏览器中文环境 xff0c 开启npapi插件功能 xff0c 并注册身份证阅
  • Windows笔记本声音无法找到输出设备

    现象 xff1a 扬声器无法正常工作 xff0c 声音选项提示无法找到输出设备 xff0c 设备管理器的音频输入和输出的声卡文件旁边有黄色的感叹号 xff0c 属性详情里面设备状态提示 xff1a 该设备无法启动 xff08 代码10 xf
  • C++扑克牌发牌

    自动发扑克牌 52张牌无大小王随机发给4个玩家 poker cpp 自动发扑克牌 52张牌无大小王随机发给4个 loaction src poker cpp include lt assert h gt include lt iostrea
  • ArchLinux下i3wm简单配置和美化

    先show下自己配置的截图 简单弄了下 xff0c 凑合用 本文默认你已经安装了基本的archlinux系统 xff0c 只是没有配置桌面环境 所以跳过前面archlinux的基础安装过程 ArchLinux的具体安装请参见我的博客 htt
  • CentOS8下编译配置nginx+rtmp,搭建推流服务器

    一 环境 服务器操作系统 xff1a CentOS Linux release 8 2 2004 Core nginx 版本 https nginx org download nginx 1 18 0 tar gz RMTP模块 xff1a
  • CentOS7网络配置(ping不同的原因及解决方法)

    这是配置好的CentOS7 xff0c 刚开始在Vmware里装CentOS7后是没有ip的 xff0c 原因是CentOS7默认不启动网卡的 xff0c 网卡不启用还ping个毛 进入 etc sysconfig network scip
  • SpringBoot-JPA进行多表连接查询

    通过JPA进行简单的 内 连接查询 1 准备 1 1开发工具Intellij Idea 1 2数据库mysql 1 3新建Spring Initializr项目 xff0c 勾选web mysql rest jpa依赖 2 开始 2 1项目
  • 响应式导航栏-利用纯css实现

    思路 xff1a 当屏幕为移动设备时 xff0c 隐藏导航栏列表项目 xff0c 显示菜单按钮 给菜单按钮 xff08 电脑时隐藏 xff09 加入hover 或者checked选择器实现 xff0c 当hover或者checked的触发时
  • BTRFS文件系统安装ArchLinux

    layout post title BTRFS文件系统安装ArchLinux date 2017 10 02 categories Linux 主要为以下步骤 xff1a 1 下载ArchLinux安装镜像并 制作U盘启动工具 2 开机进入
  • JSP文件上传

    JSP文件上传 网上的方法几乎都是使用的org apache commons fileupload的jar包 xff0c 需要手动下载导入commons fileupload jar和commons io jar 其实tomcat自带的or
  • ORPALIS PDF Reducer Pro(免费pdf压缩器工具)官方正式版V4.0.1 | pdf免费压缩软下载 | 怎样将pdf压缩得很小?

    ORPALIS PDF Reducer Pro 是一款优秀实用的离线单机版pdf免费压缩软件 xff0c 也就是大家说的免费pdf压缩器工具 xff0c 内置多种超高压缩比的PDF压缩算法和创新的页面布局分析以及自动颜色检测机制 xff0c
  • ubuntu系统文件夹作用

    opt 文件夹 用户级的程序目录 xff0c 可以理解为D Software xff0c opt有可选的意思 xff0c 这里可以用于放置第三方大型软件 xff08 或游戏 xff09 xff0c 当你不需要时 xff0c 直接rm rf掉
  • rhel7安装GUI

    check the rank of starting system systenmctl get default not found startx 查看光盘是否挂载 df 挂载 yum mount dev sr0 mnt mount dev
  • org-mode Properties-and-Columns翻译

    https orgmode org manual Properties and Columns html Properties and Columns 文章目录 属性属性语法特殊属性属性查询属性继承 Column View 列视图定义列列定
  • python利用ffmpeg进行rtmp推流直播

    思路 xff1a opencv读取视频 gt 将视频分割为帧 gt 将每一帧进行需求加工后 gt 将此帧写入pipe管道 gt 利用ffmpeg进行推流直播 pipe管道 xff1a 啥是pipe管道 xff1f 粗略的理解就是一个放共享文
  • 电脑环境PCL配置及VS2019环境配置

    VS2019配置pcl 1 12 0 前言 对于 3D 点云处理来说 xff0c PCL 完全是一个的模块化的现代 C 43 43 模板库 其基于以下第三方库 xff1a Boost Eigen FLANN VTK CUDA OpenNI
  • java算法--兔子繁殖问题

    java算法 兔子繁殖问题 题目 xff1a 古典问题 xff1a 有一对兔子 xff0c 从出生后第 3 个月起每个月都生一对兔子 xff0c 小兔子长到第四 个月后每个月又生一对兔子 xff0c 假如兔子都不死 xff0c 问每个月的兔
  • Linux配置Wifi模块

    linux终端无线网卡连接wifi xff1a 扫描可用连接wifi nmcli dev wifi 添加一个wifi的连接 nmcli dev wifi con 无线网络名称 password 无线网络密码 name 任意连接名称 xff0
  • Paho MQTT 嵌入式c客户端研究笔记

    最近做物联网设备 xff0c 需求长连接推送功能 当前物联网有一个标准协议是MQTT xff0c 对应有很多开源服务端 xff0c 如何快速接入这个服务呢 有两种接入方案 xff1a 1 自己clone 代码修改维护 2 找第三方服务 xf

随机推荐

  • Paho MQTT 嵌入式c客户端研究笔记 (二)

    paho mqtt embedded c master MQTTPacket samples xff0c 这个目录里面封装了发布消息 订阅消息的示例 运行pub0sub1 xff0c 这个示例里面会去订阅主题消息 发布主题消息 并且订阅和发
  • Android App 架构设计

    简介 本文是对谷歌原生文档的翻译 xff0c 仅供学习参照 原文链接 此文档写给希望学习最优编程实践和架构以开发健壮 高质量APP的开发者 开发者常遇到的问题 传统的桌面程序大多数使用场景是有一个启动入口 xff0c 作为一个独立进程运行
  • Linux Ubuntu 18.04 换源

    在安装好Ubuntu后 xff0c 你会发现软件下载安装速度非常慢 xff0c 甚至会出错 xff0c 因为Ubuntu官方的源在国内访问的速度非常慢 xff0c 但是我们可以更改系统的源为国内的一些源来提高速度 xff08 国内各大网站的
  • gradle学习二 利用javassist api修改class字节码

    一 前言 Javassist Java Programming Assistant makes Java bytecode manipulation simple It is a class library for editing byte
  • AirPlay Android接收端学习一 协议

    一 AirPlay 接收端描述 AirPlay是苹果的私有协议 xff0c 苹果官方未开放api和sdk xff0c 目前相对权威的一份非官方协议文档 这篇文档详细描述了aiplay 服务发现 图片 音视频 镜像投屏的相关协议 xff0c
  • android手机 加速度传感器 获取x,y,z轴上的加速度

    package com zhp andorid import android app Activity import android content Context import android hardware Sensor import
  • 声纹识别调研

    1 基础概念 声纹 Voiceprint xff0c 是用电声学仪器显示的携带言语信息的声波频谱 现代科学研究表明 xff0c 声纹不仅具有特定性 xff0c 而且有相对稳定性的特点 成年以后 xff0c 人的声音可保持长期相对稳定不变 实
  • Gradle学习三 :AS自定义Gradle插件

    一 定义插件 1 File New Module Android Library 取名plugin1 2 删除plugin1目录下所有文件 xff0c 只保留build gradle 编写build gradle 代码如下 xff1a ap
  • Android Hook 一 Hook CloseGuard

    一 抛出问题 在上一篇 dalvik system CloseGuard 介绍了CloseGuard的原理和作用 xff0c 并在文中提到 APP端可以利用Hook REPORTER 在来实现客制化的上报提示信息 本章通过代码来学一下怎样H
  • Python小白学习笔记-day3

    第三章 Python基本数据类型 学习笔记 浮点数与整数 xff0c Python浮点数运算存在 不确定尾数 问题 xff0c 即两个浮点数运算 xff0c 有一定概率在运算结果后增加一些 不确定的 尾数 xff08 受限于计算机表示浮点数
  • Java实现凯撒密码

    Java实现凯撒密码 加密和解密代码 根据公式 C 61 xff08 P 43 key mod 26 P 61 xff08 C 43 key 1 mod 26 key 1 61 26 key 26 可知 c 61 char c a 43 k
  • Pycharm使用pip报错:Script file ‘D:\Anaconda3\envs\pytorch\Scripts\pip-script.py‘ is not present

    问题描述 xff1a 报错情况1 xff1a 使用pip安装报错 xff1a Script file D Anaconda3 envs pytorch Scripts pip script py is not present 报错情况2 x
  • pip提示版本低需要升级,WARNING: You are using pip version 20.1.1; however,version 20.2.3 is available.

    警告 xff1a 您使用的是pip版本20 1 1 xff1b 但是 xff0c 版本20 2 3是可用的 You should consider upgrading via the 39 e python38 python exe m p
  • manjaro换源

    安装Linux系统必定先换源 xff01 xff01 xff01 x1f601 换源这一块 xff0c 我认为debian系 xff08 如Ubuntu xff09 以及Red Hat系 xff08 如fedora xff09 与基于Arc
  • WARNING: Ignoring invalid distribution -ip (d:\python3.7.5\lib\site-packages)

    警告原因 xff1a 之前安装插件失败 中途退出 xff0c 导致插件安装出现异常导致的 解决方法 xff1a 找到警告信息中报错的目录 xff0c 然后删掉 开头的文件夹
  • Linux上安装ntp

    问题 要同步6台服务器上的时间 xff0c 主要为了以后安装大数据软件做准备 xff0c 这里就需要安装ntp软件 解决 安装ntp和配置环境 1 gt 准备工作 xff1a 关闭防火墙 xff08 一定要关防火墙 xff0c 我是直接永久
  • ubuntu20.04上安装mysql

    目录 安装卸载 安装 命令安装 xff1a 更新源 sudo apt update 默认下载 xff0c 因为下载其他版本太复杂了 xff0c 这里默认是mysql8 0 29 sudo apt install mysql server y
  • arch安装和配置

    问题 安装arch 这里就不赘述相关的步骤 xff0c 我是看b站一个视频 xff0c 下面会给出网址 xff0c 但是要提示一下 xff0c 网络部分是错误的 xff0c 要更改一下 安装之后要配置相关的东西 xff0c 安装完成之后就是
  • (记录)电脑维修指南

    问题 自己在2020年的时候花了将近1500块自己组装了一台计算机 xff0c 但是经常出现蓝屏 xff0c 自动重启 xff0c 并且显示硬件问题 xff0c 2022年的时候也拆开过修过一次 xff0c 也和客服battle了几次 xf
  • 代码复现问题以及解决

    问题 cuda版本不匹配 xff0c 对于版本不匹配问题真的很难受CPU版本还有GPU版本问题包安装 xff0c apex加速的安装 xff0c transformer版本也会限制python的版本程序运行 xff0c 如果程序写的是比较好