程序员经验分享-hwhale

Macbook pro外接显卡实现深度学习

2023-05-16

耗时一整天加一晚上终于成功了安装配置外接GPU并运行深度学习案列

故事的缘由

2017年底鬼使神差的买了个macbook，放在家里吃了一年灰，心想还是要用起来啊。目前主要从事数据挖掘机器学习的工作，需要搞搞深度学习，于是上网查攻略，如何使用mac连接GPU进行深度学习，最后查到的方案是使用游戏盒子AORUS GTX 1070 GAMING BOX来连接。但是很多攻略使用的系统都是10.12的，10.13.1的极少，再加上京东下面的各种差评，抱着忐忑的心情去京东买了一个，拿回来心就凉了半截，这包装像是被退货的东西，包装有磨碎，还好打开里面，外壳没有磨损，螺丝口也没有，应该没被人拆过，那我就姑且试试吧。之前问了京东客服苹果设备必须要外接显示器才可使用，又去搞了台显示器。好了，硬件设备准备好了，开始头疼的安装工作。

配置

  • 硬件
    我的系统版本

macOS版本10.13.1
macOS版本10.13.1
GPU：AORUS GTX 1070 GAMING BOX

  • 软件
    WebDriver-378.10.10.10.20.109.pkg
    NVIDIAEGPUSupport ：NVDAEGPUSupport-v2.pkg
    Python 3.7
    Xcode Version 8.3.1
    CudaToolkit: cuda_9.1.128_mac
    CUDNN: cudnn-9.1-osx-x64-v7-ga.tar

组装机诡异事件

由于macbook pro 13寸 2017款支持雷电3接口，买的游戏盒子也是雷电3接口的，按照说明书连好各种线，显卡的DVI接口接外接显示器，显卡的雷点3接口接mac，显卡插上电源同时又可以给笔记本充电，免除了再接电源线的烦恼。但是诡异的事情来了，电脑开机以后要识别显卡必须拔掉显卡的电源线，仅仅是不连接mac都是不行的，必须拔掉显卡电源线！！！在登录界面再连接好显卡的电源线和雷电3的线。之后输入mac密码登录进系统。而关机的时候不拔掉显卡，电脑关机后会重启，有时还会让电脑绿屏，甚是诡异。在显卡驱动安装好以后，显卡的正常状态是彩灯会亮起（如下图），后面的两个小风散会转动，没有装好驱动的时候灯是不会点亮的。下面开始安装显卡驱动和各种软件。
在这里插入图片描述

显卡驱动安装

  • 安装WebDriver：

https://www.insanelymac.com/forum/topic/324195-nvidia-web-driver-updates-for-macos-high-sierra-update-december-7-2018/
在该网页上下载10.13.1对应的的版本，我下载的是109版本的webdriver
在这里插入图片描述
打开安装包进行安装

  • 关闭sip

重启电脑，黑屏时候长按 command+R进入恢复模式，选择命令行工具，输入csrutil disable 这样就关闭了sip

  • 安装eGPUSupport:
    同样在该网址找到10.13.1对应的驱动下载并安装
    https://egpu.io/forums/mac-setup/wip-nvidia-egpu-support-for-high-sierra/
    在这里插入图片描述

注意：安装两个软件，在安装的注意在安全与隐私处选择允许安装

在这里插入图片描述

安装好两个软件后，关闭电脑，黑屏时拔掉显卡电源和连接电脑的线，开机之后在登录窗口出现时连接上显卡的电源，再连接上mac，同时保持外接显示器电源打开状态，如果不打开外接显示器，mac输入密码后会一直卡在登录界面。登录后看到系统报告里多一张显卡（如下图所示），那么就表明已经成功外接显卡。
在这里插入图片描述

下面开始搭建深度学习环境，来条分割线

XCode安装

下载链接如下，需要先进行注册登录，我下载的是8.3.1版本，链接地址：
https://developer.apple.com/download/more/
在这里插入图片描述
下载以后按照向导进行安装

CUDA和CUDNN安装

  • cuda Toolkit安装

英伟达显卡做深度学习需要cuda和cudnn的支持，先安装cuda Toolkit，下载地址：https://developer.nvidia.com/cuda-toolkit-archive
我这里使用的是9.1版本，
在这里插入图片描述

安装好之后，配置 CUDA 环境，打开终端，编辑 ~/.bash_profile 文件

vi ~/.bash_profile

添加环境变量

export CUDA_HOME=/usr/local/cuda
export DYLD_LIBRARY_PATH="$CUDA_HOME/lib:$CUDA_HOME/extras/CUPTI/lib"
export LD_LIBRARY_PATH=$DYLD_LIBRARY_PATH
export PATH=$DYLD_LIBRARY_PATH:$PATH
export flags="--config=cuda --config=opt"

重启bash_profile

. ~/.bash_profile

检测CUDA能否正常运行：

cd /usr/local/cuda/samples
sudo make -C 1_Utlities/deviceQuery
./bin/x86_64/darwin/release/deviceQuery

如果最后显示 Result = PASS，那么CUDA就工作正常

  • cuDNN下载
    下载cudnn需要先进行注册，打开链接找到对应的cuDNN进行安装，我这里选择的是7.0版本。
    https://developer.nvidia.com/rdp/cudnn-download
    在这里插入图片描述
    下好后直接把cudnn压缩包放到这下面/Developer，这是在安装CUDA的时候他就帮你建好的一个路径。
sudo mv 自己的路径/cudnn-9.1-osx-x64-v7-ga.tar /Developer/

然后解压缩包


sudo tar xvf cudnn-9.1-osx-x64-v7-ga.tar

cudnn与cuda合并

sudo mv /Developer/cuda/include/cudnn.h /Developer/NVIDIA/CUDA-9.1/include/
sudo mv /Developer/cuda/lib/libcudnn* /Developer/NVIDIA/CUDA-9.1/lib/
sudo ln -s /Developer/NVIDIA/CUDA-9.1/include/* /usr/local/cuda/include/
sudo ln -s /Developer/NVIDIA/CUDA-9.1/lib/* /usr/local/cuda/lib/

确认/Developer/NVIDIA/CUDA-9.1/lib和include文件夹中能看见cudnn中的文件则合并成功了

tensorflow安装

  • 建立python虚拟环境

首先安装Anoconda，可以直接下载安装，具体安装步骤不再赘述。
https://www.anaconda.com/download/#macos

  • 创建python虚拟环境
    这里选用的是python3.7版本，虚拟环境命名为tensorflow-gpu，python使用3.7版本，打开命令行工具输入
conda create -n tensorflow-gpu python=3.7
  • 下载编译好的tensorflow

由于tenserflow 1.1以后就没有支持macos了，所以上网找到编译好的tenserflow gpu版本 ，下载红框中的whl
https://github.com/TomHeaven/tensorflow-osx-build/releases

在这里插入图片描述
可以看见红框中的版本正是需要cuda 9和cudnn7
在这里插入图片描述
下载解压安装红框的的版本

unzip tensorflow.whl.zip
pip install tensorflow*.whl

好了tensorflow安装完了，安装过程中需要注意版本的匹配问题，如果版本cuda和cudnn版本不匹配，则tensorflow在run的时候可能会卡死。

算力提升效果

在这里插入图片描述
上图使用CPU
在这里插入图片描述
上图使用GPU

使用GPU以后基本上有20倍的加速

测试代码是《tensorflow实战》中提供的源码：
www.broadview.com.cn/30912
使用的是6_1_AlexNet.py的代码，IDE用的pycharm，注意在使用GPU的时候需要选择虚拟环境为tensorflow-gpu 的解释器，并且在函数run_benchmark中添加两行，否则会报内存不够的错误。
在这里插入图片描述

参考文章：
https://blog.csdn.net/hanlin_tan/article/details/78345204
https://blog.csdn.net/wz22881916/article/details/78807993/
https://blog.csdn.net/ssujoensiang/article/details/78620616
https://www.kocpc.com.tw/archives/162983

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Macbook pro外接显卡实现深度学习 的相关文章

  • 图解协程原理

    前言 协程 Coroutines xff0c 是 Kotlin 最神奇 的特性 xff0c 没有之一 本文会以图解 43 动画的形式解释 Kotlin 协程的原理 看完本文后 xff0c 你会发现 xff0c 原来协程也没有那么难 本文要求

  • ubuntu 16.04下安裝和配置ros

    書上和網上關於ubuntu下安裝ros的文章很多 xff0c 但是很多介紹的不完整 xff0c 並且ubuntu和ros之間其實是有版本對應關系的 xff0c 並不是所有的ros都能安裝到所有的ubuntu上 xff0c xff08 很多書

  • Ubuntu 16.04安装docker详细步骤

    因需要安装opendronemap 而这个依赖于docker 所以记录了一下安装docker的步骤 比较简单 通过apt的docker官方源安装最新的Docker CE Community Edition xff0c 即Docker社区版

  • 在本地shell脚本中ssh到远程服务器并执行命令

    shell远程执行 xff1a 经常需要远程到其他节点上执行一些shell命令 xff0c 如果分别ssh到每台主机上再去执行很麻烦 xff0c 因此能有个集中管理的方式就好了 一下介绍两种shell命令远程执行的方法 前提条件 xff1a

  • Catkin_make执行过程

    这是一个比较复杂的问题 xff0c 但是有时候会有莫名其妙的编译错误 xff0c 在找错误的过程中会非常需要了解这个过程 1 模板文件 首先说一下 in文件 在catkin的目录中有许多 in文件 这些都是模板文件 xff0c 以 opt

  • Docker用yum安装步骤

    Docker用yum安装步骤 一 安装docker xff08 完整版 xff09 1 Docker 要求 CentOS 系统的内核版本高于 3 10 uname r 2 使用 root 权限登录 Centos 确保 yum 包更新到最新

  • 1024，如果全世界程序员都消失了，会怎样？

    这两天 xff0c 有一个话题引起了程序员的广泛讨论 xff1a 年薪80W程序员相亲被鄙视 某知名互联网社区 xff0c 一网友发帖 xff0c 自己年薪80W去相亲 xff0c 竟然被鄙视不如在二本学校教书的大学老师 估计令他没想到的是

  • 非线性控制1.1——稳定与跟踪问题概念

    一 非线性控制系统的两大任务 1 稳定 xff08 或称调节 xff09 问题 稳定问题是要使得闭环系统的状态稳定在一个平衡点附近 对于稳定问题 xff0c 系统的输出不一定要有具体的物理意义 xff0c 此时可以借助输入 输出状态线性化方

  • 在 linux ubuntu 18.04 上运行QQ音乐

    在 linux ubuntu 18 04 上运行QQ音乐 我使用的组合为 ubuntu 18 04 43 wine stable 3 6 43 QQ音乐17 63 xff0c 未在其它平台做过尝试 一直想在ubuntu上好好听音乐 xff0

  • 非线性控制1.0——自适应控制和鲁棒控制

    1 鲁棒控制和自适应控制的联系与区别 鲁棒控制是以目的定义的控制方法集合 xff0c 自适应控制是以手段定义的控制方法集合 xff0c 这两种控制都是为了应对 当数学模型不能精确表示实际系统的情况下 狭义的鲁棒控制是指H2 xff0c Hi

  • 非线性控制2.0——鲁棒控制之H无穷控制器设计

    一 基本概念 对于图1所示系统 xff0c u为控制输入 xff0c y为测量输出 xff0c z为被调输出 xff0c w为干扰输入 xff0c 由输入u xff0c w到输出y xff0c z的传递函数G成为增广被控对象 xff0c 控

  • 非线性控制1.0——控制理论生态及结构

    一 控制理论地图 二 控制理论发展及结构 上图应用于 xff1a https www zhihu com people xiang yi 55 49 answers

  • 四旋翼飞行器——飞行原理

    1 机械结构 旋翼对称分布在机体的前后 左右四个方向 xff0c 四个旋翼处于同一高度平面 xff0c 且四个旋翼的结构和半径都相同 xff0c 四个电机对称的安装在飞行器的支架端 xff0c 支架中间空间安放飞控板 结构形式如图 1 1所

  • 四旋翼飞行器——非线性化模型

    一 建模思路 该模型目标控制量是机体相对于地面坐标系的线速度的三个分量Vx xff0c Vy xff0c Vz xff0c 而我们能控的实质上只有四个电机的转速W1 xff0c W2 xff0c W3 xff0c W4 怎样由输入一步步推导

  • 故障诊断4—龙伯格状态观测器设计

    1 龙伯格状态观测器概念 已经线性系统模型如下 xff1a 当系统状态量难以获取 xff0c 但实际控制中又需要利用系统状态量时 xff0c 如何通过输入量和输出量重构系统状态量 xff1f 这便是龙伯格状态观测器设计初衷 xff0c 将实

  • 故障诊断5——状态观测器和输出观测器

    1 状态观测器分类 在现代控制理论中 xff0c 控制系统的基本结构和经典控制理论一样 xff0c 仍然是由受控对象和反馈控制器两部分构成的闭环系统 不过在经典理论中习惯于采用输出反馈 xff0c 而在现代控制理论中则更多地采用状态反馈 由

  • GPS漂移和定位不准确的解决办法

    解决GPS漂移主要从两方面入手 xff1a 一 主系统的设计主要减少在近距离内对GPS信号的干扰 二 软件处理 软件处理主要集中在导航软件处完成 xff0c 导航软件会将坐标定位在道路之内 xff0c 如果GPS接收到的信号超出道路的半径范

  • AI---是什么？可以做什么？

    1 AI的项目简单介绍 图像识别 描述 xff1a 给定图片 xff0c 识别图片中有什么 xff1f 算法 xff1a KNN CNN 情感分析 描述 xff1a 判断文本包含的情感是正面 负面还是中性 关键 xff1a 文本如何表示成向

  • realsense的安装问题

    realsense的安装问题 0 旁白1 SDK的安装2 python开发包的安装3 nodejs开发包的安装方法1 xff1a 方法2 xff1a 接手一位同事的realsense相关项目 xff0c 先配置一个环境 xff0c 出现不少

  • 二叉排序树的删除

    xff08 网上讲二叉排序树删除的资料很少 xff0c 这篇很不错 xff01 转自 xff1a http bbs csdn net topics 110010437 xff09 二叉排序树的删除 xff1a 对于一般的二叉树来说 xff0

随机推荐

  • 分布式锁学习

    概述 分布式锁是控制分布式系统之间同步访问共享资源的一种方式 在分布式系统中 xff0c 常常需要协调他们的动作 如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源 xff0c 那么访问这些资源的时候 xff0c 往往需要互斥来

  • 无人机飞行控制

    intro 这篇笔记记录了无人机飞控算法和px4相关 control algorithm adrc 周立功讲adrc 参数整定 xff1a Scaling and Bandwidth Parameterization

  • 168-HITL-dev-manual

    HITL todo 使用mavlink收ref和imu 可以选择发出pwm和torque 发出torque的话 xff0c 没有考虑pwm的饱和 发出pwm的话 xff0c 电机的参数也不准 参考GAAS FC 写收的imu gps xff

  • 图优化理论（1）

    简介 图优化本质上是一个优化问题 xff0c 所以我们先来看优化问题是什么 优化问题有三个最重要的因素 xff1a 目标函数 优化变量 优化约束 一个简单的优化问题可以描述如下 其中x为优化变量 xff0c 而F x 为优化函数 此问题称为

  • （动态添加select后不显示？）layui动态添加select后重新渲染

    一 问题 xff1a 利用jQuery动态添加的代码中包含select xff0c 运行后不显示 1 显示的状态 2 后台的代码 正常情况下应该像队长班级一样显示 xff0c 但是却惊奇的发现 xff0c 事与愿违 二 原因 Layui会对

  • ARM处理器的快速上下文切换技术

    5 3 1 FCSE 概述 FCSE xff08 Fast Context Switch Extension xff0c 快速上下文切换 xff09 位于 CPU 和 MMU 之间 xff0c 如果两个进程使用了同样的虚拟地址空间 xff0

  • Promise 控制并发请求数量

    Promise 控制并发请求数量 前言 xff1a 浏览器对对同一个服务器的并发数是有限制的 xff0c 参考如下表格 xff08 表格来源于网络 xff0c 未进过严谨测试 xff09 xff1a 浏览器HTTP 1 1HTTP 1 0I

  • 树莓派自动连接WiFi

    将USB无线网卡插入树莓派任一USB接口 xff0c 插上网线 xff0c 接通电源 xff1b 在个人电脑上通过ssh连接树莓派 xff0c 默认帐号是pi xff0c 默认密码是raspberry xff08 如何通过ssh连接树莓派

  • 【DragonBoard 410c】悲催的开箱体验

    这里非常感谢辉哥提供的龙板 这块板子是实验室的学长从高通公司争取过来赠送给我们实验室的 xff0c 从美国寄过来的 xff0c 遗憾的是 xff01 里面没有Android系统 xff01 xff01 以至于我开机折腾了许久 首先 xff0

  • 2017CVTE嵌入式研发岗实习生面经

    本人普通高校大三学生 xff0c 准备在暑假找一份嵌入式实习工作 xff0c 因为实验室一学长去年通过实习生通道成功拿到正式岗offer 而且CVTE在嵌入式这一行的工资福利等都是相当诱人 xff0c 所以我的目标就是首先要拿到cvte的实

  • 安装Ubuntu过程及遇到的问题

    需要的装备 xff1a 1 不小于4G的U盘或者内存卡 43 读卡器也可以 2 UltraISO xff08 使用方法http jingyan baidu com article d169e186800f02436711d87b html

  • 北邮某牛人找工作切身感受

    转自北邮人论坛 by xiaoxuanzi xff08 值得全部看完 xff09 找工作历程基本上要截止了 Offer再多也只能去一个 xff0c 也省了纠结 xff0c 顺便帮等攒人品 Offer搞定能一起happy xff0c 寝室MM

  • DNW下载文件时出现can not open /dev/secbulk0

    在学习过程中碰到了如上的问题 xff0c 在参考了不少博客之后解决了这个问题 首先到这里下载DNW安装包 xff1a http download csdn net detail david xtd 7401761 这里面有两个文件夹dnw和

  • VMware非正常关闭导致打开虚拟机时提示：未找到.vmx文件

    上次手残将VMware直接关闭 xff0c 导致第二次打开虚拟机时提示 vmx文件未找到 根据这个原理 xff0c 可能其他后缀的文件丢失也可以利用相同的原理 xff0c 就是重新建一个虚拟机 xff0c 然后就能得到相同的文件 xff0c

  • 图片合集

    HDMI接口物理地址理解

  • 操作系统--freeRTOS 双向链表解读（list）

    1 简介 本文依据的freeRTOS版本是V9 0 0版本 xff0c 本文将分析链表文件的结构体 xff0c 主要根据其list c和list h文件 2 list h文件解析 span class token comment FreeR

  • socket通信（自己的程序）

    socket相关知识 xff1a socket相关基础知识 xff1a http www cnblogs com skynet archive 2010 12 12 1903949 html 非阻塞socket xff1a http blo

  • NVIDIA Jetson TX2重装系统

    博主所用的Jetson TX2初始环境及相关方面的介绍见前两篇博客 NVIDIA Jetson TX2简介 竹叶青lvye的博客 CSDN博客 nvidiatx2 NVIDIA Jetson官网资料整理 竹叶青lvye的博客 CSDN博客

  • Jetson TX2配置Tensorflow、Pytorch等常用库

    之前在PC Ubuntu或者树莓派上都配置过 方法不变 所以此篇博客会简单记录 下过程 详细的一些方法思路可以去参考博主之前的系列博客 虽然硬件平台不一样 但方法大体一致的 硬件平台主流的有树莓派 NVIDIA Jetson Google的

  • Macbook pro外接显卡实现深度学习

    耗时一整天加一晚上终于成功了安装配置外接GPU并运行深度学习案列 故事的缘由 2017年底鬼使神差的买了个macbook xff0c 放在家里吃了一年灰 xff0c 心想还是要用起来啊 目前主要从事数据挖掘机器学习的工作 xff0c 需要搞

热门标签