Google Colaboratory:一款用于深度学习的免费GPU使用方法

2023-05-16

Google Colaboratory:一款用于深度学习的免费GPU使用方法

  • 一、Google Colab介绍
  • 二、Google Colab使用方法
    • 2.1 登陆Google云盘
    • 2.2 创建Google Colab类型文件
    • 2.3 Colaboratory文件环境配置
    • 2.4 Google Colaboratory的与深度学习相关配置环境基本信息
  • 三、Google Colaboratory挂载谷歌云盘(Google Drive)
    • 3.1 加载本地数据到云盘上
    • 3.2 下载云盘数据到本地

众所周知,在训练深度学习时候需要非常大计算资源,通常CPU是不能满足需求的,这个时候就需要使用GPU来进行计算。但是如果自己购买高性能的GPU,比如1080Ti都需要3000左右。因此,本文介绍一款免费的GPU计算资源:GPU Colaboratory。

一、Google Colab介绍

Google Colaboratory(可缩写为Google Colab)是谷歌开放的一款用于机器学习领域的免费研究工具,最主要的是它给AI研究人员提供了免费的Tesla K80 GPU使用,该GPU以前具有24GB的显存容量(现在大概为16GB),可以轻松的训练Keras、Tensorflow、Pytorch等框架的深度学习模型。

Google Colab是基于jupyter notebook环境的,支持python2/3,同时还包括GPU、TPU加速。它与Google云盘集成,用户可以通过Google云盘共享项目或将其他项目复制到自己的账户中。

二、Google Colab使用方法

2.1 登陆Google云盘

Google云盘的网址为:https://drive.google.com/drive/my-drive,并注册账户。这样就可以开心地使用Google Colaboratory了,打开云盘,点击我的云盘硬盘下面的新建文件夹,创建自己的项目文件Deep Learning

在这里插入图片描述

2.2 创建Google Colab类型文件

右键创的项目文件Deep Learning,选择打开方式下的关联更多应用

在这里插入图片描述
如下图所示,在Goolge Workspace Marketplace中安装Colaboratory应用。

在这里插入图片描述
这时,我们就可以根据下图,创建Colaboratory文件了。点击建立的文件Deep Learning,在文件的空白处点击鼠标右键,在弹出的对话框中选择更多,然后选择Google Colaboratory

在这里插入图片描述
这样我们就在Deep Learning文件夹下面创建了Colaboratory类型的文件了,系统会以网页形式打开如下图所示。Colaboratory类型文件是一个Jupyter notebook文件,可以通过网页打开它,并在该文件中编辑python文件。点击文件中的重命名我们就可以自定义Colaboratory文件的名字了。

在这里插入图片描述

2.3 Colaboratory文件环境配置

如果想让创建的Colaboratory文件跑GPU程序,我们需要对其进行环境配置。双击建立的Colaboratory文件,如下图所示,点击工具栏的修改,然后点击笔记本设置

在这里插入图片描述
如下图所示,在弹出的笔记本设置对话框中进行环境配置。在硬件加速器中选择GPU,最后保存推出就完成了GPU环境配置。

在这里插入图片描述

注意:
这里如果不配置GPU,创建的Colaboratory类型的文件运行的远程Google Colaboratory虚拟环境是没有显卡信息的。

2.4 Google Colaboratory的与深度学习相关配置环境基本信息

注意:
(1)创建的Colaboratory类型的Example_1.ipynb文件是运行在Google Colaboratory远程服务器上的,它是一个以jupyter notebook界面显示的深度学习开发环境的Ubuntu20.04系统
(2)因此,我们不仅可以在上面运行python脚本,还可以使用pip指令安装库,甚至还能运行Linux Shell脚本,只不过需要在Linux指令前面加一个。另外,还需要注意的是在Google Colaboratory平台上cd命令是无效的,切换目录使用的是os.chdir命令,比如,切换到根目录:import os; os.chdir('/')

  • 如下图所示,给出Google Colaboratory远程服务器上一些基本信息,可以看出系统默认安装的Tensorflow版本为2.8.8,python版本为3.7,系统为ubuntu18.04。

  • 需要输入的命令为:

from tensorflow import python
import tensorflow as tf
print('Google Colaboratory远程服务器中的Tensorflow版本:', tf.__version__)
print('Google Colaboratory远程服务器中的Python版本及其位置:')
print(python)

!lsb_release -a

在这里插入图片描述

  • 如下图所示,Google Colaboratory远程服务器上显卡信息如下所示,显存为16GB,最高支持的CUDA版本为11.2。

在这里插入图片描述

  • 如下图所示,输入命令!nvcc --version,可以看出Google Colaboratory远程服务器上CUDA的版本为11.1版本。

在这里插入图片描述

  • 如下图所示,可以查看CPU内存、GPU内存使用上限,由下图可以看出,CPU的使用上限只有256M,GPU内存的使用上限为11.4GB,另外,如果购买Colab pro显存会变为16GB。
    指令如下所示:
from tensorflow.python.client import device_lib
device_lib.list_local_devices()

在这里插入图片描述

  • 如下图所示,可以查看GPU是否在Google Colaboratory中,输出结果为'/device:GPU:0'表示GPU已经添加到Google Colaboratory中了。
  • 查看GPU是否在Google Colaboratory中的指令为
import tensorflow as tf
tf.test.gpu_device_name()

在这里插入图片描述

三、Google Colaboratory挂载谷歌云盘(Google Drive)

创建的Google Colaboratory远程服务器的工作目录是/content(相当于Linux系统的/home目录)。我们可以将谷歌云盘(Google Drive)挂载到Google Colaboratory远程服务器上的/cotent/grive文件夹上。为了弄清除挂载谷歌云盘的过程,如下图所示,我们首先查看挂载前文件夹/content下的内容,这个时候只有示例的一些经典的深度学习数据集合。

在这里插入图片描述
Google Colaboratory挂载谷歌云盘的python代码如下所示:

from google.colab import drive
drive.mount('/content/gdrive')

执行完上面的python代码后,在Goole Colaboratory上创建的项目Deep Learning就根谷歌云盘同步了,结果如下图所示:
在这里插入图片描述

3.1 加载本地数据到云盘上

从本地上传数据
我们首先在本地的系统中创建若干个文本文件,我在系统的/home/liang/文档下面创建一个文档Google_Drive,用于存放本地数据,并创建两个文本文档存放数据(作为演示用,文档中的内容可以随便写),如下图所示:

在这里插入图片描述

注意:从本地上传使用的是Google Colaboratory平台的python函数files.upload:它返回的是一个关于上传文件信息的字典格式数据,其中,字典键值为文件名,字典的值为文件内的数据。

然后在Google Colaboratory平台上输入如下代码:

from google.colab import files

uploaded = files.upload()
for fn in uploaded.keys():
  print('上传的文件 "{name}" 有 {length} 比特'.format(
      name=fn, length=len(uploaded[fn])))

运行代码,弹出如下所示的上传文件对话框,点击B,在本地的/home/liang/文档/Google_Drive文件夹中选择文本1和文本2,进行上传。

在这里插入图片描述
。上传的结果如下图所示:

在这里插入图片描述

3.2 下载云盘数据到本地

将文件下载到
首先在Google Colaboratory平台上点击文件结构(网页左边),找到/content/gdrive/MyDrive/Deep Learning文件夹,右键Deep Learning文家夹,在弹出下拉框点击新建文件,创建exam文件,双击exam文件输入hellow world!

在这里插入图片描述
然后,在Google Colaboratory平台上输入如下代码,就可以将代码下载到本地的/home/liang/下载文件夹内了。

from google.colab import files
files.download('./exam.txt')
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Google Colaboratory:一款用于深度学习的免费GPU使用方法 的相关文章

  • TensorFlow的map_fn仅在CPU上运行

    我在尝试获取 TensorFlow 时遇到了一个奇怪的问题map fn在我的 GPU 上运行 这是一个最小的损坏示例 import numpy as np import tensorflow as tf with tf Session as
  • 除了第一个 cudaMalloc 调用之外,还有什么特定的函数可以初始化 GPU?

    由于 GPU 上的一些初始化工作 第一个 cudaMalloc 调用很慢 例如 0 2 秒 是否有任何函数只进行初始化 以便我可以分离时间 cudaSetDevice 似乎将时间减少到 0 15 秒 但仍然没有消除所有初始化开销 致电 cu
  • 如何在 AMD/ATI GPU 上运行 TensorFlow?

    读完本教程后https www tensorflow org guide using gpu https www tensorflow org guide using gpu我用这个简单的代码检查了 GPU 会话 import numpy
  • 与功能较弱的 GPU 相比,Tesla V100-SXM2-16GB GPU 上的 keras 启动时间 (_make_train_function()) 非常慢

    跟进 GPU 机器上的 keras 和 TensorFlow 有些部分非常慢 https stackoverflow com q 47296197 590335 从tensorflow 1 4运行mnist cnn py 稍微修改 主要添加
  • Caffe/pyCaffe:设置所有 GPU

    是否可以为Caffe 尤其是pyCaffe 设置所有GPU 就像是 caffe train solver examples mnist lenet solver prototxt gpu all 这两个分支现在都支持多 GPU 一段时间了
  • GPU 的延迟是多少?

    我可以找到 CPU 核心与其缓存 主内存等之间的 CPU 周期延迟 但似乎很难找到有关现代 GPU 的类似信息 有谁知道 GPU 的延迟 特别是现代 nvidia GPU GF110 或更高版本 与其内存之间的延迟 谢谢 GPU 内存确实具
  • C++ 中的按元素运算

    是否有一个预先存在的库可以让我创建具有以下属性的类似数组的对象 运行时大小规范 在实例时选择 之后不会增长或缩小 运算符重载以执行元素明智的操作 即c a b将产生一个向量c with c i a i b i 对全部i 类似地对于 etc
  • 在张量流中调整 3D 数据的大小,如 tf.image.resize_images

    我需要调整一些 3D 数据的大小 例如tf image resize images二维数据的方法 我想我可以尝试跑步tf image resize images在它上循环并交换轴 但我认为一定有一种更简单的方法 简单的最近邻应该没问题 有任
  • GPU 上的高效全对集交集

    I have n集合 有限宇宙的子集 我想计算n n矩阵 其中 I J 条目包含集合交集的基数I并设置J n的顺序是50000 我的想法是将矩阵分割成足够小的块 以便每个条目都有一个线程 每个线程都应该使用以下方法计算交集bitwise a
  • 如何使用 eclipse Nsight 仅使用一个 GPU 调试 CUDA

    我收到错误 所有 cuda 设备均用于显示 在调试时无法使用 使用Ubuntu 有没有什么方法可以使用 Nsight eclipse 仅使用一个 GPU 进行调试 我见过类似的解决方案 sudo 服务 lightdm 停止 杀死 X 但这也
  • 使用 pytorch 获取可用 GPU 内存总量

    我正在使用 google colab 免费 Gpu 进行实验 并想知道有多少 GPU 内存可供使用 torch cuda memory allocated 返回当前占用的 GPU 内存 但我们如何使用 PyTorch 确定总可用内存 PyT
  • CUDA素数生成

    当数据大小增加超过 260k 时 我的 CUDA 程序停止工作 它不打印任何内容 有人能告诉我为什么会发生这种情况吗 这是我的第一个 CUDA 程序 如果我想要更大的素数 如何在 CUDA 上使用大于 long long int 的数据类型
  • 如何在使用 GPU 支持编译的 macOS 上安装 Xgboost?

    我尝试在过去 3 天的 MacOS Mojave 10 14 6 上安装集成了 GPU 支持的 xgboost 但是没有成功 我尝试了两种方法 pip 安装 xgboost xgboost 安装在这里 并且在没有 GPU 选项的情况下成功运
  • DirectX 世界视图矩阵乘法 - GPU 或 CPU 的地方

    我是 directx 的新手 但令我惊讶的是 我看到的大多数示例中 世界矩阵和视图矩阵都是作为顶点着色器的一部分相乘 而不是与 CPU 相乘并将结果传递给着色器 对于刚性对象 这意味着您为对象的每个顶点将相同的两个矩阵相乘一次 我知道 GP
  • 无法在 CUDA 中执行设备内核

    我正在尝试在全局内核中调用设备内核 我的全局内核是矩阵乘法 我的设备内核正在查找乘积矩阵每列中的最大值和索引 以下是代码 device void MaxFunction float Pd float max int x threadIdx
  • 设置最大 CUDA 资源

    我想知道是否可以设置 CUDA 应用程序的最大 GPU 资源 例如 如果我有一个 4GB GPU 但希望给定的应用程序只能访问 2GB 如果它尝试分配更多 就会失败 理想情况下 这可以在进程级别或 CUDA 上下文级别上设置 不 目前没有允
  • 从 CUDA 设备写入输出文件

    我是 CUDA 编程的新手 正在将 C 代码重写为并行 CUDA 新代码 有没有一种方法可以直接从设备写入输出数据文件 而无需将数组从设备复制到主机 我假设如果cuPrintf存在 一定有地方可以写一个cuFprintf 抱歉 如果答案已经
  • OpenCL 内核在 Nvidia GPU 上每个线程使用多少寄存器?

    我的第一个问题是如何获取 Nvidia GPU 上 OpenCL 内核代码的寄存器使用信息 因为 nvcc 编译器给出了相同的使用信息nvcc ptxas options vCUDA 内核代码的标志 我还从 AMD GPU for Open
  • 如何在GPU支持下运行python代码

    我创建了一个 Flask 服务 用于接受以相机 URL 作为参数的请求 用于在相机框架中查找对象 桌子 椅子等 我已经在 Flask 中编写了用于接受 POST 请求的代码 app route rest detectObjects meth
  • CUDA Thrust 的多 GPU 使用

    我想使用我的两张显卡通过 CUDA Thrust 进行计算 我有两张显卡 在单卡上运行对于两张卡都适用 即使我在 std vector 中存储两个 device vector 也是如此 如果我同时使用两张卡 循环中的第一个周期将起作用并且不

随机推荐

  • win10中WSL与Intel Haxm系列模拟器产生冲突

    windows 中的 wsl 基于微软自家的 Hyper V ms WHPX 系虚拟化加速 有些第三方的安卓模拟器 xff0c 基于 Intel 家的 Haxm Intel Haxm 系虚拟化加速 但是 xff0c 一个运行中的系统 xff
  • Windows10安装ubuntu(WSL2,可直接调用Win10程序) —2022年笔记

    算是wsl2的使用总结 一 启动win10虚拟机模块 1 打开控制面板 xff08 或开始 gt 运行 control xff09 2 点击最左边的 启用或关闭windows功能 xff0c 会弹出模块勾选界面 3 勾上 Hyper V 适
  • MySQL分组后取每一组第N条数据

    1 知识点 group concat 函数 聚合函数 1 功能 xff1a 将group by产生的同一个分组中的值连接起来 xff0c 返回一个字符串结果 2 语法 xff1a group concat distinct 要连接的字段 o
  • TDengine的安装使用(超详细)

    TDengine的安装使用 目录 FastBee物联网使用TDengine作为时序数据库 xff0c 蜂信物联官网 xff0c 开源项目演示 xff1a FastBee文档 xff1a 立即开始 TDengine 文档taos的配置参数客户
  • 双系统安装教程(win10 & ubuntu20.04)

    双系统安装教程 xff08 win10 amp ubuntu20 04 xff09 背景创建启动盘win10下磁盘划分开始安装吧我的分区设置启动项 背景 最近公司项目开发需要linux系统 xff08 yocto构建 xff09 xff0c
  • python3.x 快速入门

    Edit the gt 2018 6 15 11 26 53 1认识Python 人生苦短 我用python 优雅 明确 简单 是python设计哲学 python的设计目标之一 是让代码具备高度的可阅读性 python 被广泛用于web程
  • python字符串和列表的切片

    python字符串和列表的切片 前言1 切片字符串例子2 切片语法说明3 列表切片例子演练总结 前言 对于字符串和列表python提供了以 start end step 直观方式来截取字符串和列表一部分 xff0c 使用起来非常便利和直观
  • Debian安装

    欢迎访问爱招飞网站https www isoface cn获取更多物联网产品技术信息 Debian 是一个自由的操作系统 xff08 OS xff09 xff0c 提供您安装在计算机上使用 操作系统就是能让您的计算机工作的一系列基本程序和实
  • Java读取jar包中的resource资源文件

    目录 1 需求 2 问题 3 IDEA读取resource资源 3 1 方法1 3 2 方法2 4 打成jar包后读取resource资源 4 1 读取jar包中的资源文件 4 2 遍历jar包资源目录 4 2 1 环境判断 4 2 2 复
  • 【Excel】排名之成绩并列排名(sumproduct、countif 函数的组合使用方法)

    目录 一 应用场景 解决成绩并列排名 二 sumproduct countif 函数的官方语法说明 三 组合使用的解释 一 应用场景 解决成绩并列排名 在 Excel 的排名中 xff0c 不免会遇到 并列第一 xff0c 并列第X 的情况
  • Kotlin教程 各种View的声明赋值点击事件详解

    本章节讲述Kotlin中各种View的声明赋值点击事件 xff0c 比如TextView xff0c EditText xff0c ImageView 这些在Java语言中是最最基础的东西 写这篇文章的主要目的就是看一下Kotlin语言中有
  • QT连接MYSQL踩过的坑

    1 QT版本需要与mysql版本一致 xff0c 我测试成功的版本都是64位的情况 2 添加引用和链接 include 34 MainWindow h 34 include 34 ui MainWindow h 34 include inc
  • goodnotes导入文件需要密码,教你一招破解!

    很多用goodnotes或者其他ipad软件学习的小伙伴可能会遇到相同的问题 xff0c 就是有的文件在导入的时候会显示需要密码 我自己也是查了很多资料咨询了很多人 xff0c 百度上说的另存为一下有时候管用有时候不管用 最后总结了一下经验
  • 选择排序过程详解

    选择排序过程详解 1 xff0c 引入 和插入排序的插入一样 xff0c 选择更多的是一种思路 xff0c 使用这种思路排序的算法也有多种 xff1a 这篇文章要梳理的是其中最基础的一种 简单选择排序的确足够简单 xff0c 以至于我写完本
  • 在Termux上安装Kali Linux 完整系统

    安装Kali Linux前准备工作 xff1a 1 安装F Droid 开源软件商店 官网 2 使用F Droid商店安装Termux APK 注 xff1a 当然也是可以在play商店里安装Termux 但是可能会出现pkg 更新和安装错
  • Linux Mint 21 Cinnamon安装RSS阅读器FluentReader(FlatPak版))

    RSS新闻聚合阅读已经渐渐淡出了互联网 xff0c 这种阅读方式的力量如今可算是强弩之末了 xff0c 做为一名老网友 xff0c 笔者还通过更种方式 xff0c 找到一些阅读源 xff0c 然而如何选择阅读器就成了大问题 Google R
  • SSD与MobileNet详解

    1 概述 本文档阐述SSD检测算法原理 xff0c 及以MobileNet为Backbone的网络搭建方式 十里桃园首发 xff0c 转载请注明 Why SSD xff1f 无论是机器学习或是深度学习一般都可分为两个部分 xff1a 特征提
  • iOS XMPP简单聊天的实现

    简书中这位小伙伴写的还是不错滴 http www jianshu com p 8894a5a71b70
  • 如何将物理机Windows10操作系统迁移到VMware虚拟机(图文)

    如何将物理机Windows系统迁移到VMware虚拟机 xff08 图文 xff09 一 迁移物理系统到VMware虚拟机简述二 将物理机的Windows系统迁移到VMware虚拟机的过程步骤1 xff1a 在DiskGenius中打开VM
  • Google Colaboratory:一款用于深度学习的免费GPU使用方法

    Google Colaboratory xff1a 一款用于深度学习的免费GPU使用方法 一 Google Colab介绍二 Google Colab使用方法2 1 登陆Google云盘2 2 创建Google Colab类型文件2 3 C