使用 PyTorch 直接将数据加载到 GPU 中

2024-01-06

在训练循环中,我将一批数据加载到 CPU 中,然后将其传输到 GPU:

import torch.utils as utils

train_loader = utils.data.DataLoader(train_dataset, batch_size=128, shuffle=True, num_workers=4, pin_memory=True)

for inputs, labels in train_loader:
    inputs, labels = inputs.to(device), labels.to(device)

这种加载数据的方式非常耗时。有什么方法可以直接将数据加载到 GPU 中而不需要传输步骤吗?


@PeterJulian 首先感谢您的回复。据我所知,没有单行命令可以将整个数据集加载到 GPU。实际上,在我的回复中,我的意思是在中使用 .to(device)__init__数据加载器的。我之前分享的链接中有一些示例。另外,我在下面留下了一个示例数据加载器代码。希望链接中的示例和下面的代码都有帮助。

class SampleDataset(Dataset):
    def __init__(self, device='cuda'):
        super(SampleDataset, self).__init__()
        self.data = torch.ones(1000)
        self.data = self.data.to(device)
    
    def __len__(self):
        return len(self.data)

    def __getitem__(self, i):
        element = self.data[i]
        return element
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

使用 PyTorch 直接将数据加载到 GPU 中 的相关文章

  • Huggingface 变形金刚模块未被 anaconda 识别

    我正在使用 Anaconda python 3 7 Windows 10 我尝试通过安装变压器https huggingface co transformers https huggingface co transformers 在我的环境
  • Tensorflow 训练期间 GPU 使用率非常低

    我正在尝试为 10 类图像分类任务训练一个简单的多层感知器 这是 Udacity 深度学习课程作业的一部分 更准确地说 任务是对各种字体呈现的字母进行分类 数据集称为 notMNIST 我最终得到的代码看起来相当简单 但无论如何我在训练期间
  • 使用 selenium 进行身份验证 (Python)

    我有指向我网站管理区域的链接 是否可以使用 selenium 在给定的浏览器中 启动这些 URI 链接 而无需事先进行身份验证 如果没有 那么我如何使用 selenium 处理身份验证 不确定您的意思 但您可以仅使用选择器并在身份验证字段中
  • 在Python 3中将二进制字符串转换为字节数组

    尽管有很多相关的问题 但我找不到任何符合我的问题的问题 我想更改二进制字符串 例如 0110100001101001 转换成字节数组 同一个例子 b hi 我试过这个 bytes int i for i in 011010000110100
  • SMTP 库 Python3:不太安全的应用程序访问

    自 5 月 30 日起 Google 已取消允许不太安全的应用程序访问 G Mail 我正在使用 SMTP 库从我的 Flask 网站发送电子邮件 由于这种方法需要 Google 刚刚删除的功能 所以我陷入了困境 我正在寻找此问题的任何解决
  • Tensorflow 2.0 中的二阶导数

    我正在尝试计算标量变量的简单向量函数的二阶导数f x x x 2 x 3 使用 TF 2 3 与tf GradientTape def f ab x return x x 2 x 3 import tensorflow as tf in1
  • 找不到仅适用于数字的 Tesseract 4.0 tessdata

    正如这篇文章中所说 pytesseract 仅使用 tesseract 4 0 数字不起作用 https stackoverflow com questions 46574142 pytesseract using tesseract 4
  • = 上的语法无效? [关闭]

    Closed 这个问题是无法重现或由拼写错误引起 help closed questions 目前不接受答案 我是 python 的初学者 试图使用 yes no 来制作一个非常简单的程序 它表示该行中的第一个 存在语法错误 if monk
  • 复制单元格包含多条数据的行

    我想获取一个数据框并复制某些行 一列 称为name 可能有多个名称 下面构建了一个示例数据框 data Joe 17 11 2018 2 Karen 17 11 2018 4 Bill Avery 17 11 2018 6 Sam 18 1
  • softmax_cross_entropy_with_logits 的 PyTorch 等效项

    我想知道 TensorFlow 是否有等效的 PyTorch 损失函数softmax cross entropy with logits TensorFlow 是否有等效的 PyTorch 损失函数softmax cross entropy
  • 如何更改充当按钮的范围的文本

    我正在为自定义 Web 应用程序编写自动化测试 我遇到了无法更改跨度文本的问题 我尝试过使用 driver execute script 但没有运气 如果我更好地了解 javascript 这确实会有帮助 据我所知 您无法单击跨度 并且列表
  • 如何在 Windows 上使用 Python 3.6 来安装 Python 2.7

    我想问一下如何使用pip install对于 Python 2 7 当我之前安装并使用 Python 3 6 时 我现在必须使用 Windows 上的 Python 版本 pip install 继续安装 Python 3 6 我需要使用以
  • 在 Tkinter 中使用锚点

    我正在尝试对自动点唱机进行编程 但是我还处于早期阶段 并且在使用时遇到了问题anchor 这是我的代码 from tkinter import from tkinter import messagebox as box def main m
  • 安装 gstreamer 对 opencv python 包的支持

    我已经从源代码构建了自己的 opencv python 包 import cv2 print cv2 version 打印 3 4 5 现在我面临的问题是关于 opencv 的 VideoCapture 类中的 gstreamer 的使用
  • python:动态添加属性到内置类

    为什么它不适用于内置类 使用子类是修复它的最佳方法 还是会遇到一些隐藏的问题 a a p 1 raises AttributeError class B dict pass b B b p 1 works 编辑 我最初的评论是它不起作用b不
  • Python 中“0 is 0”总是“True”吗?

    Python 3 8 或 CPython 3 8 添加了警告 SyntaxWarning is with a literal Did you mean 对于代码0 is 0 我理解该警告 并且我知道两者之间的区别is and 但是 我也知道
  • 在 python3.6 上 pip 安装 Django

    如果我跑pip install Django I get 已满足的要求 Django in usr local lib python2 7 dist packages 我想改用 python3 6 它已经安装在 usr bin python
  • Instagram 图表 api 日期之间的媒体帖子

    我正在尝试使用以下方法从我管理的 Instagram Business 个人资料中检索上个月的媒体帖子 since and until 但它似乎无法正常工作 因为 API 返回的帖子超出了我选择的时间范围 我使用以下字符串来调用 API b
  • Python 3.4.3 tkinter - 程序在声明 IntVar 或任何其他 tkinter 数据类型时冻结

    上一主题 Python 3 4 tkinter checkbutton变量处理不起作用 响应 https stackoverflow com questions 33711472 python 3 4 tkinter checkbutton
  • Python3.1中的视图?

    Python3 1中的视图到底是什么 它们的行为方式似乎与迭代器类似 并且它们也可以具体化为列表 迭代器和视图有何不同 据我所知 视图仍然附加到创建它的对象上 对原始对象的修改会影响视图 来自docs http docs python or

随机推荐

  • 更改 HTML 元素的背景颜色

    我有一张包含 100 多个不同大小和尺寸的几何形状的图像 我在它上面使用了图像映射并为每个分配了 ID area like area 我在 MySQL 数据库中存储了有关每个形状的记录 例如 box id color code 1 AEEE
  • 优化 QtCreator 编译器的配置

    我在 Windows 7 中使用 QtCreator 我想将其配置为使用第三级优化 O3 用于 C 编译器 我怎样才能加快我的代码速度以及需要进行哪些更改 尝试将下一行添加到您的 pro 文件中 remove possible other
  • 为标签栏设置背景图像

    我正在尝试以编程方式设置应用程序中选项卡栏的背景图像 我的代码如下 根视图控制器 h IBOutlet UITabBar mainTabBar IBOutlet UITabBarItem settingsBarItem IBOutlet U
  • 在新的命名空间中定义简单类型,例如 xsd:string?

    这应该是直截了当的 但在我看来 它似乎只包含有关复杂类型的信息 假设我已经定义了一个名称空间xmlns address http 现在 从我读到的内容来看 我似乎可以执行以下操作
  • React useState - 每个组件使用一个状态还是多个状态? [关闭]

    Closed 这个问题是基于意见的 help closed questions 目前不接受答案 使用 Hooks Functional 组件来优化 React 并使代码更具可读性的更好方法是什么 每个组件有一个或多个 setState 钩子
  • 拉伸图像以适合 td

    我想在我的 td 单元格中拉伸图像 怎么做 它是一个选项卡图像 看起来像 的倒置 我需要将图像放置在第一个 td 单元格中 其中包含文本 aaa 将位于该图像的中心 如果不使用 CSS3 则无法拉伸背景图像 In CSS3你有背景大小属性
  • 如何解决Jboss部署错误?

    17 19 30 298 ERROR ProfileServiceBootstrap Failed to load profile Summary of incomplete deployments SEE PREVIOUS ERRORS
  • 使用 ObjectInputStream 读入的对象在 try-catch 块后不保留值

    因此 我将 Car 对象数组写入文件 然后当我尝试在 cars 变量中读回它们时 我在语句上设置了它们cars Car in readObject 但是 当我使用调试器单步调试它时 一旦退出 try catch 块 汽车变量就会 取消设置
  • 从命令行获取所有打开的窗口的列表

    在Windows 7中 是否可以从命令行获取所有打开的桌面窗口的列表 我知道有可能获得所有正在运行的进程的列表 https stackoverflow com questions 53489 how do you list all proc
  • 如何恢复已删除的 Facebook 应用程序?

    我的一位管理员已删除该应用程序 有什么办法可以恢复吗 我如何联系 Facebook 的开发人员 您可以通过进入您的开发者帐户请求来恢复已删除的 Facebook 应用程序 https developers facebook com appe
  • 如何解决“链接器命令失败,退出代码 1”问题?

    我正在尝试使用OMPTrace这是一个追踪和可视化的工具OpenMP程序执行如下所示https github com passlab omptrace https github com passlab omptrace 中给出的代码exam
  • 这两个类都支持封装吗?...?

    public class Normal public string name name is public public String getName return name public String setName String new
  • 使用级联 true 保存实体的 TypeORM 问题

    我正在将 NestJS 与 TypeORM 结合使用 并尝试保存用户与消息的对话 我将对话实体上的消息字段设置为级联 真 但是当我尝试这段代码时 const user3 User login admin createdBy system l
  • Vue.js/Nuxt.js 在 404 上加载后备图像

    我正在尝试设置默认图像 占位符图像 以防找不到图像资源 404 我有一篇字典文章 其中包含键author image 的值 所以该字符串不为空 但它只是无法加载该图像 在我的模板中 img alt Author Image 在我的方法中 m
  • jQuery 的 next() 作用于不相邻的元素

    我必须处理一些可怕的代码 div class container tr td width 100 height 50 a class swaps img src http www blah jpg alt Some Title a td t
  • Android 中的 Log4j 实现

    我是 android 开发新手 我想将日志写入 SD 卡中的一个文件 我如何使用 Log4j 来做到这一点 实现 Log4j 的所有步骤是什么 我读了很多文章 但没有一个描述如何配置和任何人都可以用简单的语言解释一下如何在 android
  • 如何在启动Spark Streaming进程时加载历史数据,并计算运行聚合

    我的 ElasticSearch 集群中有一些与销售相关的 JSON 数据 我想使用 Spark Streaming 使用 Spark 1 4 1 通过 Kafka 动态聚合来自我的电子商务网站的传入销售事件 以获得用户总金额的当前视图销售
  • Vue.js 自动转换 HTML 和 Unicode 实体

    我正在使用开放的 Google Books API 构建一个简单的图书浏览应用程序 问题在于 API 响应中存在引号和 unicode 实体 现在 在渲染时 Vue js 会将引号转换为 HTML 实体 并且在将 unicode 转换回文本
  • 如何在 Yocto Linux 中禁用虚拟终端

    有谁知道如何禁用linux中的虚拟终端吗 我在 i MX6 处理器上使用 Yocto Morty 版本 尽管我们的基础发行版是 Yocto 但不幸的是我们已经偏离了用配方构建它 所以这比 Yocto 更像是一个直接的 Linux 问题 详细
  • 使用 PyTorch 直接将数据加载到 GPU 中

    在训练循环中 我将一批数据加载到 CPU 中 然后将其传输到 GPU import torch utils as utils train loader utils data DataLoader train dataset batch si