Pytorch 问题:当 num_workers > 0 时,我的 jupyter 卡住了

2023-11-29

这是我在 PyTorch 中的代码片段,当我使用 num_workers > 0 时,我的 jupiter 笔记本卡住了,我在这个问题上花了很多时间却没有任何答案。我没有 GPU,仅使用 CPU。

class IndexedDataset(Dataset):

def __init__(self,data,targets, test=False):
    self.dataset = data 
    if not test:
        self.labels = targets.numpy()
        self.mask =  np.concatenate((np.zeros(NUM_LABELED), np.ones(NUM_UNLABELED)))


    def __len__(self):
        return len(self.dataset)

    def __getitem__(self, idx):
        image = self.dataset[idx]
        return image, self.labels[idx]
    
    def display(self, idx):
        plt.imshow(self.dataset[idx], cmap='gray')
        plt.show()

train_set = IndexedDataset(train_data, train_target, test = False)

test_set = IndexedDataset(test_data, test_target, test = True)

train_loader = DataLoader(train_set, batch_size=BATCH_SIZE, num_workers=2)

test_loader = DataLoader(test_set, batch_size=BATCH_SIZE, num_workers=2)

任何帮助,不胜感激。


When num_workers大于0,PyTorch使用多个进程来加载数据。

Jupyter 笔记本存在多处理方面的已知问题。

解决此问题的一种方法是不使用 Jupyter 笔记本 - 只需编写一个普通的 .py 文件并通过命令行运行它。

或者尝试使用此处建议的内容:Jupyter 笔记本永远不会使用多重处理完成处理(Python 3).

本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)

Pytorch 问题:当 num_workers > 0 时,我的 jupyter 卡住了 的相关文章

随机推荐

  • Flexbox - justify-content: center 和align-items: center 不起作用?

    我有一个非常基本的 Flex 设置 并且无论出于何种原因 有问题的 div 不会在其父标签内垂直居中 您可以在下面看到单独的测试用例 likeness rank table border radius 3px margin bottom 2
  • 如何在 Java Swing 中创建圆形标题边框

    我确实了解要创建标题边框 您需要执行以下操作 BorderFactory createTitledBorder Your Title 然而 这会创建一个矩形边框 而我需要一个带有弯角的矩形 现在 据我了解 您可以通过以下方式创建自己的自定义
  • 如何从 JSON 数组将数据加载到自定义列表视图

    我已将数据从 JSON 数组加载到普通列表视图 如下所示 JSONArray jArray new JSONArray result final String array spinner new String jArray length f
  • file_get_contents 在代理后面?

    在工作中 我们必须使用代理来访问 80 端口 例如 我们为每个用户都有自己的自定义登录名 我的临时解决方法是使用curl 通过代理以我自己的身份登录并访问我需要的外部数据 是否有某种高级 php 设置我可以设置 以便在内部每当它尝试调用类似
  • RealityKit 中的粒子系统

    RealityKit中有粒子系统吗 如果是这样 有人可以指出我正确的文档 文章吗 到目前为止 我在 RealityKit 模块中没有找到任何粒子系统 RealityKit 中的粒子系统 可用于visionOS 1 0 and tvOS 17
  • 带有 VSTS 的 SonarCloud 出现错误 Duplicate ProjectGuid: "00000000-0000-0000-0000-000000000000"

    我们将 SonarCloud 添加到大型解决方案的构建管道中 我们的解决方案中仅分析了一个项目 但我们看到了此警告 警告 以下项目没有有效的 ProjectGuid 并且不是使用有效的解决方案 sln 构建的 因此将从分析中跳过 D a 1
  • 如何在控制台应用程序中使文本居中? [复制]

    这个问题在这里已经有答案了 我正在创建一个控制台应用程序 我需要将文本居中 有没有一种简单的方法可以做到这一点 或者我是否必须在文本之前放置空格直到它居中 感谢您的帮助 例如 使用 作为控制台的中心 你好 世界 string s Hello
  • R - Rselenium - 使用 = 'id' 导航下拉菜单/列表/框

    如何通过 using id 导航动态下拉列表 例如 remDr findElement using id value main ddYear 我可以找到并单击使用findElement 单击后 如果我知道我的目标选择有多少个向下箭头 我可以
  • 将sql字符串拆分为单词

    我想将字符串拆分成如下所示的单词 所有字符串的输出应该相同 INPUT 1 This is a string 2 This is a string 3 This is a string 4 This is a string OUTPUT 这
  • 不使用 MFMessageComposeViewController 发送消息

    我喜欢制作自己的 iMessages 消息应用程序 该应用程序基本上已准备就绪 但我不知道如何在不显示 MFMessageComposeViewController 的情况下发送 iMessage 我知道有办法 他们在 ByteSMS 和所
  • 缩小 C++0x 中的转换范围。是只有我这么认为,还是这听起来像是一个重大改变?

    C 0x 将使以下代码和类似代码格式错误 因为它需要所谓的缩小转换范围 of a double to a int int a 1 0 我想知道这种初始化在现实世界的代码中是否经常使用 此更改会破坏多少代码 如果您的代码受到影响 需要付出很大
  • 使用两个 Android 应用程序的内容提供程序示例

    我想要insert or delete我当前的 Android 应用程序中另一个 Android 应用程序数据库中的值 我搜索了很多 大家都说用 content provider 它不与两个应用程序一起使用 所有两个应用程序都在一个应用程序
  • android:largescreens: = "true" 的属性值语法无效

    我正在开发一个 android 应用程序 minSdkVersion 为 11 targetSdkVersion 为 17 我正在为多种屏幕尺寸设计这个应用程序 所以我将对所有屏幕的支持放在清单文件中 我希望这个应用程序支持所有密度 我的
  • scikit-learn 中的 class_weight 参数如何工作?

    我很难理解如何class weightscikit learn 的逻辑回归中的参数运行 情况 我想使用逻辑回归对非常不平衡的数据集进行二元分类 这些类别被标记为 0 阴性 和 1 阳性 观察到的数据比例约为 19 1 大多数样本具有阴性结果
  • 使用 javascript 提取支持的 HTML 或 X11 颜色名称及其 RGB 值的列表

    有一些地方可以获取列表HTML or X11 颜色名称及其 RGB 等效项 例如我们可以发现 Aquamarine 是 70DB93 想必浏览器知道这些映射 有没有办法使用 javascript 询问浏览器并获取它支持的颜色名称列表 以及浏
  • SQL Server 连接超时

    我可以通过修改连接字符串来增加超时时间吗web config 是的 您可以附加 Connection Timeout 30给你的连接字符串并指定您想要的值 中设置的超时值Connection Timeout财产是一个以秒表示的时间 如果未设
  • Android ListView y 位置

    看起来 ListView 不像 ScrollView 那样公开它的 y 位置 换句话说 我需要记住 ListView 滚动到的确切位置 并在返回活动时设置它 只是为了澄清 我不需要所选的项目 这非常简单 我需要恢复 ListView 上精确
  • 而不是触发器来更新具有多个表的视图

    我试图找到一个示例 说明如何使用替代触发器更新多个表上的视图 也就是说 我想要更新该视图从中选择的多个表 我找不到任何例子 如果有人能告诉我如何做到这一点那就太好了 假设您在这里使用的是 SQLServer过于简单化 example CRE
  • 在回发时保留单选/复选框值?

    ASP 对象有一些我无法理解的东西 我在更新面板中有一个按钮 在同一页面上 我有一个复选框 一个单选按钮和一个文本框 在更新面板之外 当我单击按钮时 我可以访问所有这三个对象 文本框能够保留其文本值 但是当我检查选中状态时 单选 复选框总是
  • Pytorch 问题:当 num_workers > 0 时,我的 jupyter 卡住了

    这是我在 PyTorch 中的代码片段 当我使用 num workers gt 0 时 我的 jupiter 笔记本卡住了 我在这个问题上花了很多时间却没有任何答案 我没有 GPU 仅使用 CPU class IndexedDataset