程序员经验分享-hwhale

Pytorch中有哪些损失函数?

2023-12-04

Pytorch中有哪些损失函数?

  • 一、常见的损失
    • 1. **均方误差损失（Mean Squared Error Loss）：`nn.MSELoss`**
    • 2. **交叉熵损失（Cross-Entropy Loss）：`nn.CrossEntropyLoss`**
    • 3. **二分类交叉熵损失（Binary Cross-Entropy Loss）：`nn.BCELoss`**
    • 4. **Kullback-Leibler 散度损失（Kullback-Leibler Divergence Loss）：`nn.KLDivLoss`**
    • 5. **交叉熵损失（多标签）：`nn.MultiLabelSoftMarginLoss`**
    • 6. **负对数似然损失（Negative Log Likelihood Loss）：`nn.NLLLoss`**
    • 7. **Hinge Embedding Loss：`nn.HingeEmbeddingLoss`**
  • 二、案例
    • 1. 交叉熵损失函数（CrossEntropyLoss）
    • 2. 均方误差损失函数（MSELoss）
    • 3. 平滑的L1损失函数（SmoothL1Loss）
    • 4. 二分类交叉熵损失函数（BCELoss）
    • 5. 像素级别交叉熵损失函数（CrossEntropyLoss2d）

一、常见的损失

PyTorch提供了丰富的损失函数，用于各种不同的任务，如分类、回归、生成对抗网络（GANs）等。以下是一些常用的损失函数，并给出了它们的调用方法：

1. 均方误差损失（Mean Squared Error Loss）： nn.MSELoss

  • 用于回归任务。 
```python
import torch
import torch.nn as nn

criterion = nn.MSELoss()
```

2. 交叉熵损失（Cross-Entropy Loss）： nn.CrossEntropyLoss

  • 用于分类任务，特别是多类别分类。 
```python
import torch
import torch.nn as nn

criterion = nn.CrossEntropyLoss()
```

3. 二分类交叉熵损失（Binary Cross-Entropy Loss）： nn.BCELoss

  • 用于二分类任务。 
```python
import torch
import torch.nn as nn

criterion = nn.BCELoss()
```

4. Kullback-Leibler 散度损失（Kullback-Leibler Divergence Loss）： nn.KLDivLoss

  • 用于衡量两个概率分布之间的相似性。 
```python
import torch
import torch.nn as nn

criterion = nn.KLDivLoss()
```

5. 交叉熵损失（多标签）： nn.MultiLabelSoftMarginLoss

  • 用于多标签分类任务。 
```python
import torch
import torch.nn as nn

criterion = nn.MultiLabelSoftMarginLoss()
```

6. 负对数似然损失（Negative Log Likelihood Loss）： nn.NLLLoss

  • 通常与 nn.LogSoftmax 结合使用，用于多类别分类。 
```python
import torch
import torch.nn as nn

criterion = nn.NLLLoss()
```

7. Hinge Embedding Loss： nn.HingeEmbeddingLoss

  • 用于支持向量机（SVM）训练。 
```python
import torch
import torch.nn as nn

criterion = nn.HingeEmbeddingLoss()
```

以上只是一些损失函数的示例，PyTorch还提供了许多其他损失函数，可以根据任务的不同选择适当的损失函数。在使用损失函数时，通常将其实例化为一个对象，然后在训练循环中使用模型的输出和目标值计算损失。

二、案例

PyTorch中提供了多种损失函数，涵盖了分类、回归和图像处理等不同领域的任务，以下是其中一些常用的损失函数及其使用示例：

1. 交叉熵损失函数（CrossEntropyLoss）

适用于多分类任务，通常与Softmax层结合使用。 

import torch.nn as nn
import torch.optim as optim
# 定义神经网络模型
class Net(nn.Module):
    def __init__(self, num_classes):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(10, 5)
        self.fc2 = nn.Linear(5, num_classes)
    def forward(self, x):
        x = nn.functional.relu(self.fc1(x))
        x = self.fc2(x)
        return x
# 创建模型实例、损失函数和优化器
net = Net(num_classes=3) # 假设有3个类别
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(net.parameters(), lr=0.01)
# 在每次迭代中，计算并反向传播损失
output = net(input_data)
loss = criterion(output, target)
loss.backward()
optimizer.step()

2. 均方误差损失函数（MSELoss）

适用于回归任务，用于度量模型输出和目标值之间的平均平方误差。 

import torch.nn as nn
import torch.optim as optim
# 定义神经网络模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(10, 5)
        self.fc2 = nn.Linear(5, 1)
    def forward(self, x):
        x = nn.functional.relu(self.fc1(x))
        x = self.fc2(x)
        return x
# 创建模型实例、损失函数和优化器
net = Net()
criterion = nn.MSELoss()
optimizer = optim.SGD(net.parameters(), lr=0.01)
# 在每次迭代中，计算并反向传播损失
output = net(input_data)
loss = criterion(output, target)
loss.backward()
optimizer.step()

3. 平滑的L1损失函数（SmoothL1Loss）

适用于回归任务，与MSELoss不同，SmoothL1Loss对异常值更加鲁棒。 

import torch.nn as nn
import torch.optim as optim
# 定义神经网络模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(10, 5)
        self.fc2 = nn.Linear(5, 1)
    def forward(self, x):
        x = nn.functional.relu(self.fc1(x))
        x = self.fc2(x)
        return x
# 创建模型实例、损失函数和优化器
net = Net()
criterion = nn.SmoothL1Loss()
optimizer = optim.SGD(net.parameters(), lr=0.01)
# 在每次迭代中，计算并反向传播损失
output = net(input_data)
loss = criterion(output, target)
loss.backward()
optimizer.step()

4. 二分类交叉熵损失函数（BCELoss）

适用于二分类任务，将模型输出视为一个概率值，用于度量模型输出和目标值之间的交叉熵。 

import torch.nn as nn
import torch.optim as optim
# 定义神经网络模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(10, 5)
        self.fc2 = nn.Linear(5, 1)
    def forward(self, x):
        x = nn.functional.relu(self.fc1(x))
        x = nn.functional.sigmoid(self.fc2(x))
        return x
# 创建模型实例、损失函数和优化器
net = Net()
criterion = nn.BCELoss()
optimizer = optim.SGD(net.parameters(), lr=0.01)
# 在每次迭代中，计算并反向传播损失
output = net(input_data)
loss= criterion(output, target) loss.backward() optimizer.step()

= criterion(output, target) loss.backward() optimizer.step()

import torch.nn as nn import torch.optim as optim
# 定义神经网络模型
class Net(nn.Module): def init(self): super(Net, self).init() self.fc1 = nn.Linear(10, 5) self.fc2 = nn.Linear(5, 1)

def forward(self, x):
    x = nn.functional.relu(self.fc1(x))
    x = self.fc2(x)
    return x

# 创建模型实例、损失函数和优化器
net = Net() criterion = nn.BCEWithLogitsLoss(pos_weight=torch.tensor([5.0])) optimizer = optim.SGD(net.parameters(), lr=0.01)
# 在每次迭代中，计算并反向传播损失
output = net(input_data) loss = criterion(output, target) loss.backward() optimizer.step()

这里设置了一个正样本的权重为5，表示模型在训练时应该更加关注正样本。

5. 像素级别交叉熵损失函数（CrossEntropyLoss2d）

适用于图像分割任务，将每个像素点的预测结果视为一个概率值，用于度量模型输出和目标值之间的交叉熵。 

import torch.nn as nn
import torch.optim as optim
# 定义神经网络模型
class Net(nn.Module):
    def __init__(self, num_classes):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(3, 64, kernel_size=3, stride=1, padding=1)
        self.conv2 = nn.Conv2d(64, 128, kernel_size=3, stride=1, padding=1)
        self.conv3 = nn.Conv2d(128, num_classes, kernel_size=3, stride=1, padding=1)
    def forward(self, x):
        x = nn.functional.relu(self.conv1(x))
        x = nn.functional.max_pool2d(x, kernel_size=2, stride=2)
        x = nn.functional.relu(self.conv2(x))
        x = nn.functional.max_pool2d(x, kernel_size=2, stride=2)
        x = self.conv3(x)
        return x
# 创建模型实例、损失函数和优化器
net = Net(num_classes=2) # 假设有2个类别
criterion = nn.CrossEntropyLoss2d()
optimizer = optim.SGD(net.parameters(), lr=0.01)
# 在每次迭代中，计算并反向传播损失
output = net(input_data)
loss = criterion(output, target)
loss.backward()
optimizer.step()

这里使用了一个简单的卷积神经网络来进行二分类图像分割，输出层使用了两个通道，分别代表两种类别（前景和背景）。损失函数为CrossEntropyLoss2d，用于计算每个像素点的预测结果与真实标签之间的交叉熵损失。

除了以上列出的常见损失函数外，PyTorch还提供了许多其他类型的损失函数，如L1Loss、NLLLoss、KLDivLoss等，可以根据具体应用场景选择适合的损失函数。

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系:hwhale#tublm.com(使用前将#替换为@)

Pytorch

人工智能

python

Pytorch中有哪些损失函数? 的相关文章

  • 使用 python 制作本地服务器应用程序的最佳方法

    我想要简单轻松地集成 python 和 vba 人们 如果他们在阅读本文后亲自见到我 阅读本文可能会杀了我 但我正在使用 django 开发服务器来实现此目的 有没有什么简单又好的方法 仅举个例子 我想使用 python 模块 openpy

  • 将 pandas 数据框中的列减去其第一个值

    我需要将 pandas 数据帧的一列中的所有元素减去其第一个值 在这段代码中 pandas 抱怨 self inferred type 我猜这是循环引用 df Time df Time df Time 0 在这段代码中 pandas 抱怨为

  • 如何在 Ubuntu 上安装 Python 模块

    我刚刚用Python写了一个函数 然后 我想将其做成模块并安装在我的 Ubuntu 11 04 上 这就是我所做的 创建 setup py 和 function py 文件 使用 Python2 7 setup py sdist 构建分发文

  • 如何更改充当按钮的范围的文本

    我正在为自定义 Web 应用程序编写自动化测试 我遇到了无法更改跨度文本的问题 我尝试过使用 driver execute script 但没有运气 如果我更好地了解 javascript 这确实会有帮助 据我所知 您无法单击跨度 并且列表

  • 如何将条目中的部分文本加粗并更改其背景颜色？

    我正在创建一个基于 Tkinter 的 GUI 它有一个 Entry 小部件 我想将其文本的一部分加粗并更改其背景颜色 但我不知道我该怎么做 如果我使用文本小部件 我可以只使用标签 但看起来它们不能与条目小部件一起使用 此代码使用文本小部件

  • NLTK、搭配问题：需要解包的值太多（预期为 2）

    我尝试使用 NLTK 检索搭配 但出现错误 我使用内置的古腾堡语料库 I wrote alice nltk corpus gutenberg fileids 7 al nltk corpus gutenberg words alice al

  • python中函数变量的作用域

    假设我们有两个函数 def ftpConnect ftp FTP server ftp login ftp cwd path def getFileList ftpConnect files ftp nlst print files 如果我

  • 如何为多组精灵创建随机位置？

    我尝试使用 blit 和 draw 方法进行 for 循环 并为 PlayerSprite 和 Treegroup 使用不同的变量 for PlayerSprite in Treegroup surface blit PlayerSprit

  • 使用 genfromtxt 导入 numpy 中缺失值的 csv 数据

    我有一个 csv 文件 看起来像这样 实际文件有更多的列和行 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 假设文件的名称是info csv如果我尝试使用导入它 data numpy genfromtxt i

  • Pandas：根据列名进行列的成对乘法

    我有以下数据框 gt gt gt df pd DataFrame ap1 X 1 2 3 4 as1 X 1 2 3 4 ap2 X 2 2 2 2 as2 X 3 3 3 3 gt gt gt df ap1 X as1 X ap2 X a

  • 使用Python将图像转换为十六进制格式

    我的下面有一个jpg文件tmp folder upload path tmp resized test jpg 我一直在使用下面的代码 Method 1 with open upload path rb as image file enco

  • Python 中的这种赋值方式叫什么？ a = b = 真

    我知道关于元组拆包 http docs python org tutorial datastructures html tuples and sequences但是当一行中有多个等号时 这个赋值被称为什么 阿拉a b True 它总是让我有

  • Python While 循环，and (&) 运算符不起作用

    我正在努力寻找最大公因数 我写了一个糟糕的 运算密集型 算法 它将较低的值减一 使用 检查它是否均匀地划分了分子和分母 如果是 则退出程序 但是 我的 while 循环没有使用 and 运算符 因此一旦分子可整除 它就会停止 即使它不是正确

  • Python unicode 字符代码？

    有没有办法将 Unicode 字符 插入 Python 3 中的字符串 例如 gt gt gt import unicode gt gt gt string This is a full block s unicode charcode U

  • 在wxpython中使用wx.TextCtrl并在按钮单击后显示数据的简单示例 - wx新手

    我正在学习 python 并尝试使用 wxpython 进行 UI 开发 也没有 UI exp 我已经能够创建一个带有面板 按钮和文本输入框的框架 我希望能够在文本框中输入文本 并让程序在单击按钮后对输入框中的文本执行操作 我可以获得一些关

  • 我可以使用 dask 创建 multivariate_normal 矩阵吗？

    有点相关这个帖子 https stackoverflow com questions 52337612 random multivariate normal on a dask array 我正在尝试复制multivariate norma

  • 使用循环将对象添加到列表（python）

    我正在尝试使用 while 循环将对象添加到列表中 基本上这就是我想做的 class x pass choice raw input pick what you want to do while choice 0 if choice 1 E

  • ValueError：无法插入 ID，已存在

    我有这个数据 ID TIME 1 2 1 4 1 2 2 3 我想按以下方式对数据进行分组ID并计算每组的平均时间和规模 ID MEAN TIME COUNT 1 2 67 3 2 3 00 1 如果我运行此代码 则会收到错误 ValueE

  • python中的sys.stdin.fileno()是什么

    如果这是非常基本的或之前已经问过的 我很抱歉 我用谷歌搜索但找不到简单且令人满意的解释 我想知道什么sys stdin fileno is 我在代码中看到了它 但不明白它的作用 这是实际的代码块 fileno sys stdin filen

  • 是否可以写一个负的python类型注释

    这可能听起来不合理 但现在我需要否定类型注释 我的意思是这样的 an int Not Iterable a string Iterable 这是因为我为一个函数编写了一个重载 而 mypy 不理解我 我的功能看起来像这样 overload

随机推荐

热门标签