重参数化技巧：高斯分布采样

1、高斯分布采样

我们现在得到了有样本X得到的分布X ~ N( μ \mu μ, σ \sigma σ^2)，通过采样我们得到确定的隐变量向量，从而作为解码器的输入。采样这个操作本身是不可导的，但是我们可以通过重参数化技巧，将简单分布的采样结果变换到特定分布中，如此一来则可以对变换过程进行求导。具体而言，我们从标准高斯分布中采样，并将其变换到X ~ N( μ \mu μ, σ \sigma σ^2)，过程如下：

ϵ \epsilon ϵ ~ N ( 0 , I ) N(0, I) N(0,I)
Z = μ + σ × ϵ Z=\mu +\sigma × \epsilon Z=μ+σ×ϵ

也就是说，从 N( μ \mu μ, σ \sigma σ^2) 采样 Z Z Z ，等同于从 ϵ \epsilon ϵ ~ N ( 0 , I ) N(0, I) N(0,I)中采样高斯噪声 ϵ \epsilon ϵ，再将其按 Z = μ + σ × ϵ Z=\mu +\sigma × \epsilon Z=μ+σ×ϵ 变换。

import torch

def reparametrize(mean,lg_var): # 采样器方法：对方差(lg_var)进行还原，并从高斯分布中采样，将采样数值映射到编码器输出的数据分布中。
        std = lg_var.exp().sqrt()
        # torch.FloatTensor(std.size())的作用是，生成一个与std形状一样的张量。然后，调用该张量的normal_()方法，系统会对该张量中的每个元素在标准高斯空间（均值为0、方差为1）中进行采样。
        eps = torch.FloatTensor(std.size()).normal_() # 随机张量方法normal_()，完成高斯空间的采样过程。
        return eps.mul(std).add_(mean)