第十六章 深度学习中的结构化概率模型
中文
英文
深度学习为研究者们提供了许多建模方式，用以设计以及描述算法。 其中一种形式是结构化概率模型的思想。结构化概率模型是许多深度学习重要研究方向的关键组成部分。
结构化概率模型使用图来描述概率分布中随机变量之间的直接相互作用，从而描述一个概率分布。 在这里我们使用了图论（一系列结点通过一系列边来连接）中”图”的概念，由于模型结构是由图定义的，所以这些模型也通常被称为图模型。
在本章中，我们将介绍图模型中几个核心方法的基本背景，并且重点描述已被证明对深度学习社群最有用的观点。
非结构化建模的挑战
深度学习的目标是使得机器学习能够解决许多人工智能中亟需解决的挑战。 这也意味着它们能够理解具有丰富结构的高维数据。
分类问题可以把这样一个来自高维分布的数据作为输入，然后使用一个类别的标签来概括它。分类过程 丢弃了输入数据中的大部分信息 ，然后产生单个值的输出（或者是关于单个输出值的概率分布）。这个分类器通常可以忽略输入数据的很多部分。
而使用概率模型完成许多其他的任务通常相比于分类成本更高。其中的一些任务需要产生多个输出。大部分任务需要对输入数据整个结构的完整理解，所以并 不能舍弃数据的一部分 。这些任务包括以下几个。
- 估计密度函数：给定一个输入x，机器学习系统返回一个对数据生成分布的真实密度函数p(x)的估计。这只需要一个输出，但它需要完全理解整个输入。即使向量中只有一个元素不太正常，系统也会给它赋予很低的概率。
- 去噪：给定一个受损的或者观察有误的输入数据 x ~ \tilde{x} x~，机器学习系统返回一个对原始的真实 x x
