为什么为卷积神经网络给出张量维度？ - TensorFlow

我在理解使用 TensorFlow 设置卷积神经网络时使用的张量的维度时遇到了一些困难。例如，在this https://www.tensorflow.org/versions/r0.11/tutorials/mnist/pros/index.html#build-a-multilayer-convolutional-network教程中，28x28 MNIST 图像表示如下：

import TensorFlow as tf

x = tf.placeholder(tf.float32, shape=[None, 784])
x_image = tf.reshape(x, [-1,28,28,1])   

假设我有十个训练图像，上面的重塑使我的输入x_image二十八个 28 维列向量的十个子集合的集合。

使用起来似乎更自然

x_image_natural = tf.reshape(x, [-1,28,28])  

相反，它将返回 10 个 28x28 矩阵。

插图：

a = np.array(range(8))
opt1 = a.reshape(-1,2,2,1)
opt2 = a.reshape(-1,2,2)
print opt1
print opt2

# opt1 - column vectors
>>[[[[0]
>>[1]]

>>[[2]
>>[3]]]


>>[[[4]
>>[5]]

>>[[6]
>>[7]]]]

# opt2 - matrices
>>[[[0 1]
>>[2 3]]

>>[[4 5]
>>[6 7]]]

同样，是否有一种直观的方法来理解为什么卷积层具有维度(height_of_patch, width_of_patch, num_input_layers, num_output_layers)？转置似乎更直观，因为它最终是补丁大小矩阵的集合。

* EDIT *

我其实很好奇why张量的维度按原样排序。

对于输入 X，我们为什么不使用

x_image = tf.reshape(x, [-1,i,28,28])

这将创建batch_size，i- 大小的 28x28 矩阵数组（其中i是输入层数）？

同样，为什么权重张量的形状不是这样的(num_output_layers, num_input_layers, input_height, input_width)（这似乎更直观，因为它是“补丁矩阵”的集合。）

一层二维卷积的工作方式是通过在输入上滑动二维窗口/过滤器/补丁来计算“特征图”。放入此 MNIST 数据集的上下文中，输入是灰度图像，因此它们的维度为 [height, width, num_channels] ([28, 28, 1])。假设您决定使用 3x3 窗口/滤波器/补丁，这决定了该卷积层权重的前两个维度（height_of_path=3，width_of_path=3）。这样做在高度和宽度维度上滑动的原因是为了共享神经元并保持统计不变性（无论出现在图片中的哪个位置，鸟仍然是鸟），此外，它还带来了一些降低计算量的好处。每个通道/深度都被认为携带独特的信息（在 RGB 通道的情况下，R=255 和 G=255 表示完全不同的东西），我们不想在不同的深度/通道之间共享神经元。因此，卷积层权重的第三维与输入的深度维度相同（MNIST 情况下第一个卷积层中的 num_input_layers=1）。卷积层权重的最后一个维度是用户可以决定的超参数。这个数字决定了这个卷积层之后会产生多少个特征图。并且该值越大，计算成本就越高。

快速总结。对于任何 2D 卷积层，假设它接收维度为以下的输入 X：

X - [批量大小、输入高度、输入宽度、输入深度]

那么该卷积层的权重 w 的维度为：

w - [过滤器高度、过滤器宽度、输入深度、输出深度]

该卷积层输出 y 的维度为：

y - [批量大小、输出高度、输出宽度、输出深度]

通常，人们会设置filter_height=filter_width，并且经常设置filter_height=3,5,7。output_深度是用户可以决定的超参数。 output_height和output_width是根据input_height、input_weight、filter_height、filter_width、滑动选择和填充选择等确定的。

如需了解更多信息，我鼓励您阅读斯坦福 CS231 关于 ConvNet 的笔记 http://cs231n.github.io/convolutional-networks/#conv，我个人觉得解释得很清楚，很有见地。

编辑：维度的顺序

就维度顺序而言，据我所知，它更多的是一种约定，而不是“正确”或“错误”。对于一个示例输入，我认为按照 [高度、宽度、通道/深度] 的顺序对其尺寸进行排序是很直观的。事实上，您可以简单地将具有此维数顺序的样本矩阵粘贴到import matplotlib.pyplot as plt; plt.imhow(sample_matrix)绘制人眼友好的图像。我认为前三个重量尺寸顺序遵循[高度、宽度、深度]的常规顺序。我推测这种一致性使得执行卷积运算变得容易，因为我读到此步骤的常见实现之一是将 3D 张量展平为 2D 并使用下面的矩阵乘法库。我想您可以将维度的顺序更改为您想要的方式，只要正确完成维度的实际计算即可。