卷积神经网络输出所有标签的相同概率

我目前正在 MNIST 上训练 CNN，随着训练的进行，输出概率 (softmax) 给出 [0.1,0.1,...,0.1]。初始值不统一，所以我不知道我是否在这里做了一些愚蠢的事情？

我只训练了15步，只是为了看看训练进展如何；尽管这个数字很低，但我认为这不会导致统一的预测？

import numpy as np
import tensorflow as tf
import imageio

from sklearn.datasets import fetch_mldata
mnist = fetch_mldata('MNIST original')

# Getting data

from sklearn.model_selection import train_test_split
def one_hot_encode(data):
    new_ = []
    for i in range(len(data)):
        _ = np.zeros([10],dtype=np.float32)
        _[int(data[i])] = 1.0
        new_.append(np.asarray(_))
    return new_

data = np.asarray(mnist["data"],dtype=np.float32)
labels = np.asarray(mnist["target"],dtype=np.float32)
labels = one_hot_encode(labels)
tr_data,test_data,tr_labels,test_labels = train_test_split(data,labels,test_size = 0.1)
tr_data = np.asarray(tr_data)
tr_data = np.reshape(tr_data,[len(tr_data),28,28,1])
test_data = np.asarray(test_data)
test_data = np.reshape(test_data,[len(test_data),28,28,1])
tr_labels = np.asarray(tr_labels)
test_labels = np.asarray(test_labels)

def get_conv(x,shape):
    weights = tf.Variable(tf.random_normal(shape,stddev=0.05))
    biases = tf.Variable(tf.random_normal([shape[-1]],stddev=0.05))
    conv = tf.nn.conv2d(x,weights,[1,1,1,1],padding="SAME")
    return tf.nn.relu(tf.nn.bias_add(conv,biases))

def get_pool(x,shape):
    return tf.nn.max_pool(x,ksize=shape,strides=shape,padding="SAME")

def get_fc(x,shape):
    sh = x.get_shape().as_list()
    dim = 1
    for i in sh[1:]:
        dim *= i
    x = tf.reshape(x,[-1,dim])
    weights = tf.Variable(tf.random_normal(shape,stddev=0.05))
    return tf.nn.relu(tf.matmul(x,weights) + tf.Variable(tf.random_normal([shape[1]],stddev=0.05)))

#Creating model

x = tf.placeholder(tf.float32,shape=[None,28,28,1])
y = tf.placeholder(tf.float32,shape=[None,10])

conv1_1 = get_conv(x,[3,3,1,128])
conv1_2 = get_conv(conv1_1,[3,3,128,128])
pool1 = get_pool(conv1_2,[1,2,2,1])

conv2_1 = get_conv(pool1,[3,3,128,512])
conv2_2 = get_conv(conv2_1,[3,3,512,512])
pool2 = get_pool(conv2_2,[1,2,2,1])

conv3_1 = get_conv(pool2,[3,3,512,1024])
conv3_2 = get_conv(conv3_1,[3,3,1024,1024])
conv3_3 = get_conv(conv3_2,[3,3,1024,1024])
conv3_4 = get_conv(conv3_3,[3,3,1024,1024])
pool3 = get_pool(conv3_4,[1,3,3,1])

fc1 = get_fc(pool3,[9216,1024])
fc2 = get_fc(fc1,[1024,10])

softmax = tf.nn.softmax(fc2)
loss = tf.losses.softmax_cross_entropy(logits=fc2,onehot_labels=y)
train_step = tf.train.AdamOptimizer().minimize(loss)

sess = tf.Session()
sess.run(tf.global_variables_initializer())

for i in range(15):
    print(i)
    indices = np.random.randint(len(tr_data),size=[200])
    batch_data = tr_data[indices]
    batch_labels = tr_labels[indices]
    sess.run(train_step,feed_dict={x:batch_data,y:batch_labels})

太感谢了。

您的代码存在几个问题，包括基本问题。我强烈建议您首先阅读 MNIST 的 Tensorflow 分步教程，适合 ML 初学者的 MNIST and 面向专家的深度 MNIST.

简而言之，关于您的代码：

首先，你的最后一层fc2 should not有 ReLU 激活。

其次，构建批次的方式，即

indices = np.random.randint(len(tr_data),size=[200])

就是在每次迭代中抓取随机样本，这与正确的方法相去甚远......

第三，输入网络的数据没有在 [0, 1] 中标准化，因为它们应该是：

np.max(tr_data[0]) # get the max value of your first training sample
# 255.0

第三点最初也让我感到困惑，因为在前面提到的 Tensorflow 教程中，他们似乎也没有对数据进行标准化。但仔细检查揭示了原因：如果您通过 Tensorflow 提供的实用函数（而不是像这里那样使用 scikit-learn 函数）导入 MNIST 数据，它们已经在 [0, 1] 中标准化，这是无处可归的暗示：

from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
import numpy as np

mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)
np.max(mnist.train.images[0])
# 0.99607849

这无疑是一个奇怪的设计决策 - 据我所知，在所有其他类似的情况/教程中，规范化输入数据是管道的明确部分（参见例如喀拉拉邦示例），并且有充分的理由（当您稍后使用自己的数据时，您肯定会期望自己这样做）。