为什么我的 GradientDescentOptimizer 会产生 NaN？

我目前正在修改 Andrew Ng 教授在 Coursera 上的“机器学习”课程作业，但我陷入了逻辑回归部分。

filename = 'data/ex2data1.txt'
data = np.loadtxt(filename, delimiter = ",", unpack = True)

# Data matrices
xtr = np.transpose(np.array(data[:-1]))
ytr = np.transpose(np.array(data[-1:]))

# Initial weights
W = tf.Variable(tf.zeros([2,1], dtype = tf.float64))

# Bias
b = tf.Variable(tf.zeros([1], dtype = tf.float64))

# Cost function
y_ = tf.nn.sigmoid(tf.matmul(xtr,W) + b)

cost = -tf.reduce_mean(ytr*tf.log(y_) + (1-ytr)*tf.log(1-y_))
optimize = tf.train.GradientDescentOptimizer(0.01).minimize(cost)

corr = tf.equal(tf.argmax(ytr,1), tf.argmax(y_,1))
acc = tf.reduce_mean(tf.cast(corr, tf.float64))

init = tf.initialize_all_variables()

with tf.Session() as sess:
    sess.run(init)
    print(sess.run(cost))
    for _ in range(3):
        sess.run(optimize)
        print(sess.run(cost))

这产生了答案：

0.69314718056
nan
nan
nan

成本函数的第一个结果是正确的，但接下来的结果应该是：

3.0133
1.5207
0.7336

相反，我得到了一堆 NaN。我尝试过降低学习率，但都无济于事。我究竟做错了什么？是否可以在 TensorFlow 中重现此作业？

PS：其他 python 解决方案似乎正在使用 scipy.optimize，但我不知道如何将其与 TensorFlow 值一起使用，并且如果可能的话，我只想使用 TensorFlow。

编辑：我也尝试将偏差设置为 tf.ones 而不是 tf.zeros，但它也不起作用。

您的对数没有净化输入。很有可能您的负输入值很快就会导致任何浮点数算术 NaN。

我在 Java 代码中所做的大量使用类似域中的日志： https://github.com/thomasjungblut/thomasjungblut-common/blob/master/src/de/jungblut/math/MathUtils.java#L302

• 检查 NaN 或无穷大并假设输出为零
• 如果输入为负，则将输出剪辑为某个静态数字，例如。 log(1e-5) ~= -11.51
• 否则只取日志

在 Java 中，代码如下所示，应该不难翻译为 tf：

public static double guardedLogarithm(double input) {
    if (Double.isNaN(input) || Double.isInfinite(input)) {
      return 0d;
    } else if (input <= 0d || input <= -0d) {
      // assume a quite low value of log(1e-5) ~= -11.51
      return -10d;
    } else {
      return FastMath.log(input);
    }
  }