Keras 在激活函数之前检索节点的值

想象一个完全连接的神经网络，其最后两层具有以下结构：

[Dense]
    units = 612
    activation = softplus

[Dense]
    units = 1
    activation = sigmoid

网络的输出值为 1，但我想知道 sigmoidal 函数的输入 x 是什么（必须是某个较高的数字，因为这里 sigm(x) 为 1）。

下列的因陀罗为你 https://stackoverflow.com/a/41712013/1922302我设法检索 Keras 层的输出和权重：

outputs = [layer.output for layer in model.layers[-2:]]
functors = [K.function( [model.input]+[K.learning_phase()], [out] ) for out in outputs]

test_input = np.array(...)
layer_outs = [func([test_input, 0.]) for func in functors]

print layer_outs[-1][0]  # -> array([[ 1.]])

dense_0_out = layer_outs[-2][0]                           # shape (612, 1)
dense_1_weights = model.layers[-1].weights[0].get_value() # shape (1, 612)
dense_1_bias = model.layers[-1].weights[1].get_value()

x = np.dot(dense_0_out, dense_1_weights) + dense_1_bias
print x # -> -11.7

x怎么可能是负数呢？在这种情况下，最后一层的输出应该是更接近 0.0 而非 1.0 的数字。是dense_0_out or dense_1_weights输出或权重错误？

既然你正在使用get_value()，我假设您使用的是 Theano 后端。要获取 sigmoid 激活之前节点的值，您可以遍历计算图 http://deeplearning.net/software/theano/extending/graphstructures.html#traversing-the-graph.

可以使用所有者字段从输出（某些计算的结果）开始遍历该图直至其输入。

在你的情况下，你想要的是输入xsigmoid 激活操作的sigmoid 运算的输出是model.output。将这些放在一起，变量x is model.output.owner.inputs[0].

如果你打印出这个值，你会看到Elemwise{add,no_inplace}.0，这是一个逐元素加法运算。可以从以下方面验证源代码 https://github.com/fchollet/keras/blob/master/keras/layers/core.py#L840-L846 of Dense.call():

def call(self, inputs):
    output = K.dot(inputs, self.kernel)
    if self.use_bias:
        output = K.bias_add(output, self.bias)
    if self.activation is not None:
        output = self.activation(output)
    return output

激活函数的输入是输出K.bias_add().

通过对代码进行少量修改，您可以在激活之前获取节点的值：

x = model.output.owner.inputs[0]
func = K.function([model.input] + [K.learning_phase()], [x])
print func([test_input, 0.])

对于使用 TensorFlow 后端的任何人：使用x = model.output.op.inputs[0]反而。