Keras/Tensorflow：有效获取所有层的预测或输出

我能够按照建议获得所有层的输出/预测Keras 文档：如何获得中间层的输出 https://keras.io/getting-started/faq/#how-can-i-obtain-the-output-of-an-intermediate-layer

def get_output_of_all_layers(model, test_input):
    output_of_all_layers = []

    for count, layer in enumerate(model.layers):

        # skip the input layer
        if count == 0:
            continue

        intermediate_layer_model = Model(inputs=model.input, outputs=model.get_layer(layer.name).output)
        intermediate_output = intermediate_layer_model.predict(test_input)[0]

        output_of_all_layers.append(intermediate_output)

    return np.array(output_of_all_layers)

但这慢得令人难以置信，需要一分多钟（时钟为~65s, in 6700HQ with GTX1070，这高得离谱，推理发生在不到一秒的时间内......！）对于大约 50 层的模型。我想这是因为它每次都会构建一个模型，将模型加载到内存中，传递输入并获取输出。显然，如果不从其他层获取结果，就无法获得最后一层的输出，如何像上面那样保存它们，而不必创建冗余模型（或以更快、更有效的方式）？

更新：我还注意到这并没有利用我的 GPU，这意味着所有的转换层都由 CPU 执行？为什么它不使用我的 GPU 来实现这个目的？我认为如果使用我的 GPU 的话，花费的时间会少得多。

我怎样才能更有效地做到这一点？

正如 Ben Usman 所建议的，您可以首先将模型包装在基本的端到端中Model，并将其层作为输出提供给第二个Model:

import keras.backend as K
from keras.models import Model
from keras.layers import Input, Dense

input_layer = Input((10,))

layer_1 = Dense(10)(input_layer)
layer_2 = Dense(20)(layer_1)
layer_3 = Dense(5)(layer_2)

output_layer = Dense(1)(layer_3)

basic_model = Model(inputs=input_layer, outputs=output_layer)

# some random input
import numpy as np
features = np.random.rand(100,10)

# With a second Model
intermediate_model = Model(inputs=basic_model.layers[0].input, 
                              outputs=[l.output for l in basic_model.layers[1:]])
intermediate_model.predict(features) # outputs a list of 4 arrays

或者，您可以以类似的方式使用 Keras 函数：

# With a Keras function
get_all_layer_outputs = K.function([basic_model.layers[0].input],
                                  [l.output for l in basic_model.layers[1:]])

layer_output = get_all_layer_outputs([features]) # return the same thing