我有一个包含 23 个类的 tfrecord，每个类有 35 张图像（总共 805 张）。我当前的 tfrecord 读取函数是：
def read_tfrecord(serialized_example):
feature_description = {
'image': tf.io.FixedLenFeature((), tf.string),
'label': tf.io.FixedLenFeature((), tf.int64),
'height': tf.io.FixedLenFeature((), tf.int64),
'width': tf.io.FixedLenFeature((), tf.int64),
'depth': tf.io.FixedLenFeature((), tf.int64)
}
example = tf.io.parse_single_example(serialized_example, feature_description)
image = tf.io.parse_tensor(example['image'], out_type=float)
image_shape = [example['height'], example['width'], example['depth']]
image = tf.reshape(image, image_shape)
label = tf.cast(example["label"], tf.int32)
image = image/255
return image, label
然后我有一个 make_dataset 函数，如下所示：
def make_dataset(tfrecord, BATCH_SIZE, EPOCHS, cache=True):
files = tf.data.Dataset.list_files(os.path.join(os.getcwd(), tfrecord))
dataset = tf.data.TFRecordDataset(files)
if cache:
if isinstance(cache, str):
dataset = dataset.cache(cache)
else:
dataset = dataset.cache()
dataset = dataset.shuffle(buffer_size=FLAGS.shuffle_buffer_size)
dataset = dataset.map(map_func=read_tfrecord, num_parallel_calls=AUTOTUNE)
dataset = dataset.repeat(EPOCHS)
dataset = dataset.batch(batch_size=BATCH_SIZE)
dataset = dataset.prefetch(buffer_size=AUTOTUNE)
return dataset
这个 make_dataset 函数被传递到
train_ds = make_dataset(tfrecord=FLAGS.tf_record, BATCH_SIZE=BATCH_SIZE, EPOCHS=EPOCH)
image_batch, label_batch = next(iter(train_ds))
feature_extractor_layer = hub.KerasLayer(url, input_shape=IMAGE_SHAPE + (3,))
feature_batch = feature_extractor_layer(image_batch)
feature_extractor_layer.trainable = False
model = tf.keras.Sequential([feature_extractor_layer, layers.Dense(2048, input_shape=(2048,)), layers.Dense(len(CLASS_NAMES), activation='softmax')])
model.summary()
predictions = model(image_batch)
model.compile(optimizer=tf.keras.optimizers.Adam(learning_rate=rate),
loss='categorical_crossentropy',
metrics=['acc'])
batch_stats_callback = CollectBatchStats()
STEPS_PER_EPOCH = np.ceil(image_count / BATCH_SIZE)
history = model.fit(image_batch, label_batch, epochs=EPOCH, batch_size=BATCH_SIZE, steps_per_epoch=STEPS_PER_EPOCH, callbacks=[batch_stats_callback])
这段代码的运行意义在于，它输出有关我有多少个 epoch 的常用信息以及一些训练精度数据（为 0，损失约为 100k）。我得到的错误对我来说没有任何意义，因为它说：函数实例化在外部推理上下文中的索引：100 处具有未定义的输入形状。您可以将该数字替换为 1000 以下的任何数字（不确定它是否超过了我 tfrecord 中的图像数量）。
我对这个完全不知所措。
EDIT:
看来我收到的这个“错误”只不过是一条警告消息。我怀疑这与 TensorFlow Hub 的使用和潜在的 eagerexecution 有关。我添加了
os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2'
在文件的开头，警告已经消失。
