标准化 Tensorflow 对象检测 API 的输入

Tensorflow 对象检测 API 默认情况下是否会进行类似于输入标准化的预处理？

我在任何地方都找不到任何有关它的文档。数据增强中有一个名为“NormalizeImage”的选项。在动物园模型的所有配置文件中，我从未看到它被使用过。下雨了ssd_mobilenet_v3_small_coco_2020_01_14将学习转移到我的自定义课程而不使用它并且一切正常。 我知道有类似的问题here https://stackoverflow.com/q/51509083/4267439但几年后没有答案，网络也不同了。

使用以下代码（OpenCV 4.3.0 DNN 模块）进行测试会产生正确的结果：

import cv2 as cv


net = cv.dnn_DetectionModel('model/graph/frozen_inference_graph.pb', 'cvgraph.pbtxt')
net.setInputSize(300, 300)
#net.setInputScale(1.0 / 127.5)
#net.setInputMean((127.5, 127.5, 127.5))
net.setInputSwapRB(True)

frame = cv.imread('test/2_329_985_165605-561561.jpg')

classes, confidences, boxes = net.detect(frame, confThreshold=0.7)

for classId, confidence, box in zip(classes.flatten(), confidences.flatten(), boxes):
    print(classId, confidence)
    cv.rectangle(frame, box, color=(0, 255, 0))

cv.imshow('out', frame)
cv.waitKey()

While here https://github.com/opencv/opencv/pull/16760使用归一化。在我的例子中使用标准化会产生错误的结果，边界框比应有的大得多。我猜输入标准化是由张量流在幕后执行的？

即使我可能来不及帮助你，我也想回答这个问题，因为我在理解标准化是如何定义时遇到了一个非常类似的问题。也许它对其他人有帮助。

我什至发布了我自己的问题（here https://stackoverflow.com/questions/73019544/normalization-in-the-object-detection-api）但一个小时后找到了答案。因为我找不到你使用的型号（tf1动物园模型 https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/tf1_detection_zoo.md导致死链接ssd_mobilenet_v3_small_coco https://github.com/tensorflow/models/blob/master/research/object_detection/g3doc/tf1_detection_zoo.md）我认为那里的管道看起来与我使用的类似。

在管道配置中定义了特征提取器。

feature_extractor {
  type: "ssd_mobilenet_v2_keras"
  depth_multiplier: 1.0
  ...
  }

这使用了这个特征提取器。在此提取器中定义了以下预处理函数：

def preprocess(self, resized_inputs):
  """SSD preprocessing.
  Maps pixel values to the range [-1, 1].
  Args:
    resized_inputs: a [batch, height, width, channels] float tensor
      representing a batch of images.
  Returns:
    preprocessed_inputs: a [batch, height, width, channels] float tensor
    representing a batch of images.
  """
  return (2.0 / 255.0) * resized_inputs - 1.0

如果你计算一下，你会发现这与

image = (image-127.5)/127.5

只是以不同的方式格式化。我希望这可以帮助别人！

编辑： 然而我刚刚意识到这并不能解释为什么 OP 模型在没有预处理的情况下效果更好。我猜 OP 预处理必须已经在 cvgraph 中定义，正如它在opencv 文档 https://docs.opencv.org/4.x/d3/df1/classcv_1_1dnn_1_1DetectionModel.html.