最近的两阶段跨域检测工作广泛探索了局部特征模式，以获得更准确的适配结果。 这些方法在很大程度上依赖于区域建议机制和基于ROI的实例级特性来设计关于前景目标的细粒度特性对齐模块。 然而，对于一阶段检测检测器，在检测流程中很难甚至不可能获得显式的实例级特性。 基于此，我们提出了一种隐式实例不变网络(I3Net)，该网络用于适配单阶段检测器，并通过利用不同层深度特征的自然特征来隐式学习实例不变特征。 具体而言，我们从三个方面促进了适应性调整：(1)、动态类均衡重加权(DCBR)策略，该策略考虑了域内和类内变化的共存，对样本稀缺的类别和易于适应的样本赋予更大的权重; (2)、类别感知目标模式匹配(COPM)模块，该模块增强了基于类别信息引导的跨领域前景目标匹配，抑制了无信息背景特征; (3)、正则化联合类别对齐(Regularized Joint Category Alignment, RJCA)模块，该模块以一致性正则化的方式在不同的域特定层联合实施类别对齐。 实验表明，I3Net在基准数据集上的性能超过了最先进的水平。
由于深度卷积网络的空前发展和大规模标注数据集的存在，目标检测取得了显著进展。 然而，在不同的领域中收集大量的实例级注释数据用于目标检测是非常昂贵的。 另一种方法是将在源域上训练的现成检测模型应用到新的目标域。 然而，在域漂移存在的情况下，当应用到一个新的域时，深度目标检测器的性能会下降。 这一问题启发了无监督域适配的研究，该研究旨在通过知识转移来弥合源域和目标域之间的分布差异。 大量的方法，如矩匹配和对抗学习，被提出用于跨域图像分类和语义分割。
与传统的UDA问题相比，跨域目标检测需要同时考虑分类和回归的适应性，是一个更加复杂和具有挑战性的问题。 目前的方法大多采用对抗性特征适应来探索局部、全局和实例级的区分性特征模式，以适配两阶段检测器(见图1顶部)，Faster R-CNN。 然而，它们严重依赖于区域建议机制和基于ROI的实例级特性来设计关于前景目标的细粒度特性对齐模块。 例如，Zhu等基于RPN的区域建议挖掘目标判别区域。 Cai等利用基于ROI的特征对关系图进行正则化。 Chen等人和Xu等人通过上下文或类别正则化帮助实例级特性对齐。
单阶段目标检测器，如SSD和RetinaNet，在实际应用中具有更快、更简单的优点。 不幸的是，由于缺乏区域建议步骤，在单阶段检测器中获取显式实例级特性是不现实的。 因此，如何适配单阶段检测器的实际情况是至关重要的，但仍有待深入研究。 本文的研究动机如图1所示。 标准CNN的深度特征必须最终沿着网络从一般到特定的过渡。 受此启发，在一阶段检测器中，我们可以合理地设想在较低层(例如，颜色、角、边缘和照明)的特性大部分是实例信息不丰富的，而在较高层(例如，目标类别)的特性是实例信息丰富的。 因此，我们需要减轻无信息特征的负面影响，促进信息特征的对齐，即从底层抑制冗余(如背景)信息，在高层增强前景目标的跨领域语义相关性。
在本文中，我们提出了一个隐式实例不变网络(I3Net)，它消除了需要显式实例级特性的需要。 相反，我们通过对齐可转移区域和图像来隐式学习实例不变的特征，同时保留域间的类关系。 具体来说，我们从三个方面促进了单阶段检测器的适配。 首先，我们观察到目标数据中隐藏着两个概念上的正交分布变化，即域内变化和类内变化，提出了一种动态类平衡重加权(DCBR)策略，根据每个目标样本的适应困难度动态重加权。 它是由多标签分类器的分类不平衡程度和预测不确定性来衡量的。 其次，考虑到具有相同类别标签但来自不同领域的目标会共享相似的目标模式，设计了类别感知目标模式匹配(COPM)模块，以类别信息为导向，提高了前景目标的跨领域匹配，抑制了底层无信息背景特征；最后，我们开发了正则化联合类别对齐(Regularized Joint Category Alignment, RJCA)模块，通过考虑不同领域特定层的互补效应来实现类别对齐，并进一步针对不同检测头的平均预测加入一致性正则化项。 实验结果表明，提出的I3Net在三个基准上显著提高了单阶段跨域目标检测的最新性能。
UDA方法在改善图像分类、语义分割和目标检测两个不同领域之间的分布差异方面受到了广泛关注。 对于UDA，典型的解决方案是通过在深度架构中嵌入视差度量来匹配公共空间内的源目标特征分布，如最大平均差异(Maximum Mean deviation, MMD)、相关对齐(Correlation Alignment, CORAL)、中心矩差异(Central Moment deviation, CMD)[49]和传输距离。 受生成对抗网(Generative Adversarial Nets, GAN)成功的启发，大量的作品已经通过额外的范畴正则化对抗学习领域不变表示完成。
目标检测是近几十年来最基本的计算机视觉问题之一。 我们的工作重点是如何适应目标检测器，所以我们只回顾了几个有代表性的两阶段和一阶段检测器。 基于区域的一系列卷积网络(即R-CNN、Fast R-CNN和Faster R-CNN)在检测精度方面取得了令人瞩目的结果。 它们依靠区域建议机制对感兴趣区域(Region Of Interest, ROI)进行独立的分类，或者与ROI池化层共享卷积特征，或者基于区域建议网络(region proposal Network, RPN)生成区域建议。 另一方面，SSD、YOLO和RetinaNet等一级检测器通过直接进行类别置信度预测和边界框回归，在推理速度上显示出明显的优势。
R-CNN是一种开拓性的两阶段跨域检测方法，通过对图像级和实例级的域不变特征进行反向学习，减少了分布偏移。 考虑到目标检测任务的局部性质，最近的研究致力于捕获局部特征模式，并在多个层次上明确地对齐它们。 如Chen等提出对不同层次特征的可移植性进行分层标定，以提高检测器的可判别性；Xu等人和Zheng等人从跨域原型对齐中获得动机，将前景目标与域之间的同一类别对齐。 然而，这些方法不能简单地扩展到单阶段检测器，因为它们高度依赖于区域建议和集合实例级特性。 单阶段目标检测器的自适应研究非常有限。 [19]是一个开创性的尝试，提出了一种弱自训练策略，在难负挖掘过程中同时减少假阳性和假阴性。 然而，基于自训练的方法容易出现错误积累问题，特别是在复杂的跨域检测场景下。 此外，如何在没有区域建议机制指导的情况下学习实例不变的特征表示，这对适应单级检测器至关重要，目前仍不清楚。
在跨域目标检测任务中，我们给出了
个带标记样本的源域
和未带标记的
个样本的目标域
。 
和
来自不同的数据分布，但共享同一组类(总共类)。 本文的目的是将知识从
转移到，并在中获得良好的检测结果。
为此，我们提出了隐式实例不变网络(I3Net)，它由动态和类平衡重加权(DCBR)、类别感知目标模式匹配(COPM)和正则化联合类别对齐(RJCA)三部分组成。 I3Net的概述如图2所示。 其基本思想是利用检测器不同层表示的固有特征来弥补缺乏显式实例级特征的不足。 DCBR基于对域内和类内变化的适应难度对目标样本进行重加权，COPM捕获前景目标模式并抑制冗余背景信息， RJCA通过一致性正则化促进了不同领域特定层(与检测头相连)中的跨领域类别对齐。 我们的I3Net是基于SSD框架的。
目前的跨域检测方法主要集中于特征级的自适应，对所有目标样本一视同仁，而忽略了目标数据的分布特征，这对自适应过程至关重要。 相比之下，所提出的DCBR策略明确地探索了未标记目标域内的域内和类内变化，为那些样本稀缺类别和易于适应的样本分配更大的权重。 我们在下面分析这两个变量。
目标检测中普遍存在类别不平衡问题，这是指不同类别的样本数量不相等。 之前的努力，如Focal Loss和难负样本挖掘，都致力于解决前景-背景类的不平衡，这与单个域中每个类的示例数量无关。 在跨域检测，我们认为前景类不平衡，这是数据相关，在域间可能是不同的，很容易恶化适配性能，因为每个类的适配将将会受到两个域之间每个类样例数的影响，即，不同类别的适配难度可能是不同的。
由于域间背景、目标共现、场景布局的差异，在完整数据集中过分对齐源域与目标域特征会导致负迁移，即某些目标样本可能不易迁移甚至不可迁移。 然而，大多数领先的跨域检测方法将目标域作为一个整体，而没有考虑类内数据分布的结构。 基于此，我们假设同一类内不同样本的适应难度可能是不同的。 一个直观的解决方案是利用重新加权技术。 然而，这种解决方案在跨域目标检测中受到了严重的限制。 与单一图像通常只包含一个语义类别的分类问题不同，在检测问题中，同一图像中存在多个实例。 因此，如何度量输入目标样本在跨域检测中的适应困难度仍然是一个不明确的问题。
基于以上讨论，我们正式提供了的DCBR的细节。 DCBR包括两个步骤：（i）、估计每个个体目标样本和每个目标类别的适配困难度；（ii）、根据估计结果对目标样本重新加权。 从技术角度来讲，适配困难的目标示例
(为便于外延,我们忽略的下标
我和
时适用)是衡量使用图像级别多标记分类器(也就是图2中的
)。我们首先训练基于标注的源域样本
来进行初始化。 源域上的多标签分类损失为：
式中是
和
的第个元素(
是连接到的特征提取器)，
。 
表示在
中至少存在一个类的目标; 否则，
表示不包含类的目标。对于每个目标样本
，我们将其多标签分类的预测表示为
。 然后，我们定义目标样本
的权重函数，也就是使用多标签分类输出的类内变化：
其中
， 为一个阈值。
是一个指示函数，当为真时为1，否则为0。 这样，更高分类置信度的目标域样本被分配更大的权重，因为它们和源域更加相似。 注意，随着训练的进行， 由于
的值不断增加，源和目标分布越来越接近。
为了估计
中每个类的示例数，我们通过分类输出粗略地将划分为个类。 如果
的目标域，将
添加到类
。 然后将未标记的目标样本
划分为类，即
。 为此，我们能够为那些样本稀缺的类别分配更大的权重。 域内变化的权函数为：
基于Eq.(2)和Eq.(3)，目标样本
的总权函数表达式为：
是平衡
和
的超参数。 将权值加到所有目标样本后，图像域鉴别器
的对抗性损失为：
其中
是与
相连的特征提取器。
正如我们在第1节中讨论的，底层的特征表示包含各种冗余信息(例如背景)，不应该完全对齐。 以往的工作严格匹配低级特征，可能导致性能较差，特别是在单阶段检测上。 在探索过程中，我们观察到具有相同类别标签但来自不同领域的目标将拥有相似的目标模式。 目标模式是指前景目标的识别特征，可以对前景目标的类别、形状、大小等提供丰富的语义信息。 基于这一发现，我们提出了一种分类感知目标模式匹配(COPM)模块，以提高分类信息引导下的跨领域前景目标匹配，并抑制无信息背景特征。
假设我们有一个CNN层(例如，Conv 4_3 SSD300)及其相应的激活张量
，由层特征通道、
高度和宽度
构成。局部特征比对的一个直观的想法是提取两域和注意力图匹配。 局部特征对齐的直观方法是提取两个域的注意力图，并且在某种程度上匹配它们。但是，目标注意图倾向于集中在优势的前景目标上，而不是完整的前景目标上(参见图3)，这将削弱检测器检测小的或/和模糊目标的定位能力。 因此，我们借助于检测头的杠杆分类输出(参见图2)，记为
, 为
中的锚标号，
)，指导目标模式匹配。 具体来说，分类输出
与特征表示
通过张量积运算进行非线性融合，即
，其中
为融合的特征向量。 为了防止维数爆炸，我们从随机多线性映射中提取动机，利用Hadamard积来估计张量积，
其中⊙为阿达玛乘积。 
和
是随机矩阵，它们的每个元素都服从单方差均匀分布。
为融合后的特征维数(本实验中
设置为1024)。 基于类别引导的激活张量
，我们通过基于激活的映射函数输出空间注意图:
，其表达式为：
为了减少计算成本，我们将源和目标的注意映射平化为向量，分别表示为
和
。最后，我们通过最小化源和目标之间的距离，对齐源和目标目标模式，
其中
为欧几里德距离。 值得注意的是，我们在COPM中加入了一个像素级域鉴别器(即图2中的
)，以进一步减少低级别特征的视差。 因此，COPM的损失函数是：
，其中
是一个典型的像素级域对抗性训练损失。
基于原型的特征对齐被广泛用于测量UDA中类别水平的特征差异，并被应用于两阶段交叉域检测。 然而，考虑到单阶段检测器的密集预测特性，在这种情况下，原型对准可能容易出错，而采用两阶段检测器时，大多数负建议被过滤掉。 此外，之前的工作只是在某个高级特征层中实现原型对齐，而没有考虑不同领域特定层的潜在互补效应。 基于此，我们提出了正则化联合类别对齐(Regularized Joint Category Alignment, RJCA)模块，以实现不同领域特定层的类别对齐，并对同一类别的不同层的平均预测一致性进行正则化。
针对单阶段检测器的全卷积和多级预测特性，我们的目标是联合实施不同层的跨域类别对齐。 首先，假设深层网络在不同层中产生的激活为
和
，其中
。 然后，我们利用逐像素预测计算l层中每个源类的原型，可以写成：
在
表示源目标的数量标示类,
是像素指数
。
是一个指标来确定当前像素是否预测作为全局的原型类k。源计算每个类一开始的训练。 让检测头的预测w.r.t.一个目标目标表示为
。 目标局部原型的计算方法如下：
其中
为分配给伪标签的目标个数，
为目标域的小批量样本。 类似地，我们可以得到一组源局部原型
。 联合类别对齐的目标函数表达式为：
其中和
是两个不同的相似函数，用来测量原型之间的距离。 在我们的例子中，我们通过[13]中定义的对比损失实例化Eq.(11)。 在训练过程中，由局部原型以移动平均的方式更新Eq.(11)中的全局原型，
所有实验中ρ值都设为0.7。 此外，我们通过分别最小化其对称Kullback−Leibler (KL)散度，对不同层w.r.t.同类的预测一致性进行正则化，其表达式为：
其中
和
平均预测，对应着类别的不同层。 在这里，为了平滑预测，我们在softmax函数中添加一个温度变量
(在所有实验中
)。 为此，提出的RJCA的目标可以写成：
，其中在所有实验中设置为0.1。
假设检测损失记为
，其中包括分类损失和回归损失。 结合以上各部分，I3Net的总体目标函数表述如下：
其中
和
是平衡不同损失组件的超参数。
我们基于Pascal VOC、Clipart1k、Watercolor2k和Comic2k数据集进行实验。 在[19]的基础上，我们利用Pascal VOC2007-trainval和VOC2012-trainval数据集作为源域，Clipart1k、Watercolor2k和Comic2k分别作为目标域。 Pascal VOC是一个真实世界的图像数据集，包含16551张图像，有20个不同的目标类别。 Clipart1k是一个具有复杂背景的图形图像数据集，由1K张图像组成，与Pascal VOC具有相同的20个类别。 我们利用Clipart1k的所有图像作为训练和测试的目标域。 Watercolor2k和Comic2k分别包含2K幅图像(即1K为列集，1K为测试集)。 它们与Clipart1k数据集共享6个相同的类别，即自行车、鸟、猫、汽车、狗和人。 按照前面的实践，我们利用训练集进行训练，利用测试集进行评估。
我们实验中的基本检测模型遵循中使用VGG-16架构的SSD300框架的相同设置。 VGG-16的参数是根据在ImageNet上预训练的模型进行微调的。 在所有实验中，输入图像的大小被调整为300 × 300，我们进行了中使用的所有增强。 批处理大小选择为32(16个源图像和16个目标图像)，以适合GPU内存。 我们通过报告目标域上的IoU阈值为0.5的平均平均精度(mAP)来评估跨域检测性能。 我们采用随机梯度下降(SGD)优化器对检测网络进行训练，动量为0.9，初始学习率为0.001，权值衰减为
。 50个epoch后，学习率下降到0.0001。 需要注意的是，多标签分类器
是在标签源域上进行预训练的，在训练我们的自适应网络时保持固定。 对于RJCA中的L，基于SSD的I3Net模型，我们设置
。 我们在Eq.(14)中设
= 0.05， 
= 1。 我们的实验是用Pytorch深度学习框架实现的。
我们比较了目前最先进的跨域目标检测方法，包括领域对抗神经网络(DANN)、对抗背景评分正则化+弱自训练(BSR+WST)、强-弱分布对齐(SWDA†)和层次转导校准网络(HTCN†)。 DANN、BSR、WST、BSR+WST的定量结果引自原论文。 我们在单阶段场景中重现了完整的SWDA模型。 此外，我们从HTCN模型中删除了上下文感知的实例级对齐组件，并在我们的实验中重新实现了其余的模块。 需要注意的是，主流的跨域检测方法是为两阶段检测器量身定制的，不能简单地扩展到基于单阶段的实验，因为它们高度依赖区域建议机制。
表1显示了Pascal VOC→Clipart1k的适配结果。 “Source Only”表示基线SSD在源域上进行训练，在目标域上直接进行测试，不进行任何适配。 在mAP方面，所提出的I3Net明显优于所有比较方法，比现有方法提高了+2.0%(35.8%到37.8%)。 值得注意的是，提议的I3Net的所有组件都经过了适当的设计，当我们删除这些组件中的任何一个时，最终性能将相应下降。
表2和表3分别报告了Pascal VOC→Watercolor2k和Pascal VOC→Comic2k任务的结果。 I3Net在大多数目标类别上取得了更好的性能，这表明I3Net能够学习更多可转移表示，并可扩展到不同的跨域检测场景。 值得注意的是，I3Net对具有挑战性的迁移任务(27.8% ~ 30.1%)，即Pascal VOC→Comic2k，其中源数据与目标数据的域差异较大，基本上表现出更好的自适应性能。
我们通过评估I3Net的变体来验证所提出的DCBR、COPM和RJCA的效果。结果见表4。(1)、DCBR w/o Dynamic和DCBR w/o CB表示分别从式(4)中去掉
和
。(2)、COPM w/o C表示我们去掉非线性融合步骤(Eq.(6))，直接匹配源目标矢量化的注意图。COPM w/ MMD和COPM w/ Adv表示Eq.(8)中的L2距离分别用MMD[23]和域对抗性损失代替。(3)、RJCA w/o J是仅在一层进行类别对齐的变体。没有预测正则化的RJCA (Eq.(13))。COPM w/ MMD和COPM w/ Adv的结果表明，
距离能够更好地保存结构化信息(即目标模式)。RJCA w/o J的结果验证了考虑不同领域特定层的互补效应的重要性。
图3显示了Source Only、HTCN†和I3Net生成的注意力地图。颜色越亮，权重值越大。值得注意的是，提出的I3Net能够：(i)、捕获包含丰富语义信息的鉴别区域。(ii)、突出前景目标，即使目标大小很小。(iii)、抑制冗余背景信息。
图4展示了三个目标域(即Clipart1k、Watercolor2k和Comic2k)上的检测结果示例。在不同的传输任务中，提出的I3Net一致且显著优于Source Only和HTCN†模型。由于DCBR的引入，I3Net能够精确地检测样本稀缺类别(如(a)、(d)、(e))。I3Net能够检测这些模糊的目标，并提供准确的边界框预测，因为我们通过提出的COPM明确地鼓励跨域目标模式对齐(例如(a)， (b)， (c)和(f))。此外，由于RJCA的存在，I3Net能够保证跨域语义一致性，从而显著减少假阳性结果，提高分类准确率(如(d)和(e))。
在本文中，我们提出了隐式实例不变网络(I3Net)来解决跨域目标检测问题，该问题基于单阶段检测器，而不需要显式实例级特征。该方法的核心思想是通过挖掘不同层深度特征的自然特征，隐式学习实例不变特征，即抑制底层的冗余信息，增强上层前景目标的跨领域语义相关性。在三个标准跨域检测基准上的实验验证了该方法的有效性。
