联邦集成YOLOv5–一种更好的广义目标检测算法
论文地址：
https://arxiv.org/abs/2306.17829
联邦学习（FL）作为一种隐私保护算法已经获得了显着的吸引力，但联邦学习算法（如联邦平均（FED Avg）或联邦SGD（FED SGD））与集成学习算法的潜在相似之处尚未得到充分探索。本文的目的是研究FL的应用程序的对象检测的方法，以提高泛化能力，并比较其性能对一个集中的训练方法的对象检测算法。具体来说，我们研究了在多个客户端上使用FL训练的YOLOv5模型的性能，并采用了不替换的随机抽样策略，因此每个客户端都持有用于集中训练的相同数据集的一部分。我们的实验结果展示了FL对象检测器的全局模型的卓越效率，在生成准确的边界框为未见的对象，测试集是来自两个不同的客户端的对象的混合物，没有在训练数据集中表示。这些研究结果表明，FL可以从集成算法的角度来看，类似于Bagging和Boosting技术的协同混合。因此，FL不仅可以被视为增强隐私的方法，而且可以被视为增强机器学习模型性能的方法。
基于视觉语言预训练模型的零射中核检测
论文地址：
https://arxiv.org/abs/2306.17659
大规模视觉语言预训练模型（VLPM）已经证明了他们在下游的自然场景目标检测中的出色性能。然而，通过VLPM在H&E图像上的zero-shot核检测仍然不足。医学图像和用于预训练的网络来源的文本图像对之间的巨大差距使其成为一项具有挑战性的任务。在本文中，我们试图探索的潜在的对象级VLPM，扎根语言图像预训练（GLIP）模型，zero-shot核检测。具体地，基于VLPM和图像到文本VLPM BLIP的关联绑定特性，设计了一个自动提示设计流水线，避免了经验性的人工提示工程。我们进一步建立了一个自我训练框架，使用自动设计的提示生成初步结果作为伪标签从GLIP和细化预测框迭代的方式。我们的方法实现了显着的性能，无标记的核检测，超过其他比较方法。首先，我们的工作表明，在自然图像-文本对上预训练的VLPM在医疗领域的下游任务中也表现出惊人的潜力。代码将在www.example.com发布https://github.com/wuyongjianCODE/VLPMNuD。
面向共享生产质量检测的联合目标检测
论文地址：
https://arxiv.org/abs/2306.17645
联邦学习（FL）已经成为一种在不损害数据隐私的情况下训练分散式数据的机器学习模型的有前途的方法。在本文中，我们提出了一种FL算法的质量检测任务中的目标检测使用YOLOv 5的目标检测算法和联邦平均（FedAvg）的FL算法。我们将这种方法应用于制造用例，其中多个工厂/客户端贡献数据，用于训练一个全局对象检测模型，同时保留非IID数据集的数据隐私。我们的实验表明，我们的FL方法在整个客户端的测试数据集上实现了更好的泛化性能，并生成改进的边界框周围的对象相比，使用本地客户端的数据集训练的模型。这项工作展示了FL在制造业的质量检测任务的潜力，并提供了有价值的见解，利用YOLOv 5和FedAvg联邦对象检测的性能和可行性。
三维物体检测算法快速成型子集选择方法的比较研究
论文地址：
https://arxiv.org/abs/2306.17551
3D中的物体检测是自动驾驶车辆和无人机背景下的一个关键方面。然而，原型检测算法在能量和环境影响方面是耗时和昂贵的。为了解决这些挑战，可以通过在原始训练集的子集上进行训练来检查不同模型的有效性。在本文中，我们提出了一个比较的三种算法，选择这样的子集-随机抽样，随机每类抽样，我们提出的MONSPeC（最大对象数抽样每类）。我们提供了经验证据的优越的有效性的随机每类抽样和MONSPeC基本随机抽样。通过用更有效的算法之一替换随机采样，在子集上获得的结果更有可能转移到整个数据集上的结果。代码可在以下网址获得：https://github.com/vision-agh/monspec。
移动物体：在恶劣条件下通过视觉位置识别改进动态车辆检测
论文地址：
https://arxiv.org/abs/2306.17536
知道你在哪里能帮助你感知周围的物体，特别是在恶劣的天气和光照条件下？在这项工作中，我们调查是否可以利用一个先验的地图，以帮助在一个场景中的动态对象的检测，而不需要一个3D地图或像素级的地图查询对应。我们贡献了一个算法，细化的候选对象的检测的初始集，并产生一个细化的子集的高度准确的检测使用的先验地图。我们首先使用视觉位置识别（VPR）检索一个给定的查询图像的参考地图图像，然后使用二进制分类神经网络，比较查询和映射图像区域，以验证查询检测。一旦我们的分类网络被训练，在大约1000个查询地图图像对，它能够提高车辆检测的性能时，与现有的现成的车辆检测器相结合。我们展示了我们的方法，使用标准的数据集跨两个城市（牛津和苏黎世）的不同设置的训练测试分离的地图查询遍历对。我们进一步强调我们的方法对替代设计选择的性能增益，并表明VPR足以完成任务，消除了精确的地面实况定位的需要。
用于自主车辆感知的检测-分段卷积神经网络
论文地址：
https://arxiv.org/abs/2306.17485
目标检测和分割是自主车辆感知系统的两个核心模块。它们应该具有高效率和低延迟，同时降低计算复杂度。目前，最常用的算法是基于深度神经网络，这种算法保证了高效率，但需要高性能的计算平台。在自动驾驶汽车的情况下，即。汽车，还有无人机，需要使用计算能力有限的嵌入式平台，这使得难以满足上述要求。可以通过使用适当的以下方式来实现网络复杂度的降低：架构、表示（降低的数值精度、量化、修剪）和计算平台。在本文中，我们专注于第一个因素-使用所谓的检测分割网络作为感知系统的一个组成部分。我们考虑了分割的可驾驶区域和道路标记的任务，结合所选对象（行人，交通灯和障碍物）的检测。我们比较了文献中描述的三种不同架构的性能：MultiTask V3、HybridNets和YOLOP。我们进行了一个自定义数据集的实验，该数据集包括约500个可驾驶区域和车道标记的图像，以及250个检测到的物体的图像。在分析的三种方法中，MultiTask V3被证明是最好的，实现了99%的mAP_50检测，97%的MIoU可驾驶区域分割，91%的MIoU车道分割，以及124 fps的RTX 3060图形卡。该架构是一个很好的解决方案，嵌入式感知系统的自动驾驶车辆。代码可在以下网址获得：https://github.com/vision-agh/MMAR_2023。
用于漫画说话人检测的大规模对话数据集Manga109Dialog
论文地址：
https://arxiv.org/abs/2306.17469
不断扩大的电子漫画市场激发了人们对开发分析漫画的自动化方法的兴趣。为了进一步理解漫画，需要一种自动化的方法来将漫画中的文本链接到说这些话的角色。漫画说话人检测的研究具有实际应用价值，如有声读物的自动角色分配、根据人物性格的自动翻译、人物关系和故事的推断等。 为了解决说话人到文本注释不足的问题，我们基于Manga109创建了一个新的注释数据集Manga109Dialog。Manga109Dialog是世界上最大的漫画扬声器注释数据集，包含132，692个扬声器到文本对。我们进一步将我们的数据集划分为不同的水平预测困难，以评估说话人检测方法更合适。与现有的方法主要基于距离，我们提出了一种基于深度学习的方法，使用场景图生成模型。由于漫画的独特功能，我们提高了我们提出的模型的性能，考虑框架阅读顺序。我们使用Manga109Dialog和其他数据集进行了实验。实验结果表明，我们的场景图为基础的方法优于现有的方法，实现了超过75%的预测准确率。
GMM：用于单目三维检测的梯度感知和模型感知深度挖掘研究
论文地址：
https://arxiv.org/abs/2306.17450
深度感知是单眼3D检测任务的关键组成部分，通常涉及不适定问题。鉴于样本挖掘技术在二维物体检测中的成功，我们提出了一种简单而有效的挖掘策略，以提高三维物体检测中的深度感知。具体地，我们引入了一个简单的度量来评估深度预测的质量，它选择了挖掘的样本的模型。此外，我们提出了梯度感知和模型感知挖掘策略（GMM）的深度学习，它利用预测的深度质量，通过简单的挖掘更好的深度学习。GMM是一种通用策略，可以很容易地应用于几种最先进的单眼3D检测器，提高深度预测的准确性。在nuScenes数据集上的大量实验表明，所提出的方法显着提高了3D对象检测的性能，同时优于其他国家的最先进的样本挖掘技术相当大的幅度。在nuScenes基准测试中，GMM在单眼目标检测方面达到了最先进的性能（42.1% mAP和47.3% NDS）。
遥感显著目标检测中对敌云攻击的防御
论文地址：
https://arxiv.org/abs/2306.17431
在遥感图像中提取显著目标在多学科交叉研究中具有广泛的应用前景。目前已有的许多深度学习方法被提出用于遥感图像中的显著目标检测（SOD），并取得了显著的效果。然而，最近通过改变原始遥感图像上的几个像素值而生成的对抗性攻击示例可能会导致训练良好的基于深度学习的SOD模型崩溃。与现有的方法添加扰动到原始图像不同，我们提出了联合调整对抗曝光和添加扰动的攻击和约束图像接近多云图像作为对抗云。云是遥感图像中自然存在的一种普遍现象，但基于伪装云的遥感图像对抗攻击和防御研究还不多。此外，我们将DefenseNet设计为对抗性多云图像的可学习预处理，以保持基于深度学习的遥感SOD模型的性能，而无需调整已经部署的深度SOD模型。通过考虑常规和广义对抗实例，所提出的防御网可以在白盒设置中防御所提出的对抗云，在黑盒设置中防御其他攻击方法。从公共遥感SOD数据集（EORSSD）的综合基准测试的实验结果表明，有希望的防御对抗云攻击。