B. Fu, S. Li, J. Wei, Q. Li, Q. Wang and J. Tu, “A Novel Intelligent Garbage Classification System Based on Deep Learning and an Embedded Linux System,” in IEEE Access, vol. 9, pp. 131134-131146, 2021, doi: 10.1109/ACCESS.2021.3114496.
摘要
垃圾数量的急剧增加和垃圾中物质的复杂多样性带来了严重的环境污染和资源浪费问题。回收可以减少废物，但手工管道垃圾分拣工作环境恶劣，劳动强度大，分拣效率低。本文提出了一种基于深度学习和嵌入式Linux系统的智能垃圾分类系统。本系统分为三个部分。首先，采用树莓派4B作为硬件系统的主控板。该系统的外围设备由触摸屏、传感器、二自由度伺服系统和摄像机组成。其次，提出了一种基于迁移学习和改进的MobileNetV3模型的垃圾分类GNet模型。第三，采用基于Python和QT的GUI构建了人机交互系统，便于系统操作和观察。在华为垃圾分类挑战杯数据集上进行了一系列垃圾分类实验。该分类系统的预测准确率为92.62%，效率为0.63 s。实验结果表明，本文提出的智能垃圾分类系统在准确性和效率方面都具有较高的性能。
introduction
全球产生的垃圾数量正在增长，尤其是在发展中国家;并与人口增长和经济发展[1]有关。大量的垃圾造成了严重的环境污染和资源浪费。解决这一垃圾问题的一个基本策略与固体废物的“分类”和“回收”有关。近年来，越来越多的国家开始探索可持续发展的新型循环经济循环策略，以提高环境质量。手工垃圾分类是应用最广泛的垃圾分类方式方法是目前最准确的方法。不幸的是，这是耗时的，需要训练有素的操作人员，这严重限制了垃圾的分类。因此，迫切需要一种自动化的垃圾分类方法来解决这一日益严峻的挑战，并已成为世界范围内的研究热点。
目前，各种自动化的垃圾分类方法已经被提出。这些方法可以分为以下三组:机械方法(MAs)、物联网方法(ITAs)和人工智能方法(AIAs)。垃圾自动分类系统采用微处理器、外部传感器和机械传动，有效替代人工垃圾分类。然而，现有的分类算法运行在高性能的服务器或pc上，不能满足垃圾分类系统的实际需求。因此，实现一个满足现实世界需求的高度精确和高效的分类系统仍然是一个尚未解决的挑战。
在本文中，我们将专注于嵌入式系统和深度学习来应对这一挑战。首先，在初步工作的基础上，我们观察到智能垃圾分类系统的成本和可维护性决定了该系统能否在实际应用中得到应用。嵌入式系统是一种特殊用途的计算系统，用于应用程序环境或在其他计算系统中提供专门的支持。嵌入式系统降低了垃圾分类系统的复杂性，简化了安装和维护任务，从而降低了成本。其次，现有的垃圾分类图像分类算法计算复杂度较高，通常需要大规模的标记数据集。不幸的是，由于目前还不存在公共垃圾数据集，我们只能依赖于通过互联网进行图像搜索，因此可用的数据有限[14]。因此，我们应用迁移学习[15]，并在大规模ImageNet数据集[17]上预训练卷积神经网络(CNN)模型[16]，这有助于在没有训练数据的情况下将知识从一个注解良好的数据集转移到现实世界的应用程序。迁移学习在[18]-[20]图像分类的各个领域得到了广泛的应用。该策略可以有效地提高系统的精度和鲁棒性。此外，还需要一个轻量级的网络来匹配嵌入式Linux系统的计算能力。利用华为垃圾分类挑战杯数据集进行了一系列垃圾分类实验，结果表明，所提出的垃圾分类系统预测准确率为92.62%，效率为0.63 s。实验结果表明，本文设计的智能垃圾分类系统具有较好的性能。
C. Zhihong, Z. Hebin, W. Yanbo, L. Binyan and L. Yu, “A vision-based robotic grasping system using deep learning for garbage sorting,” 2017 36th Chinese Control Conference (CCC), Dalian, China, 2017, pp. 11223-11226, doi: 10.23919/ChiCC.2017.8029147.
摘要
本文提出了一种基于机器视觉的垃圾自动分类机器人抓取系统。该系统在复杂背景中实现目标物体的识别和定位，然后使用机械手自动抓取分拣对象。复杂背景中的物体识别是机器视觉算法试图解决的关键问题。本文利用深度学习方法实现复杂背景中目标对象的真实性识别。为了实现目标对象的准确抓取，我们应用区域建议生成（RPN）和VGG-16模型进行目标识别和姿态估计。机器视觉系统将目标物体的几何中心坐标和长边角度的信息发送给机械手，机械手完成对目标物体的分类和抓取。垃圾瓶子分拣实验结果表明，所提系统的视觉算法和机械手控制方法能够高效实现垃圾分拣。
Fei Song, Ying Zhang, and Jing Zhang. 2020. Optimization of CNN-based Garbage Classification Model. In Proceedings of the 4th International Conference on Computer Science and Application Engineering (CSAE '20). Association for Computing Machinery, New York, NY, USA, Article 107, 1–5. https://doi.org/10.1145/3424978.3425089
摘要
本研究提出了一种新的城市垃圾垃圾自动分类算法，命名为DSCR-Net。该研究构建了一个具有大样本量的开源数据集。数据集的分类依据《上海市生活垃圾管理条例》，是首个采用这种分类方法的开源数据集。该研究提出的新算法借鉴了Inception-V4和ResNet网络，以方便迁移，并对模型的某些层进行了调整。新算法在数据集上进行了优化和测试，准确率为94.38%。
G. Yang et al., “Garbage Classification System with YOLOV5 Based on Image Recognition,” 2021 IEEE 6th International Conference on Signal and Image Processing (ICSIP), Nanjing, China, 2021, pp. 11-18, doi: 10.1109/ICSIP52628.2021.9688725.
摘要
目前，垃圾识别和分类的主要技术是利用传统的机器视觉算法或利用传感器对垃圾进行筛选和识别，在垃圾分类中，首先对垃圾进行准确的识别和分类是非常必要的。通过采集各类垃圾图片和建筑检测数据集，采用基于YOLO-V5的垃圾识别检测算法，利用数据增强提高模型的鲁棒性，实现对不同类型垃圾的快速准确识别。实验结果表明，该方法精度高，耗时短，鲁棒性好。
CAO, Li; XIANG, Wei. Application of convolutional neural network based on transfer learning for garbage classification. In: 2020 IEEE 5th Information Technology and Mechatronics Engineering Conference (ITOEC). IEEE, 2020. p. 1032-1036.
摘要
针对推行全民垃圾分类的号召，本文提出了一种基于改进的MobileNetV3-Large的智能垃圾分类系统，通过软硬件结合，提高全民垃圾分类意识。软件模块基于微信小程序，提供了图像识别、文本识别、语音识别、积分测验等功能。硬件模块基于树莓派，包括图像拍摄、图像识别、自动分类和自动公告等功能。用于图像分类的算法模型采用了基于MobileNetV3-Large的网络模型。该网络模型通过深度可分离卷积、逆残差结构、轻量级注意结构和硬swish激活函数对垃圾图像进行分类。文本分类模型采用基于LSTM的网络模型，通过词嵌入提取文本特征，增强垃圾文本分类效果。经过测试，该系统可以利用深度学习实现垃圾智能分类。结果表明，该算法模型的图像识别准确率可达81%，文本识别准确率可达97.61%。
通常，当神经网络更深入时，模型可以适应更复杂的结果。但在实际训练过程中，模型越深，结果不一定越好，很可能会产生较差的拟合效果和梯度消失。但是ResNet的网络结构庞大，操作多，对硬件支持要求高。在本研究中，我们选择MobieNetV3作为图像识别模型的基础，该模型调用了深度分离卷积和1 × 1提升维度层。它还提供了较高的精度和较少的参数和操作，可以轻松部署在硬件不足的环境中，如树莓派。同时引入了注意机制，对不同层的输出权重具有较高的自适应能力，在一定程度上提高了模型的精度。
FATHURRAHMAN, Haris Imam Karim; MA’ARIF, Alfian; CHIN, Li-Yi. The Development of Real-Time Mobile Garbage Detection Using Deep Learning. Jurnal Ilmiah Teknik Elektro Komputer dan Informatika (JITEKI), 2022, 7.3: 472.
摘要
世界上的垃圾问题是一个必须解决的严重问题。无论是现在还是将来，良好的垃圾管理都是必须的。良好的垃圾管理伴随着垃圾类型的分类和分类系统。本研究旨在创建一个基于手机的应用程序，可以选择垃圾类型，并将垃圾数据输入数据库。所使用的数据库是一个谷歌电子表格，它将容纳垃圾检测移动应用程序发出的输出数据。本研究使用的图像数据共计10108张，被分为6个不同的垃圾类。本研究使用了准确率为99.6%的深度学习平台densenet121来训练图像数据。对DenseNet121进行了改进，并增加了基于遗传算法的优化。应用于优化的遗传算法采用四代遗传算法。通过训练这两种方法得到的模型被转换为移动应用程序可以访问的模型。基于深度学习模型的移动应用程序容纳了垃圾类型、检测精度水平和垃圾的GPS位置的检测数据。在移动应用程序的最终实验中，发送数据的延迟时间非常快，小于1秒(0.86s)。
JIANG, Xiangkui, et al. A real-time rural domestic garbage detection algorithm with an improved YOLOv5s network model. Scientific Reports, 2022, 12.1: 16802.
摘要
越来越多的研究人员正在利用深度学习技术对农村垃圾进行分类和处理，并取得了一定的成果。然而，现有的垃圾检测模型仍然存在复杂度高、小目标漏检、检测精度低、实时性差等问题。为了解决这些问题，我们训练了一个模型，并将其应用于农村地区的垃圾分类和检测。总的来说，我们在YOLOv5算法的基础上提出了一种注意力组合机制来构建更好的骨干网络结构，在头部网络中增加新的小目标检测层来增强模型对小目标的检测能力，采用CIoU损失函数来优化输出预测包围框，并选择Adam优化算法来训练模型。我们提出的YOLOv5s - CSS模型在0.021秒内检测出单个垃圾图像，检测精度为96.4%。与YOLOv5算法和经典检测算法相比，改进算法具有更好的检测速度和检测精度。同时，在一定程度上降低了网络模型的复杂性，能够满足农村生活垃圾实时检测的要求。
Ma等人10提出了一种改进的Faster R-CNN (Faster Regions with CNN features)算法。首先，将Faster R-CNN算法与VGG (Visual Geometry Group Network)-16和ResNet (Residual Network)-50卷积神经网络相结合，提高了小目标的检测精度。其次，采用SoftNMS算法替代传统的非最大抑制算法，并对参数进行分析，确定参数范围;最后实现了垃圾检测。检测单幅图像仍然需要4.103 s，检测速度有待提高。王浩11构建了VGG-16卷积神经网络来解决生活垃圾检测分类问题。首先，利用计算机视觉库对识别目标进行定位和选择，并对图像进行预处理;其次，利用ReLU (Rectified Linear Unit)激活函数增加BN (Batch Normalization)层，提高模型的识别精度，加快模型的收敛速度。最后，生活垃圾的检测准确率仅为75.2%，检测准确率有待加强。吴涵12开发了一个轻量级垃圾检测模型MobileNetV3_Lite。首先，分析了MobileNetV3模块轻量化结构的特点。其次，在YOLO (Y ou Only Look Once) v3检测算法的基础上，在算法的骨干网中嵌入MobileNetV3模块，构建轻量级垃圾检测模型。最后，对模型的实时性进行了测试，只有每秒25帧。该模型虽然轻量级，但不能满足实时检测的要求。
Wu等13设计了GC-YOLOv5垃圾检测模型。首先，对垃圾图像进行预处理以获得垃圾数据集。其次，基于YOLOv5算法对模型进行训练。最后，只能检测到5种类型的生活垃圾。该模型的局限性在于检测到的垃圾类别较少，实用性有待提高Rabano等14基于TensorFlow框架开发了一种MigeNet检测模型。首先，他们收集并创建一个垃圾图像数据集。其次，使用迁移学习技术对模型进行500次训练。最后，对模型进行了测试和分析。模型的准确率仅为87.2%，有必要继续优化模型的准确率以检测垃圾。Rismiyati等人15使用迁移学习技术来关注预先训练的模型，如VGG-16、ResNet-50和Xception。Xception在数据集上的验证准确率为88%。Kumar等16提出了一种基于yolov3的方法来有效地分离处理和回收垃圾。采用YOLOv3算法对自制数据集进行训练。仅使用六种对象类型就成功地训练了模型。此外，在检测过程中，利用YOLOv3-tiny来验证YOLOv3的能力。由于检测到的垃圾类型很少，因此在实际使用中存在一定的局限性。首先，Seredkin等人在基于CNN(卷积神经网络)模型的近13000张罐装垃圾图像上训练了一个模型。其次，将罐装垃圾输送到传送带上。最后，基于cnn的模型对目标对象进行分类，分类准确率仅为64%。虽然该模型使用了大量的垃圾图像进行训练，但基于CNN模型的学习效果较差。
Wieczorek等人18开发了一种轻量级CNN架构，通过使用最少数量的处理层来实现对模型的轻量级改进，并设计了一种新的滑动窗口过程。但是，该方法在执行检测任务时存在检测目标对象过程繁琐的问题。
Marcin等19提出了一种用于深度神经网络架构的新型相关学习机制(CLM)，该机制将卷积神经网络(CNN)与经典架构相结合。所提出的相关学习机制模型由卷积神经网络与经典神经网络在训练过程中协同工作组成。这种学习机制需要研究者的经验来选择滤波器大小，并不断调整参数，以获得最佳的拟合过程，从而获得更好的学习效率和准确性。
因此，该学习机制缺乏一定的自适应更新功能。Hussain等人20提出了一种修正网络模型，该模型使用二进制交叉熵、相似指数和交集在像素、补丁和地图级别的联合损失的组合有效地对边界像素进行分类，从而有效地分割图像中的显著性对象。因此，revision - net模型仅用于图像分割，将目标对象从当前图像的背景中分离出来，无法检测视频中的目标对象。
上述方法在垃圾分类领域做出了一定的贡献，但仍有三个问题需要解决:
(1)面对复杂的网络结构，需要大量的计算资源和高成本的模型训练;(2)检测小物体;(3)在实际应用中，既要满足高检测精度的要求，又要考虑实时性的原则。对于第一个问题，我们采用YOLOv5s模型作为基线，并引入CBAM (Convolutional Block Attention Module)注意模块。YOLOv5s模型结构简单，模型大小只有14.4 MB。同时，CBAM注意模块没有大量的卷积结构;因此，避免了由卷积乘法引起的大量计算量，使得模型复杂度低，计算量小。对于第二个问题，我们在YOLOv5s模型的输出预测部分增加了一个小的对象检测层，构建一个新的输出预测网络。通过添加一组新的锚框值，提取小目标的特征，构建四层输出预测网络，以满足小目标检测的需要。针对第三个问题，我们提出了一种注意力组合机制来增强模型提取特征的能力，并优化网络结构来提高检测的实时性。模型在训练过程中存在收敛速度慢、损失值波动等问题。为了解决这一问题，我们引入了Adam (Adaptive Moment Estimate)优化算法。在输出预测结果时，存在预测包围框与ground truth包围框差距过大的问题。我们通过改变损失函数类型来优化输出预测边界框，使其更接近于ground truth边界框。
我们提出的模型是一个实时轻量级YOLOv5架构，用于快速检测农村地区的生活垃圾。该模型能有效检测复杂场景下的生活垃圾。在这些场景下，垃圾图像可能由于模糊或其他条件而难以检测，本文提出的模型可以很好地应用于类似的场景。该模型的新颖之处在于提出了YOLOv5架构，在YOLOv5架构中引入了注意力组合机制，增强了模型提取特征的能力，优化了网络结构，提高了检测的实时性。在模型的输出预测部分构造了新的输出预测网络，以满足小目标物体检测的需要。整个模型通过使用Adam算法进行训练，因为在我们的研究测试中，Adam算法是最有效的。最后，通过改变模型的损失函数对输出预测包围框进行优化。因此，本文以典型农村生活垃圾为研究对象，收集了十三种垃圾，并制作了垃圾数据集来解决以上三个问题。结果表明，YOLOv5s-CSS模型计算量减少45.3%，检测精度提高4.6%，推理时间缩短7.4 ms，帧数高达47.6帧/s。可以同时识别多种类型的垃圾，为农村垃圾智能处置提供技术解决方案，实现实时检测。
