为了实现对可回收垃圾的进一步分选，Chung 等[1]基于物联网方法，将LoRaWAN通信网络与垃圾分选设备相结合，设计了提供垃圾桶操作、环境监测与人机交互界面为一体的垃圾分选系统。系统采用静电电容式接近传感器，通过测量不同垃圾的介电常数，对可回收材料（金属、铝箔和纸张等）做进一步的筛分。基于物联网方法构建的垃圾分选系统具有较高的自动化、精细化程度与精度，但系统成本高、结构复杂，安装与维护困难[2-3]。人工智能分选方法利用采集的图像数据集所训练的预测模型，可以准确、高效地识别图像中的特征，并对图像进行分类[4-7]。此类算法只能对图像中的单个目标物体进行分类，为了实现图像中多目标分类任务，Nie等[8]利用目标检测算法Faster R-CNN完成对图像的特征提取、分类，并对每个目标物体进行定位，在垃圾检测分类任务中取得89.68%的准确率。由于Faster R-CNN为双阶段网络，需要先进行候选区域提取，然后细化分类，此类算法可以获得较高的识别准确率，但检测效率较低。为了提高目标检测算法识别效率，满足实时检测的要求，单阶段目标检测网络被更多地应用于垃圾识别检测领域。YOLO(You Only Look Once)[9]算法相较于双阶段算法，省去了穷举候选框这一步骤，检测速度有效提升，YOLO系列的V4版本在检测精度和检测速度方面均优于其他单阶段目标检测算法[10]。Chen等[11]在YOLO V4骨干网络中增加空间注意模块和通道注意模块，在Neck网络中使用Rescurive-FPN替换PANNet，减少骨干网络中的参数和浮点数运算量，同时可以保留图像上的特征信息。此项研究对15种垃圾类别做识别分类，准确率为64%，FPS为92 f/s。李德鑫等[12]针对垃圾检测无人机影像中小目标检测精度低的问题，对YOLO V5数据增强预处理进行优化，并改进了SPP模块以及损失函数。研究在3种河道漂浮垃圾分类任务中，取得67.36%的mAP(mean Average Precision)。上述研究表明基于机器学习的人工智能分选方法可以快速地完成垃圾种类识别，并得到较高的识别准确率。但垃圾分类系统所用模型均在理想工况下进行测试，背景和垃圾表面较为干净，未对模型在实际垃圾分拣工况作相应的验证。采用的目标检测算法只能获取垃圾最小矩形包围框，在一些需要垃圾外轮廓分拣场景上无法得到有效应用。基于生活垃圾回收厂实际人工分拣工况，考虑垃圾外轮廓信息的获取，将实例分割网络应用于垃圾精细化分类。考虑到时空变换后的生活垃圾工况发生较大改变，导致模型对生活垃圾的回收率与纯度进一步下降等问题，引入语义分割网络作为辅助，筛选出实例分割网络模型识别任务中的难例样本，将难例样本用于更新实例分割模型。增强模型对不同工况物料识别效果，提高模型的泛化能力。1数据及试验方法试验数据为生活垃圾分类回收处理厂中，人工分拣工位上由线阵相机采集、拼接所得到分辨率为1 200像素×1 200像素的图片。为了验证模型在不同时空变换下的泛化能力，试验分两次进行样本采集，两次样本采集时间间隔为3个月，与第一批数据相比，第二批样本光源反光材料存在部分氧化，导致整体色彩有较大变化，每个季度产生垃圾种类、数量等也存在差异。第一次共采集样本3 000张，使用labelme软件标注每张图像中每个物体的类别，以8 : 2比例划分为训练集和测试集1[13]。第二次采集样本7 100张，其中600张标注为测试集2，剩余6 500张样本作为挑选集样本不做标注。不同数据集中包含类别以及类别的数量，其余类为无回收价值垃圾，其余类在数量上多于其他类样本，其他九类根据可回收物的材料、颜色进行划分，每个数据集中的类别比例相对较稳定。垃圾分类回收方面不同类别回收价值不同，导致模型精确率（p）与召回率（r）侧重要求不同，采用工程上垃圾分类回收指标，回收率Y（每个类别精确率的平均值）、纯度P（每个类别召回率的平均值）评价模型性能。在神经网络多分类问题中，分类结果一般有4种情况，假设C类为正样本，其余类别为负样本，则情况1属于C类的样本被正确分类到C类，这类样本数记为TP；情况2不属于C类的样本（可能为A也可能是B）被错误分类到C类，这一类样本数记为FP。情况3属于C类的样本被错误分类到其他非C类，记该类样本数为FN；情况4不属于C类的样本（如类A）被正确分类到非C类（类A），记该类样本数为TN。每个类别的精确率与召回率：p=TPTP+FP （1）r=TPTP+FN （2）回收率、纯度定义如下：Y=∑1NpiN （3）P=∑1NriN （4）式中：N——可回收物类别数。不同数据集中每个类别样本数量如表1所示。10.19301/j.cnki.zncs.2023.01.029.T001表1不同数据集中每个类别样本数量类别训练集测试集1测试集2透明高密度聚乙烯57010971白色聚丙烯31710144彩色聚丙烯1926162透明聚丙烯1 878445570黑色聚丙烯789185198白色高密度聚乙烯57915674彩色高密度聚乙烯45812059其他样本3 404780729聚对苯二甲酸乙二醇酯瓶子525127139透明聚对苯二甲酸乙二醇酯46313696个2试验及结果分析基于Facebook AI Research的Detectron2[14]平台以及可实现多种实例级检测与识别任务的开源工具箱AdelaiDet[15]，完成不同基本实例分割网络的快速配置，以验证训练策略在不同网络上的泛化性。试验主机配置为：Intel(R) Core(TM) i9-10980XE CPU 3.00GHz，NVIDIA GeForce RTX 3090。训练策略泛化性能验证的实例分割网络包括BlendMask[16]、MEInst[17]、CondInst[18]、Mask R-CNN[19]、Cascade R-CNN[20]，语义分割辅助网络为PSPNet[21]。2.1初代模型难例样本挑选实例过程如图1所示。10.19301/j.cnki.zncs.2023.01.029.F001图1难例样本挑选实例过程使用预训练模型可以为初代模型提供更好的初始化参数，在目标任务上具备更好的泛化性能与收敛速度。将初代模型定义为各实例分割网络在训练集1训练所得模型，各实例分割网络初代模型的预训练权重源于Detectron2和AdelaiDet平台Model Zoo，由COCO数据集训练所得到的模型，主干网络为ResNet-50。训练周期为24个周期。由于在单GPU上以原图大小输入，在预训练权重上继续训练，更改Batch Size为4，学习率为0.001，其余为Model Zoo配置文件默认设置。基于配置参数，构建实例分割以及语义分割初代模型。提出利用语义分割网络作为辅助网络，挑选出实例分割网络中的难例样本。利用初代模型对挑选集中无标注样本进行难例样本筛选，将难例样本作为模型更新的训练样本，即训练集2，神经网络模型更新策略流程如图2所示。基于所选难例样本，提出神经网络模型更新方法，包括基于初代模型训练，以各初代模型为预训练权重，难例样本为训练集2；基于COCO模型训练，以COCO数据集模型为预训练权重，难例样本加入训练集1中共同作为训练集2。10.19301/j.cnki.zncs.2023.01.029.F002图2神经网络模型更新策略流程由于神经网络模型对部分物体有两个或两个以上识别结果，将导致回收率与纯度计算偏差，因此对识别结果进行两类处理，包括基于得分取值，取目标物体多个预测框中得分最高的一个作为该物体预测结果；基于FP样本取值，若目标物体有多个识别结果，则去掉重复框，并将目标物体视为如第2节中所述的第二类样本。为了判别物体是否存在重复识别，对图像中所有预测框两两之间设置IOU阈值判断：IOU=Area(Pb1⋂Pb2)Area(Pb1⋃Pb2) （5）式中：Pb1和Pb2——分别为预测框1和预测框2；Area（Pb1∩Pb2）和Area（Pb1∪Pb2）——分别为两个预测框的交集和并集。如果IOU0.5，则预测框1和预测框2为同一目标物体的重复识别结果。各初代模型在测试集1中分别以两种后处理方式测试所得回收率与纯度。对包含重复预测框的物体而言，以基于得分取值方式处理在回收率指标上有明显提升，但在纯度指标上均有一定程度降低。结果表明，对于带多个预测框的物体，得分较高且预测结果为真实标签的预测框占多数，但也存在一部分得分高但识别错误的预测框。初代模型在测试集1上回收率与纯度如表2所示。10.19301/j.cnki.zncs.2023.01.029.T002表2初代模型在测试集1上回收率与纯度网络模型基于得分取值基于FP样本取值回收率纯度回收率纯度Mask R-CNN76.6772.3175.3672.93Cascade R-CNN79.7369.8076.4471.62BlendMask79.4165.4273.0270.55CondInst80.2765.8072.6171.35MEInst78.9670.0372.4872.30%随着时空变换，光源色度、强度总会与初始状态有部分差异，生活垃圾的种类、环境等因素的变化也会增大两批测试集样本的差异。使得初代模型对测试集2中的样本所处场景认知能力较弱，样本预测难度增加，导致回收率与纯度降低，初代模型在测试集2上回收率与纯度如表3所示。10.19301/j.cnki.zncs.2023.01.029.T003表3初代模型在测试集2上回收率与纯度网络模型基于得分取值基于FP样本取值回收率纯度回收率纯度Mask R-CNN71.6065.9869.9867.74Cascade R-CNN71.2562.7368.7163.53BlendMask70.6764.9068.2765.85CondInst70.4763.1367.1965.53MEInst72.4368.5469.2570.56%2.2模型更新策略针对模型在不同时空、不同场景回收率与纯度大幅下降问题，为了增加初代模型泛化能力，减少回收率与纯度下降幅度，需要制作新工况下的样本，更新原模型以提高在新工况下的识别准确性。根据语义分割模型作标签相对较完整的特点，实例分割模型中对低于置信度阈值的个体样本作筛选，所选样本即为实例分割模型中的难例样本。基于所选难例样本提出基于初代模型与基于COCO模型更新方法。将选出的难例样本作为实例分割模型更新的训练样本，实现以较小的标注代价完成较好的模型更新效果。各基本模型从挑选集中筛选出难例样本数，为保证各基本模型更新使用的训练集样本数相同，以Cascade R-CNN挑选出难例样本数287为上限。基本模型在挑选集上选出难例样本数如表4所示10.19301/j.cnki.zncs.2023.01.029.T004表4基本模型在挑选集上选出难例样本数网络模型Mask-RcnnCascade R-CNNBlendMaskCondInstMEInst难例样本数413287491378342张在Cascade R-CNN网络上应用两种模型更新方法训练，为了进一步探究训练集样本数量对模型更新效果的影响，分别取100张难例样本与287张难例样本作为训练集2。基于初代模型训练的方法因训练时训练集数量较少，对每隔30周期所得模型进行保存，并在测试集2中进行回收率与纯度测试，基于初代模型训练方法在测试集2上回收率与纯度如表5所示。与初代模型在测试集1中的结果相比，100张与287张训练集样本，在回收率方面均得到较大提升，纯度明显下降，说明基于初代模型在学习新样本特征时，对预训练模型中的权重系数进行了局部调整，这种调整是以牺牲纯度为代价取得回收率的提升。对30~240个训练周期所得模型测试结果进行分析，因为训练样本数较少，所得模型稳定性不高，回收率与纯度仍有一定波动。10.19301/j.cnki.zncs.2023.01.029.T005表5基于初代模型训练方法在测试集2上回收率与纯度周期100张训练集样本287张训练集样本基于得分取值基于FP样本取值基于得分取值基于FP样本取值回收率纯度回收率纯度回收率纯度回收率纯度3073.9560.8072.3862.1972.7260.2971.6561.526073.6059.1072.0960.5272.7260.2671.5560.319074.4958.4071.6558.2873.0259.1371.6959.8612072.2356.3571.0156.9370.7658.6569.2959.3015074.1459.1372.2360.4672.0460.0770.8160.2818073.7558.6272.1859.4571.9460.5771.0161.3421073.4658.6171.9459.0172.2361.1370.6261.4724073.4659.3171.6559.6471.6959.7470.3260.39注：各训练方法在90周期前已基本达到最优训练结果。%基于COCO模型训练配置与2.1中初代模型训练配置相同，该方法将难例样本加入初代模型所用训练集1中共同训练，训练集样本相对较多，训练周期设为24，所得模型记为二代模型，在测试集2中进行测试。与初代模型相比，二代模型在测试集2中的测试结果，回收率与纯度均得到较大提升，基于COCO模型在测试集2上回收率与纯度如表6所示。10.19301/j.cnki.zncs.2023.01.029.T006表6基于COCO模型在测试集2上回收率与纯度单位：%训练集样本数/张周期基于得分取值基于FP样本取值回收纯度回收率纯度1002475.2764.9672.7765.892872474.4967.6172.6768.83与基于初代模型训练的方法在测试集2上所得结果相比，基于COCO模型训练在测试集2中测试所得回收率与纯度指标相对较好。说明难例样本加入训练集1对模型进行更新，有助于神经网络模型学习更多样的特征分布，有效提升了整体特征识别能力。两种更新方法使用更少的难例样本数均获得了更好的模型效果，难例样本数量级适宜偏小，加入过多的难例样本会使得模型对该样本特征过于“重视”，对整体特征学习将产生不利影响。对多种不同实例分割网络加入100张各自所挑选难例样本，使用基于COCO模型作为模型更新方式，在测试集2中测试以验证该模型更新方法的泛化性。基于COCO模型网络模型在测试集2上回收率与纯度如表7所示，在MEInst网络模型方面，回收率有较大提升，牺牲了相应幅度的纯度指标，该网络更适合应用于侧重回收率指标的场景。其余网络模型更新后回收率与纯度均得到较大提升，基于COCO模型的模型更新方法泛用性较好。对模型识别结果使用两种后处理方式，可以进一步提升单项指标，能够针对不同需求进行选择。10.19301/j.cnki.zncs.2023.01.029.T007表7基于COCO模型网络模型在测试集2上回收率与纯度网络模型基于得分取值基于FP样本取值回收率纯度回收率纯度Mask R-CNN73.4667.9772.5368.35Cascade R-CNN75.2764.9672.7765.89BlendMask74.1466.5971.5068.24CondInst72.9265.5068.6667.94MEInst76.3064.5172.7265.83%使用难例样本对神经网络模型更新时，基于初代模型更新方法，仅对新工况下的难例样本进行更新模型，容易使模型陷入某些局部特征的收敛状态，导致某个指标上升而牺牲了其他指标。基于COCO模型更新方法，将少部分难例样本加入初始训练集中，重新训练模型，可以有效提升模型对整体特征的学习程度以及对新场景分布的适应性，能够有效提高对新工况的识别泛化能力。3结语文章试验了最先进的实例分割网络模型，验证了模型更新方法在垃圾检测分类任务中的适用性，基于神经网络识别的难例样本以及对模型在不同工况下的分类任务，提出了模型更新方法提高模型的泛化性。结果表明：基于Detectron2和AdelaiDet平台，测试不同实例分割模型在垃圾分类任务中的回收率与纯度后，表明实例分割网络进行垃圾分类具有可行性；针对预测框存在对同一目标物体重复识别的情况，根据工程上对回收率与纯度侧重要求，提出两种后处理方法，结果显示基于得分取值方法回收率较高，基于FP样本取值方法纯度提升明显；通过语义分割网络对实例分割网络中的难例样本进行挑选，基于所选难例样本，采用不同模型更新方法对实例分割网络模型进行更新，测试新模型在垃圾分类任务的表现。基于COCO模型更新方法，以COCO数据集模型作为预训练权重，将难例样本加入初代模型的训练集，训练的模型对新工况下特征识别能力较强、泛化性能更佳。对多种实例分割网络模型更新后，MEInst网络使用两种后处理所得纯度分别下降4.03%和4.73%，回收率上升3.87%和3.48%。MEInst网络适用于注重回收率指标的场景；基于得分取值后处理方法，Mask R-CNN、Cascade R-CNN、BlendMask、CondInst回收率分别提升1.86%、4.02%、3.48%、2.45%，纯度分别提升1.99%、2.23%、1.69%、2.37%；基于FP样本取值后处理方法，Mask R-CNN、Cascade R-CNN、BlendMask、CondInst回收率分别提升2.55%、4.06%、3.23%、1.47%，纯度分别提升0.60%、2.37%、2.39%、2.41%。