输电线路作为电力输送的基础载体，其安全稳定运行关系国计民生．在输电线路中，大量的金具依靠螺栓进行固定连接，而销钉是防止螺栓发生松动和脱落的重要零件，因此针对销钉缺陷的检测是输电线路安全巡检的重要任务之一．销钉作为输电线路中相对尺寸最小的零件，其多形态的形貌特征在巡检图像中极易被复杂的环境背景因素干扰，增加了无人机精确识别和检测的难度[1]．基于此，近年来国内外学者致力于通过图像预处理、图像扩增及网络级联方式来提高对销钉等小目标的检测精度[2]．目标检测算法由区域提取、特征提取及分类任务模块构成．在传统算法中，特征提取的方式为特征匹配，如SIFT[3]，SUFT[4]和ORB[5-6]等；而在深度学习算法中，通过卷积神经网络来提取特征．深度学习一阶段检测模型如YOLO[7]和SSD[8-9]等，虽然检测速度快，但是对于小尺寸目标的检测精度低；二阶段检测模型如Faster R-CNN[10]和FPN[11]等，虽然检测精度高，但是响应速度慢，无法高效地传递信息，应用于无人机实时巡检技术仍存在一定的困难．基于以上多种目标检测方法，文献[12]对输电线路中常见的多种目标及故障进行了检测，实现了多目标识别与定位．文献[13]通过将视觉形态与深度学习相结合实现螺栓缺销的小目标缺陷检测．文献[14]通过融合多尺度特征及优化初始描框改进Faster R-CNN，提高无人机巡检过程中销钉缺陷的检测精度．文献[15]通过层次模型中的“与或图”构建螺母-销钉对，通过建立部件间的约束关系，实现小样本集上的销钉缺陷检测．综上所述，针对输电线路中多种目标的识别与故障检测已取得了一定的研究成果，可以发现实际检测目标所处背景环境的多样性和复杂性仍是制约检测精度不佳的重要因素，如何高效剔除背景中的干扰因素，进一步提升检测精度仍是目标检测领域的研究重点与难点．针对复杂背景下小尺寸目标精确检测的关键难点，本研究通过增加残差连接结构、引入可变形卷积核和定位任务排序等，提升检测算法的识别和检测精度，并构建销钉数据集对优化算法进行实验验证．1 本文算法1.1　基本框架Faster R-CNN在分类和定位等方面具有优良性能，广泛应用于目标检测领域，本研究基本框架使用Faster R-CNN．Faster R-CNN主要由特征提取网络、候选检测框生成网络(region proposal network，RPN)、兴趣区域池化(region of interest pooling，ROI pooling)和检测模块四部分构成．特征提取网络部分提取图片的特征映射用于RPN和分类过程；RPN在每一个特征点处生成9个锚框并作为初始检测框，将每个点对应的特征分别转化为用于分类的2n个分类得分与4n个定位偏移量(xmin，xmax，ymin，ymax)；ROI pooling负责将RPN得到的区域下采样至固定尺寸大小，并提取该区域特征送入到分类模型中；将上述得到的特征输入检测模块，通过全连接层与software进一步调整分类置信度与定位框坐标．1.2　基于可变形卷积核的分类定位权衡检测本研究算法中的优化都是基于待研究目标的固有特征：目标尺寸在图像中占比小、缺陷数据集较少，目标的空间形态多样．从特征提取模块开始，通过在残差网络模块的内部增加残差连接，通过内部的分块及拼接来增加小目标特征的提取效果；在此基础上改变传统卷积核为可变形卷积核，实现对空间中不同形态的研究对象的自适应特征提取；基于较好的特征提取功能，在检测模块中增加定位框的排序来优化检测结果，使得分类效果达到最优的同时实现精准的定位．1.2.1　特征提取网络残差网络(residual network，ResNet)用于解决特征提取网络在不断加深网络过程中导致的网络退化及梯度弥散等问题．当初阶的卷积网络用来做图像分类时，有限的感受野大小及特征提取能力均会影响ResNet在目标检测及图像分割等领域的应用效果．通过修改ResNet中的残差模块，即在残差模块内部增加残差连接，如图1虚线框部分所示，在1×1卷积后面将特征映射分成4份，用x1∶x4表示，x2后面增加一个3×3卷积得到C2，并将其与x3相加后经过3×3卷积得到C3，同理可得到C4，由x1，C2，C3和C4构成输出y1∶y4，从而得到新的卷积神经网络(CNN)结构(即Res2Net)，使感受野更精确地捕捉细节变化与全局特性及研究对象的多形态表现特征．Res2Net结构在提升感受野特征提取能力的同时不会增加计算量，具有更优的实用性能．10.13245/j.hust.230211.F001图1Res2Net模块Faster R-CNN的整体架构如图2所示，其中特征提取模块中的Conv1由7×7卷积核和最大池化层构成，Conv2_x~Conv5_x由多个图1中的Res2Net模块叠加构成，输入图像大小为1 216×800，经过特征提取模块的特征映射大小为76×50．10.13245/j.hust.230211.F002图2Faster R-CNN的整体架构1.2.2　可变形卷积核螺栓上的销钉在空间中有多种呈现形态，而传统卷积核形状多是正方形或矩形，图像的特征提取能力也被其形状限制，不能根据目标形态的变化进行自适应提取图像特征．可变形卷积核(deformable kernel，DK)在传统卷积核的基础上进行偏移操作，相当于引入空间形变的提取能力，使得可变形卷积核不仅局限于矩形图形，还可以专注于不规则形状、多形态的待研究目标或感兴趣区域．小尺寸目标对应生成的卷积核较大，可以使有效感受域更紧簇；相反地，大尺寸目标生成的卷积核较小，使有效感受域更开阔，上述变形可以使卷积核能自适应空间变换以此来提高目标检测的精度．可变形卷积核的计算示意如图3所示，图中：W为卷积核；I为输入图像；O为输出像素值；g为卷积核的偏移值生成器；Δk和Δk*为偏移值；B为双线性插值．在不改变输入的基础上，可变形卷积核W′和W*′通过引入卷积核偏移操作实现有效感受域的增强，从而使卷积核可变形，提升CNN的多形态建模能力．10.13245/j.hust.230211.F003图3可变形卷积核的计算示意图2D卷积输出维度中每个坐标点j的像素值可以表示为Oj=∑k∈κIj+kWk,式中：Ij+k∈RD×D为输入图像，其中j∈R2为坐标点位置，k∈κ=[-K/2,K/2]2⋂Z为卷积核的位置；Wk∈RK×K为步长为1的卷积核．以i为输入对应的输出点坐标j的有效感受域的表达式为G(n)(i;j)=∑km∈κG(n)(i;j+km,km),式中：n为第n个特征层；km为第m个卷积核的坐标位置．通过对卷积核增加可学习的核偏移值Δk，从而得到可变形卷积核的输出公式Oj=∑k∈κIj+kWk+Δk，其有效感受域GDK(n)(i;j)与可变形卷积核的偏移值相关，即GDK(n)(i;j)=∑km∈κG(n)(i;j+km,km+Δkm)，由于偏移值没有整数要求，因此通过双线性插值B计算偏移后的值，即B(k+Δk,k')=max(0,1-|kx+Δkx-kx'|)∙max(0,1-|ky+Δky-ky'|).从原卷积中得到偏移后的新卷积W′作用于大小为K2的区域上，W'=Wk+Δk=∑k'∈κB(k+Δk,k')Wk'．相较于卷积网络，可变形卷积只增加了偏移值生成器的梯度计算．1.2.3　分类与定位的平衡损失函数在销钉缺陷检测的训练过程中，由于销钉在整幅图像中占比较小，而且受到遮挡、阳光及角度的影响，人眼对于缺陷的分辨较为困难，因此深度学习训练过程中的正负样本划分及定位框的确定都会影响目标检测的精度．通过在损失函数中增加预测框的位置损失及假阳性率来提升检测精度．其中定位召回精度损失函数(LRP loss)的表达式为fLRPloss(i)=NFP(i)+εloc(i)+∑l∈P,l≠iεloc(l)H(xil)r(i),式中：r(i)=NTP(i)+NFP(i)，其中NTP(i)为真阳性样本数量，NFP(i)为假阳性样本数量；H(xil)为阶跃函数，xil为分类得分差值；εloc(i)为i的位置偏差，εloc(i)=[1-fIoU(i)]/(1-τ)，其中，τ=0.5，fIoU(i)为交并比(IoU)．通过对fLRPloss(i)进行拓展得到平均定位召回精度损失函数(aLRP loss)的表达式为faLRPloss(i)=1P∑i∈PfLRPloss(i),式中P为阳性样本集．分别用分类损失函数fcls(i)和定位损失函数floc(i)进行更直观地表示为：fcls(i)=1P∑i∈PNFP(i)r(i)；floc(i)=1P∑i∈P(εloc(i)+∑l∈P,l≠iεloc(l)H(xil))/r(i).1.2.4　评价指标算法的检测性能用准确率(fP)、召回率(fR)、平均准确率(fAP)及最优定位召回精度(oLRP，foLRP)来度量．准确率代表所有检测到的目标中真正待检测目标的占比，fP=NTP/(NTP+NFP)．召回率代表所有待检测的目标中被真正检测出的占比，fR=NTP/(NTP+NFN)．式中NFN为假阴性样本数量．同类样本的平均检测准确率(fAP)和全样本的平均精度均值(mAP，fmAP)的计算公式为fAP=∫01fp(fR)dfR；fmAP=1Q∑q=1QfAP(q)，式中：Q为检测算法中的所有待检类；q为检测的当前类．定位召回精度(LRP)融合真阳性集(TP)的定位精度(ωIoU)、假阳性率(ωFP)和假阴性率(ωFN)表达式为fLRP(X,Ys)=1T[ωIoUfLRP-IoU(X,Ys)+ωFPfLRP-FP(X,Ys)+ωFNfLRP-FN(X,Ys)],式中各变量的表达式为T=NTP+NFP+NFN；ωIoU=NTP/(1-τ)；ωFP=Ys；ωFN=X；fLRP-IoU(X,Ys)=1NTP∑i=1NTP[1-fIoU(xi,yxi)]；fLRP-FP(X,Ys)=NFP/Ys；fLRP-FN(X,Ys)=NFN/X；foLRP(X,Ys)=minsfLRP(X,Ys)；式中：xi∈X为真实框集合；yxi∈Ys为检测框集合；T为所有样本的数量；检测分数s的阈值为[0，1]；ωIoU的阈值τ为[0，1)．foLRP表示τ=0.5时的最优fLRP误差，foLRP越小，检测结果越好．2 实验数据集2.1　数据集数据集通过无人机按照标准巡检过程从输电线路中采集得到(见图4)．研究对象螺栓销钉作为金具的固定部件，最常出现在各部件的连接处，前期通过人工选取有效、清晰的可利用数据620张，按照8:2的比例分为训练集和测试集．电塔塔身的螺栓没有销钉，不作为标注部位，因此仅对其他连接金具上的螺栓进行标注．当塔身与导线的连接中没有屏蔽环时，连接方式如图4(a)和(b)所示．图4(a)中塔身经拉线二联板与绝缘子串连接，图4(b)中绝缘子通过P型挂板与调整板连接导线．当绝缘子与导线相连处有屏蔽环时，连接方式如图4(c)和(d)所示．图4(c)中双排绝缘子连接拉线二联板，联板上端通过两个相互垂直的U型环与调整板相连，最后再与导线相连；联板下端经过两端有球形挂头的延长杆与调整板相连，最后经U型环连接导线．图4(d)则在图4(c)的基础上增加了一个拉线二联板．10.13245/j.hust.230211.F004图4数据集示例在本研究中，销钉形态受光照影响在视觉效果上难以分辨的样本都作为缺失标注．螺栓常见缺陷主要包含销钉缺失(图5(a)和(b))、螺母缺失(图5(c))、螺母松动并遮挡销钉孔(图5(d))．实际中由于螺母缺失的数据集极少，因此本研究只考虑正常螺栓与销钉缺失两种类别．10.13245/j.hust.230211.F005图5螺栓销钉的典型缺陷对上述连接金具进行标注，其中标注的正常螺栓与缺失销钉螺栓数量分别为1 236与232张．由于数据集较小，根据螺栓的空间位置及颜色(受电晕、光照等影响)等特征进行形态翻转、缩放、剪切及颜色变换等实现数据集扩充，扩充后的数据集为2 480张．2.2　实验设备本实验软硬件配置为：NVIDIA GeForce RTX 2080Ti GPU，12 GiB显存，操作系统为Ubuntu 20.04，基于Pytorch框架构建销钉缺陷检测网络．由于数据量较小且形态多样，因此采用主干网络在ImageNet预训练模型，根据自建数据集对自己的模型参数进行精调．初始学习率设为0.02，优化策略为随机梯度下降法，其中权重衰减系数设为0.000 5，动量设置为0.9，时期(epoch)为24，并在epoch为16和22时学习率分别乘0.1．3 结果与分析3.1　针对销钉检测的消融实验本研究以融合FPN的Faster R-CNN作为基线算法，分别对比了ResNet-101和Res2Net-101、传统卷积核和可变形卷积核、交叉熵(CE)+Smooth L1loss和aLRP loss对模型检测精度的影响．不同特征提取网络的热力图对比如图6所示，可以发现：ResNet-101的特征提取只集中于部分金具区域，缺少连接板区域的螺栓销钉样本，会降低模型的检测精度；而Res2Net-101的特征提取则更准确地聚焦于待检测区域，包含连接金具、调整板和连接板等，且对于该区域的作用权重会更高．10.13245/j.hust.230211.F006图6不同特征提取网络的热力图对比表1为销钉检测的消融实验结果，可以得到基于Res2Net-101网络的正常销钉的平均检测准确率为86.7%，高于ResNet-101网络约2.6%，基于Res2Net-101网络的缺陷销钉的平均检测准确率为61.1%，高于ResNet-101网络约0.6%．10.13245/j.hust.230211.T001表1销钉检测的消融实验结果检测目标特征提取网络卷积核损失函数fAP/%foLRP/%ResNet101Res2Net101传统卷积核可变形卷积核CE+ Smooth L1aLRP正常销钉√√√84.1—√√√86.7—√√√90.575.1√√√91.365.3缺陷销钉√√√60.5—√√√61.1—√√√64.282.6√√√66.378.3注：“√”表示模块存在；“—”表示无实验对比结果．基于检测效果较好的Res2Net-101特征提取网络，对比了传统卷积核和可变形卷积核模型的检测精度，表1的结果显示对于销钉完整的样本，可变形卷积核模型比传统卷积核模型的平均检测准确率高3.8%；对于销钉缺失的样本，前者模型比后者的平均检测准确率高3.1%．以上结果表明：利用可变形卷积核替代传统卷积核可以提高算法模型的mAP，约为3.5%．在对上述特征提取网络进行优化的基础上，通过在损失函数中增加定位框检测精度，以实现分类与回归任务同时达到最优，表1的检测结果显示针对销钉缺陷样本，引入aLRP loss函数的算法模型的mAP提高了2.1%，oLRP降低了4.3%；针对所有样本，优化模型的mAP提高了1.5%，oLRP均值降低了7.1%．表2为不同算法的检测结果对比．由表2可知：相比于基线算法Faster R-CNN，本文模型经过综合优化特征提取网络及在损失函数中增加对定位任务的排序，使针对销钉缺陷的mAP提升了6.5%．10.13245/j.hust.230211.T002表2不同算法的检测结果对比方法特征提取网络fmAP/%SSD512VGG1660.5RetinaNetResNet-10169.2YOLOv4Darknet-5371.5Faster R-CNNResNet-10172.3本文Res2Net10178.83.2　优化算法在金具数据集上的消融实验优化算法在销钉数据集上得到了较好的检测效果，将该检测算法扩展到输电线路的金具数据集(主要包含有轭板、均压环、防震锤、直角挂板、平行挂板、U型环及线夹等)上进行检测，结果如表3所示．10.13245/j.hust.230211.T003表3改进算法在金具检测中的结果算法Res2Net101可变形卷积核aLRP lossfmAP/%原算法62.2改进算法√64.6√√66.5√√√72.3从表3的结果对比可以发现：该优化算法不仅在销钉数据集上得到了较好的检测效果，在金具数据集上的检测精度也能得到提升，且每个模块都对精度的提升贡献了一定的作用．3.3　优化算法的可视化检测结果利用基线算法和优化算法检测销钉缺陷的可视化结果如图7和8所示．对比图7(a)和(b)可以发现：对于不规则形貌的销钉，基线算法存在漏检和识别偏差的问题，而优化算法可以检测出销钉位置并且识别归类为正常销钉．对比图8(a)和(b)可以发现：基线算法将非销钉目标识别为正常销钉，存在明显的识别错误问题，而优化算法成功检测到销钉位置，排除了干扰目标．以上结果表明，优化算法提高了对销钉缺陷的检测准确率．10.13245/j.hust.230211.F007图7样本1的检测结果对比10.13245/j.hust.230211.F008图8样本2的检测结果对比利用基线算法和优化算法检测金具的可视化结果如图9和10所示．对比图9(a)和(b)可以发现：相较于基线算法，优化算法可以检测出矩形红框标出的均压环．对比图10(a)和(b)可以发现：优化算法可以成功检测矩形红框标出的复杂背景下的防震锤．10.13245/j.hust.230211.F009图9双绝缘子场景中金具检测结果对比10.13245/j.hust.230211.F010图10线夹场景中的金具检测结果对比4 结论本研究以Faster R-CNN为基本框架，通过改进特征提取网络的结构与卷积操作使特征提取网络能自适应提取小目标特征，同时在检测任务中增加假阳性率和位置损失，来抑制假阳性样本和分类得分较高但IoU较低的检测结果，具体结论如下．a．针对螺栓销钉尺寸小且难以分辨的特性，通过在残差网络中增加残差连接来提高网络的特征提取能力，优化模型的mAP提升了1.6%．b．针对螺栓销钉在空间中的形态多样性，通过改变传统卷积核为可变形卷积核，使卷积核自适应聚集于感兴趣区域，优化模型的mAP提升了3.5%．c．通过引入定位排序，使损失函数免于被低IoU样本控制，相较于基线算法模型，优化模型的mAP提升6.5%，优化模型相较于未引入定位排序模型的oLRP均值降低了7.1%．