绝缘子在架空输电线路中对导线支撑和防止电流回地等方面起到至关重要的作用，是输电线路中最重要的部件之一，其状态是否正常关乎输电线路的安全运行．根据国家电网公司统计，在电力系统出现的故障中绝缘子故障可达50%以上，是输电线路中最常见的故障[1-2]，必须定期对其进行巡检和维护．目前国内外输变电工程中使用最广泛的绝缘子可分为玻璃、瓷质和复合绝缘子3类，因为制造工艺和构成材料不同，所以出现的故障类型也有差异，如复合绝缘子易出现伞裙破损故障，玻璃绝缘子常出现自爆故障[3]．采用合适的图像处理算法实现绝缘子分类及故障检测，对提高电网巡检效率，保证输电线路平稳运行具有重要意义．近年来，无人机巡检凭借安全高效、操控灵活、受限条件少及成本低等一系列优势，逐渐成为国内外输电线路巡检的重要模式[4-5]．许多学者针对基于无人机巡检产生的海量图像数据对绝缘子智能检测开展了大量研究．李发光等[6]提出了一种改进的CenterNet模型，实现对航拍图像绝缘子缺陷的检测；何宁辉等[7]利用Faster-RCNN实现航拍图像绝缘子缺失检测，但是识别速度较慢；汪权等[8]提出了一种基于Gaussian-YOLOv3的绝缘子检测算法，快速精确识别航拍图像中的绝缘子；Liu等[9]提出一种改进Yolov3网络来对具有复杂背景的航拍图像中的绝缘子缺陷进行检测，增加了低分辨率特征层中的特征重用和传播；Deng等[10]提出一种深度卷积自动编码的绝缘子自爆小样本检测方法，该方法结合了监督学习和无监督学习的优点，适合于绝缘子自爆故障样本较少的情况．然而在实际巡检过程中，无人机巡检存在续航时间短等问题，电网公司往往会结合不同巡检方法的特点采取多种方法协同巡检[11]，如常见的机巡为主、人巡为辅方式，甚至在一些复杂环境下必须依靠人工巡检方式[12-13]．人工巡检拍摄距离较远，绝缘子尺寸往往很小，多为小目标，且拍摄角度多为仰拍，会使绝缘子串形态发生明显改变，受阳光干扰更为严重，同时受地形、员工素质等因素限制，无法进行全方位多角度巡检，绝缘子受遮挡情况更严重．人机协同巡检大大增加了绝缘子图像的收集量、来源面及复杂程度，在数据分析过程中既要考虑航拍图像中复杂背景等因素的影响，又要关注人工仰拍造成的绝缘子目标更小、形态改变、遮挡等问题，对模型的处理能力要求更高[14]，因此研究适合人机协同巡检方式下的绝缘子分类及故障检测算法对提高输电线路巡检效率具有重要意义．为了解决以上问题，本研究构建了人工+无人机协同巡检数据集，对两种巡检方式所采集图像的特征及差异进行分析，并提出一种Yolov5-TBT模型，通过增加Transformer编码器，使用BiFPN，添加小目标预测分支，提高模型对绝缘子目标的特征提取和表征能力，增强对小目标的检测识别能力，实现人机协同巡检方式下绝缘子分类及故障检测．1 协同巡检数据集为了使模型能够学习到无人机巡检与人工巡检图像的差异，构建了人机协同巡检数据集，共1.237 7×104张绝缘子图像．拍摄后未经过任何裁剪、放大等预处理，采集设备多样，包括无人机摄像头、巡检人员手持照相机、手机等，拍摄角度、背景、清晰程度差异较大，均为实际巡检作业中产生的真实数据，有利于提高模型的鲁棒性和泛化能力．图1给出了数据集中部分绝缘子巡检图像．对数据集进行分析可以看出：无人机采集到的图像多为平拍或俯拍(图1(a))，能够很好地反映绝缘子串的整体特征，但是背景较为复杂，而人工巡检多为仰拍(图1(b))，虽然背景相对简单，多为天空，但仰拍角度大，距离远，导致绝缘子目标更小，整体形态会发生较大变化；人工巡检更易受到光照(图1(c))、图像质量(图1(d))等因素影响，造成图像中绝缘子难以识别；无论是无人机巡检还是人工巡检，都会因大雾(图1(e))、冰雪(图1(f))等恶劣天气导致图像质量下降；绝缘子常见的故障包括自爆(图1(g))和伞裙破损(图1(h))．故障目标比绝缘子目标小，特征不明显，检测难度明显高于绝缘子分类．这使得人机协同巡检数据更为复杂，给绝缘子准确分类与故障检测带来较大的困难．10.13245/j.hust.240215.F001图1部分绝缘子巡检图像2 改进Yolov5-TBT模型2.1　网络结构Yolov5(You only look once)是目前较为先进成熟的目标检测算法之一，在检测精度和速度上均表现优异，网络部署更为灵活．Yolov5拥有n，s，m，l，x五种版本，在精度、速度、网络规模等方面存在一定差异，如表1所示．由表1可以看出：在增加较少的参数量和计算量的条件下，s精度较n有大幅提高且速度不变，虽然m，l，x的精度相较于s有所提高，但是参数和计算量大幅增加，因此选取Yolov5s模型作为基础，代码版本为v5.0．10.13245/j.hust.240215.T001表1不同版本的Yolov5模型精度/%速度/ms参数量/106计算量/109Yolov5nYolov5sYolov5mYolov5lYolov5x45.756.864.167.368.96.36.48.210.112.11.97.521.246.586.74.516.549.0109.1205.7针对人机协同巡检数据集中绝缘子目标尺寸小、形态差异大、遮挡严重、背景复杂及故障小目标难以检测等问题，提出一种改进的Yolov5-TBT目标检测模型．通过添加Transformer编码器、BiFPN和小目标检测头，提高模型的特征提取、表征和融合能力及对小目标的检测能力，实现绝缘子分类及故障诊断．Yolov5-TBT模型整体网络结构如图2所示，图中：Pi为不同层级的特征图；Head i为检测头，CBS模块包括卷积层(Conv)、归一化层(BN)和激活层(SiLU)；Concat负责将不同特征图在通道上进行拼接；⊕为逐元素相加 [15]；SPPF为快速空间金字塔池化；MLP为多层感知机；MSA为多头自注意力．10.13245/j.hust.240215.F002图2Yolov5-TBT模型整体网络结构Yolov5-TBT主体结构包括输入、主干网络、颈部网络和检测头四部分，其中：输入负责将不同尺寸的输入图像统一为640×640，并通过k-means聚类算法获得最合适的先验框；主干网络(CSPDarknet53+SPPF)负责特征提取，获得目标的各种语义信息和位置信息等特征，通过增加Transformer编码器，提高模型对绝缘子目标的特征提取能力，减少复杂背景的干扰；在颈部网络部分采用BiFPN替代PANet[16](Path Aggregation Network)，学习不同层级输入特征的重要性，实现更高效的多尺度特征融合，提高模型性能；最后在检测头添加一个高分辨率(160×160)的小目标预测分支(Head 1)，提高模型对难识别小目标的检测能力，联合原有的检测分支(20×20，40×40，80×80)预测目标的类别、置信度和预测框坐标，实现绝缘子目标的检测及故障诊断．2.2　Transformer编码器巡检图像中绝缘子目标尺寸和形态差异较大、背景复杂，较小的绝缘子及故障目标往往会受到复杂背景的干扰，对模型的特征提取和表征能力提出更高的要求．受到ViT[17]启发，通过添加Transformer编码器，挖掘图像的关键信息和丰富的上下文信息，其核心思想是自注意力机制．人们观察某一事物时，会重点关注感兴趣的部分，忽略不相关的部分，自注意力机制正是借鉴这一思路获取对当前任务起到关键作用的信息．Transformer编码器结构如图2中Trans部分所示，主要包括多头自注意力(MSA)和多层感知机(MLP)两大部分，其关键部件MSA可以使模型学习到前景和背景之间的联系，挖掘特征中的关键性信息，聚焦感兴趣的绝缘子目标，从而减轻复杂背景带来的干扰，同时Transformer编码器的全局建模能力可以提高模型在目标重叠、遮挡等情况下的检测能力[18]．如图3所示，将宽为W，高为H，通道数为C的输入图像划分为N个尺寸固定(P×P)的子图(Patches)后，经线性映射及位置编码得到序列X，乘以不同的权重矩阵WQ，WK，WV后获得MSA的输入参数Q，K和V，分别表示由多个查询向量、键向量和值向量构成的矩阵，MSA计算公式为A(Q,K,V)=softmax(QKT/dk)V;Hi=A(Qi,Ki,Vi);Aout=Concat(H1,H2,⋯,Hh)Wo,式中：dk为K中某一行元素ki的维度，即键向量的维度；A(⋅)为自注意力结果；h为MSA的头数；Hi为第i个头的自注意力结果；Aout为输出结果，矩阵中某个位置的值越大，表示该子图区域越值得关注．10.13245/j.hust.240215.F003图3MSA结构图3中D=P2C为一个常数，N=HW/P2，蓝色表示矩阵大小，红色表示计算复杂度，MSA复杂度Ω=4(HW/P2)D2+2(HW/P2)2D，因此为了平衡模型的精度与计算量，在主干网络末端和颈部网络中低分辨率特征图处应用Transformer编码器．2.3　BiFPNYolov5使用的PANet进行特征融合时采用的是简单的线性相加，没有考虑到不同分辨率的输入特征图进行特征融合时的贡献是不平等的，因此使用加权双向特征金字塔网络(BiFPN)[19]替代PANet，通过引入可学习的权重参数学习不同输入特征图的重要性，实现更有效的多尺度特征融合．FPN，PANet和BiFPN的结构如图4所示，图中最左侧数字表示不同层级特征图的尺寸．10.13245/j.hust.240215.F004图4FPN，PANet和BiFPN结构相较于PANet，BiFPN的特点在于：简化了网络结构，删除只有一条输入特征的节点，因为其没有进行特征融合，贡献较小；为处于同一层级的输入与输出特征图之间添加跳跃连接，在不增加计算成本的情况下增加特征交互；引入加权特征融合机制，为每个输入添加一个权重，用以判断各输入特征图的重要性，使用快速归一化特征融合方法，O=∑iωiIiγ+∑jωj，式中：O为融合后的输出特征；Ii为进行特征融合的输入特征图；ωj为可学习权重，用于学习不同输入特征图的重要程度；常量γ=0.000 1保证数值稳定．以第四层级特征融合为例，特征融合过程如下P4td=Convω1P4in+ω2Resize(P5in)ω1+ω2+γ；P4out=Convω1'P4in+ω2'P4td+ω3'Resize(P3out)ω1'+ω2'+ω3'+γ，式中：Conv(∙)为卷积层处理；Piin为第i层输入特征；P4td为中间特征；ωi和ωi'为输入特征的权重；Piout为第i层输出特征，不同输入特征的重要性由对应的ω决定；Resize为上采样或下采样操作．2.4　小目标检测分支对巡检数据集进行分析后，发现图像中绝缘子目标存在较大的尺度差异，且多数目标在图像中所占比例较小，如图5所示．图5(b)中Wt，Ht，Wi和Hi分别为目标真实框和输入图片的宽高，w=Wt/Wi，h=Ht/Hi，图5(a)中蓝色越深说明符合该比例的标签数量越多．10.13245/j.hust.240215.F005图5绝缘子标签尺寸分布随着网络层级的加深，特征图分辨率不断变小，感受野变大，输入图像中小目标的特征会被淹没甚至丢失．为了缓解目标尺度剧烈变化带来的不利影响，提高模型对小目标的检测能力，增加一个低层级、高分辨率(160×160)、小感受野的检测头(Head 1)，如图6所示，中间特征图P3td经上采样后与高分辨率输入特征图P2融合获得Head 1输入特征图P2out，同时在P3与P3out之间添加跳跃连接．10.13245/j.hust.240215.F006图6小目标检测分支3 实验结果及分析3.1　实验配置实验环境：操作系统为Ubuntu18.04，显卡配置为Quadro RTX6000，显存为24 GiB；软件平台为Python3.7，CUDA 10.2，Pytorch 1.10.2．数据集来自某电网公司科技项目，包含实际巡检图像共1.237 7×104张，使用labelImg软件对图像中五类目标进行手工标注，分别是玻璃绝缘子、陶瓷绝缘子、复合绝缘子、绝缘子自爆和伞裙破损，实验中将数据集按9∶1的比例划分为训练集和测试集，绝缘子图像及各类别标签数量分布如表2所示．10.13245/j.hust.240215.T002表2数据集图片及标签数量目标总数训练集数量测试集数量巡检图片玻璃绝缘子陶瓷绝缘子复合绝缘子绝缘子自爆伞裙破损12 37731 9435 7575 2852 48599911 13928 6125 2934 7652 2439061 2383 33846452024293训练细节：在训练过程中，由于改变了模型的网络结构，因此未使用预训练权重进行训练，优化器采用SGD进行权值更新，权重衰减系数(weight_decay)设置为0.000 5，设置学习率lr0=0.01．lrf=0.01．采用余弦退火策略自动更新学习率，学习率首先经过3个epoch从lr0/3线性上升至lr0，再呈余弦变化逐渐衰退到lr0lrf=1×10-4．批量大小(batch-size)为16，训练周期(epoch)为150，输入图像尺寸为640×640．模型的损失函数包括边框损失、置信度损失和分类损失，训练过程中使用CIoU loss计算边框损失，使用BCE loss计算置信度和分类损失，训练150 epoch后损失函数逐渐收敛，如图7所示．10.13245/j.hust.240215.F007图7训练损失曲线3.2　评价指标为了对模型性能进行定量分析，使用平均精度均值(ε¯)作为准确性评价指标，使用单张图片平均处理时间(t)作为模型速度评价指标，其中ε¯指标首先基于各类别准确率(E，E=TP/(TP+FP))和召回率(R，R=TP/(TP+FN))，TP，FP，FN分别为正确检测数量、误检数和漏检数．计算各类别的平均精度，接着对所有类别精度计算均值，对模型的综合性能进行评估，具体公式如下ε¯=1C∑i=0Cεi,式中：C为类别数；εi为各类别平均精度，通过对各类别E-R曲线积分计算得到，εi=∫01p(r)dr，其中，p(r)为第i类的E-R曲线，即横坐标为召回率R，纵坐标为准确率E的曲线．3.3　不同算法的对比实验为验证本算法的优势，采用目前主流的深度学习目标检测模型，包括二阶段模型Faster-RCNN[20]，无锚框模型FCOS[21]，YoloX-s[22]，YoloR-s[23]和一阶段模型SSD[24]，Yolov5s，在相同的训练条件和数据集下进行对比实验，输入图像尺寸除SSD模型为512×512，其余均为640×640，结果如表3所示．10.13245/j.hust.240215.T003表3不同算法对比实验结果评价指标FCOSSSDFaster-RCNNYoloX-sYoloR-sYolov5sYolov5-TBTε/%玻璃绝缘子77.477.680.288.990.993.191.8陶瓷绝缘子65.568.377.383.980.581.980.0复合绝缘子57.965.268.377.377.776.678.3绝缘子自爆57.263.571.375.371.476.776.8伞裙破损54.944.962.052.851.947.266.6ε¯/%62.663.971.875.674.575.178.7t/s0.0240.0410.0440.0130.0140.0070.009由表3可以看出：Faster-RCNN模型利用了区域建议网络(RPN)生成合适的目标推荐框，在小目标伞裙破损检测上取得了不错的性能，但是整体ε¯和速度不如Yolov5s模型．Yolov5s模型整体检测性能优于YoloX-s和YoloR-s模型，但由于其将图像划分为S×S个网格，每个网格只负责使用预设的锚框预测中心点落于该网格处的目标，不利于小目标的检测检测，因此Yolov5s模型对小目标伞裙破损的检测能力较差，只有47.2%．YoloX-s和YoloR-s模型在检测精度上与Yolov5s相差不多，但检测速度有所下降，且对故障小目标检测能力有待提高．Yolov5-TBT模型在整体性能上优于其他模型，ε¯达到78.7%，相较于FCOS，SSD，Faster-RCNN，YoloX-s，YoloR-s和Yolov5s模型分别提高了16.1%，14.8%，6.9%，2.5%，4.2%和3.6%，且对较难检测的伞裙破损故障识别精度达到66.6%，比Yolov5s模型提高了19.4%，对难识别小目标的检测能力有较大的提升；在检测速度方面稍逊色于Yolov5s模型，但依然在毫秒级，且优于其他模型．此外，在对玻璃绝缘子和陶瓷绝缘子的检测精度上，Yolov5-TBT模型并未取得最优效果，主要原因可能是由于这两类目标存在较大的尺度差异，大尺寸目标的数量相对较多，而改进模型更重视学习小目标的特征，从而影响到了这两类目标的检测，但是差距不明显，在可接受的范围内依然具有较高的预测精度．总体而言，Yolov5-TBT模型在整体检测精度上优于其他模型，且大幅提升了对难识别小目标伞裙破损的检测精度，在检测速度方面同样极具优势．3.4　消融实验为了验证各模块改进方法的合理性和有效性，设计了控制变量实验，依次增加Transformer编码器、BiFPN及小目标检测分支，在相同实验条件下对模型检测精度进行测试，消融实验结果如表4所示，表中“√”表示该次实验中使用了该模块．10.13245/j.hust.240215.T004表4消融实验结果实验编号Transformer编码器BiFPN小目标检测分支ε¯/%1234√√√√√√75.177.378.078.7由表4可见：在加入Transformer编码器后，模型整体性能有了较大提高，ε¯上升了2.2%，说明Transformer编码器能够有效提高模型对绝缘子目标的特征提取能力，检测效果提升显著．后续依次加入BiFPN和小目标检测分支，整体ε¯得到持续提升，相较于Yolov5s模型分别提升了2.9%和3.6%，验证了各模块的有效性．3.5　绝缘子分类及故障检测效果为了更直观地展示Yolov5s模型与Yolov5-TBT模型的实际检测效果，对二者输出的预测结果进行可视化，如图8所示．红色、粉色、棕色、橙色和黄色实线框分别表示模型对玻璃绝缘子、陶瓷绝缘子、复合绝缘子、绝缘子自爆和伞裙破损的预测结果．考虑到大部分绝缘子目标在图像中仅占较小的区域，为了凸显Yolov5-TBT模型的优越性，在Yolov5s模型的输出图像中使用虚线框将漏检误检的目标区域进行放大，更清晰地展示二者检测效果的差异．从图8的第1列图片可以看出：绝缘子远距离低角度拍摄时，绝缘子非常小且形状变化，Yolov5s模型容易漏检，Yolov5-TBT模型可以很好地缓解这一问题．同时，在巡检图像中绝缘子有不同程度的遮挡，如图8中的第2和第3列图片所示，得益于更强的特征提取和表示能力，Yolov5-TBT模型可以更准确地检测出被遮挡绝缘子，同时预测包围框也更准确．此外，图8最后1列图片表明：Yolov5-TBT模型对特征不明显的故障小目标(如伞裙破损)的检测能力明显较高．同时，图8的前两列图片为人工巡检数据，后两列图片为无人机巡检数据．通过与Yolov5s预测结果进行对比可以看出：Yolov5-TBT模型在人工巡检和无人机巡检数据上的检测效果均优于Yolov5s，能够更好地适应人机协同巡检数据集．10.13245/j.hust.240215.F008图8绝缘子分类及故障检测可视化结果4 结语Yolov5-TBT模型将Yolov5s与Transformer编码器相结合，缓解复杂背景的影响，优化特征提取网络；采用BiFPN学习不同层次特征图的重要性；增加小目标检测层提高对小目标的检测能力．在构建的数据集上对不同模型分别进行训练和测试，验证了改进的Yolov5-TBT模型的有效性．相较于FCOS，SSD，Faster-RCNN，YoloX-s和YoloR-s模型，平均精度分别提高了16.1%，14.8%，6.9%，2.5%和4.2%，且检测速度更快．与Yolov5s模型相比，Yolov5-TBT模型对伞裙破损的检测精度提高了19.4%，整体平均精度提高了3.6%．Yolov5-TBT模型在人机协同巡检方式下拥有良好的绝缘子分类和故障检测性能，具备实际应用于输电线路检测的潜力．