在桥梁运营阶段，钢箱梁受交通荷载、焊接缺陷和腐蚀等多种复杂因素共同作用[1]，焊缝处易出现疲劳裂纹[2]．定期检测钢箱梁疲劳裂纹可为制定桥梁安全运维决策提供依据，对延长桥梁使用寿命至关重要[3]．基于机器视觉的裂纹检测方法因具有精度高、成本低等优点而得以迅速发展[4]．疲劳裂纹分割能够准确得到裂纹形态及尺寸信息，可用于结构状态评估[5]．然而，传统的图像处理技术在复杂环境中识别裂缝存在困难[6]．近年来随着深度学习算法的高速发展，在土木工程领域中基于深度学习进行结构裂纹检测的方法迎来新的突破[7-9]．裂缝检测中图像背景的复杂程度是影响分割精度的一个重要因素[10]．研究人员为提高裂缝的检测精度主要从以下几方面做出改进：a. 编码器调用更深层网络的预训练模型[11]；b. 设计新型特征融合模块以提高模型对图像多尺度信息的提取能力[12-13]；c. 通过改变连接机制来提高模型的上下文信息捕获能力[14-15]；d. 提出新的损失函数以提高模型训练的精度[16]．以上模型的改进措施使分割精度有明显提升，但大多以道路或混凝土为研究对象，对钢结构疲劳裂纹的研究较少．同时目前公开的裂缝数据集中图像背景相对简单，而钢箱梁图像中人为笔迹、焊缝边缘、构件边界等与裂纹的图像特征较为相似；当疲劳裂纹检测时，机器视觉算法易受焊缝边缘、不均匀光照、涂层边界及笔迹等因素的影响[12]．然而，对这类具有复杂干扰信息的疲劳裂纹智能识别研究较少[12]．文献[17-18]提出了一种融合改进卷积神经网络和受限玻尔兹曼机算法的检测方法，但结果只能给出存在裂纹的块状区域，不能给出裂纹的具体形状．文献[12]提出了一种像素级疲劳裂纹分割框架，将高分辨率图像裁剪后输入到改进网络中进行训练和测试．文献[19]在FCN的基础上提出了一种新的裂纹分割网络FCS-Net．以上研究所用模型的上下文信息提取能力仍然不足，受复杂背景干扰因素影响较大，精度与效率仍有待提高．本研究提出了一种新的空洞金字塔注意力网络(APA-Net)用于疲劳裂纹分割．将APA-Net与FCN，U-Net和CE-Net等经典网络在疲劳裂纹数据集中的预测结果进行了比较，并通过消融实验讨论了模块机制对分割精度的影响，实现了从具有复杂背景的高分辨率钢箱梁表面图像中分割出细微疲劳裂纹，对钢箱梁桥梁的疲劳安全评估有重要的参考意义．1 裂缝分割网络模型图1为基于编解码器的APA-Net网络结构，包括特征编码器、DAC模块、SAPF模块、AG机制和特征解码器五部分．采用预训练残差网络作为编码器从网络中提取特征图，在编码器顶部插入DAC模块与SAPF模块以捕获多尺度上下文信息，编码器与解码器之间通过注意力门控机制连接实现全局上下文信息流和解码器路径特征的融合．与原有FCN和U-Net相比，本研究所开发的网络增强了特征提取能力．10.13245/j.hust.220807.F001图1基于编解码器的APA-Net网络结构1.1　特征编码器为得到更具代表性的特征图，特征编码器采用预训练ResNet-34模型[20]，保留前四个特征提取块，删除平均池化层和全连接层，增加跳跃连接机制，加入批量归一化层(BN)，采用线性整流函数(ReLU)作为激活函数，避免了梯度消失，加速了网络收敛，如图1所示．1.2　DAC模块深卷积层是分割任务中提取图像特征的有效方法，它通过池化层扩大感受野，但会导致图像语义信息的丢失．在卷积核大小不变的情况下，空洞卷积通过提取稀疏特征来自动扩大感受野，只须插入空洞形成空洞率不同的卷积核，即可获得不同大小的感受野[15]．基于此，本研究采用密集空洞卷积(DAC)模块对高层语义特征图(feature map)进行编码，DAC模块如图2所示．DAC通过组合具有不同空洞率(R)的空洞卷积(Conv)，分别形成了感受野为3，7，9和15的四个平行分支，利用残差机制将每个分支的输出与输入相加，实现多尺度目标空间特征的融合．通过组合不同空洞率的空洞卷积，DAC模块能提取不同大小目标对象的特征信息．10.13245/j.hust.220807.F002图2DAC模块1.3　SAPF模块利用多尺度上下文信息可明显提高分割准确性，因此本研究提出了一种尺度感知金字塔融合(SAPF)模块，并将其嵌入网络顶部．该模块能够通过自学习为不同尺度的目标动态选择合适的感受野，更好地融合多尺度上下文信息，SAPF模块如图3所示，图中α为可学习参数．SAPF模块由三个并行且权重共享的空洞卷积滤波器(Dconv)和两个采用空间注意机制的级联尺度感知模块组成．共享权重可有效减少模型参数的个数，降低网络过拟合的风险．尺度感知模块通过引入空间注意机制，可动态选择合适的尺度特征并通过自学习进行融合，尺度感知模块如图4所示．具体地说，融合特征图(Ff)加权计算公式为10.13245/j.hust.220807.F003图3SAPF模块10.13245/j.hust.220807.F004图4尺度感知模块Ff=A⊙FA+B⊙FB，式中：FA和FB为两个不同尺度的特征；A和B为根据各自映射计算出的像素级注意图；⊙为注意图与特征之间的元素乘积运算．将融合特征图输入到两个级联的尺度感知模块后得到三个分支的最终融合特征，最后通过具有可学习参数α的残差连接得到整个SAPF模块的输出．1.4　AG机制为了充分利用编码器模块中的空间信息来弥补编解码器两者间的语义鸿沟，在编解码器连接中添加了AG机制．AG机制类似于人类视觉注意力机制，将注意力集中在图像的特定局部区域，忽略其他区域，可以抑制图像中不相关区域的特征激活，促进与分割目标相关的模型参数更新．注意力门控机制如图5所示，AG接收两个输入：一个来自包含该层中所有上下文和空间信息的对应编码器；另一个来自其下层解码器的上采样输出．AG将输入融合后选择激活函数(Sigmoid)训练门参数的收敛性，得到注意力系数(β)，将输入特征与β逐个像素相乘得到输出．AG将从下层粗略尺度中提取的信息作为门控信号，用于消除跳跃连接中不相关的噪声响应，明显提高了网络对分割任务目标区域的学习能力．10.13245/j.hust.220807.F005图5注意力门控机制1.5　特征解码器为了快速有效地恢复高分辨率特征图，设置解码器为四个含转置卷积层的残差块[20]．使用跳跃连接和AG机制将每个解码层与相应的编码层连接，上采样使用2×2转置卷积，联合来自AG的输出与来自前一解码层的上采样输出后被传递到残差块．通过每个解码层，特征图的数量减少一半，尺寸增加一倍，最后一个解码层的输出与真实标签进行比较后计算损失．1.6　损失函数用于裂纹检测的分割数据集存在严重的类别不平衡问题，为此本研究使用了一个由相似度损失和二分类损失组成的加权损失函数来训练分割模型[21]，总损失LTotal的计算公式为LTotal=λLBCE+(1-λ)LDice，式中：λ为相似度损失和二分类损失之间的权重；LBCE为二分类损失；LDice为相似度损失．根据不同权重下实验结果的对比，本研究λ的取值为0.5．为保证公平比较，其他模型都采用相同的损失函数．2 实验设置与结果分析2.1　数据集及训练参数原始裂纹数据集采用了International Project Competition for SHM 2020的斜拉桥钢箱梁图像[22]．该数据集使用尼康D7000相机拍摄，图像分辨率为4 928×3 264像素或5 152×3 864像素，其中包含较多复杂的干扰信息．为了提高训练效率和测试精度，须要对原始数据集进行裁剪处理，从而生成低分辨率数据集用于训练与测试．建立钢箱梁疲劳裂纹分割数据集制作过程如图6所示．首先，从原始数据集中选出140张高分辨率疲劳裂纹图像，人工标注出图像中的裂纹像素；然后，随机选取100张用于训练，20张用于验证，20张用于测试，三部分图像相互独立，干扰因素和程度可认为基本类似．对标签与图像的裁剪操作相同，将原始图像按照从左到右、从上到下的顺序裁剪出320×320像素的图像块，裁剪步长设为160像素，裁剪过程中设定了两边自动填充．最终训练集、验证集与测试集中含裂纹的图像块数量分别为3 556，687和466．本研究使用的深度学习平台软件环境主要配置为：操作系统(Ubuntu 16.04)，CPU (Intel i7 8700/32GiB)，显卡(RTX2080Ti/11GiB)．为了防止过拟合，在模型训练过程中对训练集随机进行水平翻转、旋转等数据增强．训练批次为200个迭代周期，初始学习率为0.001．采用Adam优化器优化参数，批处理大小设为4．10.13245/j.hust.220807.F006图6数据集制作过程2.2　分割结果评估为了综合考虑预测结果，本研究以准确率(P)、召回率(R)、F1分数和交并比(IoU)作为衡量模型精度的指标[12]．其中IoU被认为是评估分割网络模型性能最具指示性的指标[21]，疲劳裂纹图像中背景像素占比95%以上，计算背景IoU不能很好的反映实际裂纹检测效果，因此本研究只计算裂纹的IoU．为了突出APA-Net性能的优越性，将其与目前一些最有竞争力的分割网络进行比较，包括FCN，U-Net，U-Net++，Attention U-Net和CE-Net．根据各网络的最优训练模型，对测试集中疲劳裂纹图像进行预测，预测结果的评价指标如表1所示，表中：Pm，Rm和Fm分别为测试集中所有图像预测P，R和F1的均值；Im为IoU的均值，即平均交并比(mIoU)；k为在本研究所使用的环境配置下检测模型每秒测试的裂缝图像数量．10.13245/j.hust.220807.T001表1测试集结果的评价指标网络模型Pm/%Rm/%Fm/%Im/%kFCN71.586.377.764.0116U-Net76.683.678.364.8114Attention U-Net77.483.078.965.7114U-Net++76.583.379.065.6113CE-Net83.283.482.868.3114APA-Net(本文)83.687.985.872.2115由表1可知：本研究所提出的APA-Net模型预测结果的mIoU (72.2%)明显优于其他五种分割网络模型，比表现最好的CE-Net (68.3%)高出约4%．APA-Net模型预测结果的Pm，Rm和Fm均最高，说明该网络模型的误检率及漏检率最低．在相同配置下，所有模型的测试效率相差不大．图7为APA-Net和其他五个网络模型的裂缝图像分割结果．从图7中可以看出：APA-Net在保证对整个裂纹正确识别的前提下，没有对背景中的干扰信息进行过多的错误预测，能够获得更准确的分割结果，而其他几种常用模型虽然也能分割出真实裂纹，但受背景噪声影响相对较大．10.13245/j.hust.220807.F007图7裂缝图像分割结果2.3　消融实验消融实验是通过消除单个模块后观察预测结果的变化来证明不同模块的必要性．将预训练ResNet34(Res)，DAC模块(D)，SAPF模块(S)和AG机制(A)依次组合，研究了不同模块对分割结果的影响，分割结果如表2所示，部分分割结果如图8所示．10.13245/j.hust.220807.T002表2含不同模块的模型的分割结果序号工况Im/%①U-Net64.8②Res-U68.7③Res-U+D67.6④Res-U+S68.1⑤Res-U+A70.1⑥Res-U+D+S66.5⑦Res-U+A+D69.1⑧Res-U+S+A70.2⑨APA-Net72.210.13245/j.hust.220807.F008图8含不同模块的模型的图像分割结果由表2可知：本研究提出的融合了所有模块的APA-Net将分割结果的mIoU从U-Net的64.8%提高到了72.2%．在U-Net中添加了预训练ResNet34模块后，裂纹分割的IoU从64.8%提高到68.7%，说明预训练ResNet34对分割效果提高有益．对比序号②与③、②与④、③与⑥及⑤与⑦，可知加入DAC或SAPF模块后，模型性能反而有所下降．这是因为虽然加入DAC或SAPF模块后使卷积核感受野扩大，但由于背景中笔迹、边界等干扰因素过多，没有针对性地过多提取特征反而不利于模型性能的提升，如图8所示，在涂层边界、焊缝边界及笔迹附近产生一些错误预测．在Res-U中加入AG机制后分割结果的IoU从68.7%提高到70.1%，在Res-U+S中加入AG机制后分割结果IoU从68.1%提高到了70.2%．这表明加入AG机制，模型可对上下文中提取的特征进行一定的推理，提高模型的性能．在AG机制的基础上添加DAC与SAPF模块能够针对性的提取与分割任务相关的全局信息，获得裂缝图像的高层语义特征图，从而提高相应任务的分割性能，因此网络中不同模块是通过完成各自的功能最终实现分割模型性能的整体提高．3 结论为从含复杂背景的钢箱梁图像中分割出细小的疲劳裂纹，提出了一种新的基于编解码器的APA-Net网络模型，并通过实验验证了所提网络的有效性，结论如下．a. 与经典U-Net相比，本研究提出的APA-Net在特征编码器中采用预训练ResNet34，设计并嵌入了新的DAC模块和SAPF模块，在编解码器之间插入AG机制，有效地解决了U-Net对全局信息与多尺度上下文信息获取与集成不足的问题．b. 建立了包含多种复杂干扰因素的疲劳裂纹分割数据集，将提出的APA-Net与目前流行的分割网络FCN，U-Net，CE-Net，U-Net++和Attention U-Net在该数据集上进行对比测试，结果表明APA-Net对复杂背景的钢箱梁表面图像中的疲劳裂纹分割能力优于其他五种网络．APA-Net的mIoU比表现最优的CE-Net提高了约4%，且预测结果的误检率及漏检率均最低．c. 通过消融实验研究了预训练ResNet34，DAC模块，SAPF模块与AG机制对网络模型分割性能的影响，发现单独加入预训练ResNet34与AG机制可以明显提升模型分割性能，DAC模块与SAPF模块则须要AG机制的辅助才能综合提升网络对疲劳裂纹的分割能力．网络中不同模块通过完成各自的功能实现模型性能的整体提高．