智能船舶[1]融合了现代信息技术和人工智能等新技术，具有安全可靠、节能环保、经济高效等显著特点，是未来船舶发展的重点方向．智能航行是智能船舶的主要技术标志，而智能感知是实现智能航行功能的前提．视觉传感器作为智能感知模块中最常见的传感器，具有部署方便、成本较低和获取的可见光图像信息丰富等优点，一直是智能感知中的重点研究内容．基于可见光图像的目标检测方法可分为传统方法和深度学习方法．传统目标检测方法的基本原理是先提取图像特征[2-4]，然后利用机器学习分类器，对提取到的图像特征进行分类与识别．基于方向梯度直方图特征和支持向量机的传统目标检测方法被广泛运用于船舶目标检测中[5-6]．传统方法的重点在于人工设计特征，其泛化能力较差．2012年后，基于深度学习的目标检测方法以其优异的性能成为研究的重点内容．深度学习算法在船舶目标检测任务中的应用发展迅速[7-9]，通用目标检测算法对常规船舶目标的检测有着良好的性能，但是对于实海域图像中海天线附近的远距离小目标检测效果较差．文献[10]提出的ResNet系列网络，解决了增加网络层数而引起的梯度消失问题，提高了下游检测任务的精度．文献[11]提出的特征金字塔网络（FPN），为提升模型的小尺度检测能力提供了方向．文献[12]提出的可变形卷积能够根据目标形状特征自适应调整卷积核的感受野，增加小目标检测的精度．文献[13]采用级联结构，通过设置不同的交并比阈值，逐步提高候选框的质量，实现更高精度的检测．文献[14]提出一种针对水面图像的强语义特征提取结构，增加了对不同尺度目标的检测精度．文献[15]通过设计自适应特征融合模块，增加了算法的多尺度检测能力．目前，两阶段检测算法对小目标的检测精度较高，但是其计算量大，部署在智能船舶上较为困难．针对此问题，基于YOLOv5原型结构，本研究提出了一种针对实海域远距离小目标的实时检测算法，重新设计了特征融合模块，用于实现高层与低层的双向特征融合；然后采用双通道注意力机制，增强了有用信息的表达能力；并在原有的三层检测层上，新增极小物体检测层，用于检测远处海天线附近的小目标；最后在实海域数据图上进行测试，验证了本研究提出的小目标检测算法的精度及实时性．1 YOLO目标检测基本思想YOLO是典型的单阶段目标检测算法，首先，将图像输入网络后，经过一系列的卷积操作得到宽×高为s×s的特征图；然后将特征图划分为s×s个网格，若该物体中心落在某个网格区域内，如图1中的红色区域，则该区域负责预测该物体的类别及回归参数，如图1所示．10.13245/j.hust.230404.F001图1YOLO基本检测思想YOLO算法的检测速度快，但是因为其检测机制，当多个密集小物体同时在一个网格中时，只能输出一个框，检测效果较差．在YOLO的后续版本中，虽然也逐步运用到了特征金字塔结构增加对小目标的检测效果，但是小尺度目标的特征数过少，在不断下采样的过程中很可能丢失，导致漏检严重．2 小尺度目标检测算法针对小目标检测困难的问题，本研究提出了基于YOLOv5的实海域实时目标检测算法，其网络结构图如图2所示．10.13245/j.hust.230404.F002图2小尺度目标检测算法网络结构图具体网络结构及组成如下：骨干网络由级联卷积块堆叠而成，并新增双通道注意力机制层，根据特征图的全局信息，自适应地选择特征图的权重，增强特征图的信息表达能力．在检测头部，添加了极小目标检测层N1，并为该层添加单独设计的锚框，N2，N3和N4分别为小、中、大目标的检测层，设置相应的特征融合模块，将低层特征图的定位信息与高层特征层的语义信息进行融合，进一步增加网络检测的精度．2.1　双向特征融合结构图3中相邻红点所围矩形面积代表神经元的感受野，深层卷积神经网络感受野大，而浅层神经网络的感受野小，只有被感受野中心命中的目标才能被检测到．如图3(b)所示，将感受野中心映射回原图，低层特征图命中了更多的小目标，对小目标的检测效果较好，但是浅层的特征图的表达能力不足，虽然命中了目标，但是容易导致分类错误．10.13245/j.hust.230404.F003图3卷积神经网络感受野示意图针对此问题，本研究采用了一种双向特征融合结构．在图4的FPN结构中，F1，F2，F3分别代表不同尺寸的特征图，将尺寸为20×20的顶层特征图F3进行上采样，与底层特征图逐步进行融合，并添加与骨干网络中相应层的横向连接，实现将顶层特征图的强语义信息向下传递，得到语义信息强且分辨率高的特征图，能够减小低层特征层的误检率．10.13245/j.hust.230404.F004图4双向特征融合结构图顶层特征图语义信息强，但是其分辨率低，在FPN自上而下的结构之外，引进了自下而上的特征融合结构，在预测层P1，P2，P3外添加横向连接，并将预测特征层逐步经过卷积下采样，将低层特征图的定位信息向上传递，得到检测层N1，N2，N3，增加网络在高层特征图上的检测能力．2.2　双通道注意力机制图像输入网络后，随着网络层数的加深，每层卷积层输出的特征图的尺寸逐渐减小，而特征图的深度逐步增加，其中每个维度的特征图代表着提取到的不同信息，但是信息并不都是完全有用的，添加注意力机制能够在有限资源下，更加关注有用的特征，抑制无用特征的信息表达．图像的注意力机制可分为通道注意力机制[16]与空间注意力机制[17]．为保证算法的实时性，本研究以轻量级的通道注意力为基础，通过增加双通道提取图像的全局特征，将其嵌入到骨干网络的每个瓶颈层中，实现对卷积输出的特征图的加权处理，算法整体流程如图5所示．10.13245/j.hust.230404.F005图5双通道注意力机制示意图首先，将该层特征图进行自适应平均池化与自适应最大池化操作，获取在维度方向上的全局特征CA和CB，自适应池化操作公式为CA=1H×W∑i=1H∑j=1Wa(i,  j)；(1)CΒ=max(a(i,  j))，(2)式中：H和W为特征图的宽和高；a(i,j)为特征图中的每个像素位置的特征值．文献[16]提出的单通道注意力机制网络SENet使用的权重分配函数为Sigmoid函数，引入激活函数σ(x)对其进行改进，σ(x)能够使特征值小的全局特征权值更小，使网络在有限的资源下更加注意有用的特征．其公式为σ(x)=x×Sigmoid(x)=x/(1+e-x)．(3)然后，将式(1)和(2)得到的每个维度的全局特征(CA和CB)进行融合得到C，再依次经过两个全连接层(FC1和FC2)，输出每个维度的权重值uc．计算公式为uc=σ(W2δ(W1C))，(4)式中：W1起到维度衰减的作用；W2起到维度扩充的作用；δ为ReLU激活函数．最后，将uc与对应维度的特征图进行相乘得到新特征图，使得模型后续能够学习到更有用的特征．2.3　极小目标检测针对海天线附近的远距离小目标，在YOLOv5原型结构的基础上设计了极小目标检测层N1．主要做法是将YOLOv5中第一个瓶颈层输出的特征图F1与自上而下的FPN结构的最底层特征图P1进行通道拼接，构建极小尺度目标预测层，并进行双向特征融合．具体结构如图6所示，其中，N1特征10.13245/j.hust.230404.F006图6增加极小目标检测层后的结构示意图层的感受野大且密集，能够命中更多的海天线附近的小目标，增加对小目标的检测精度．3 模型训练与指标验证3.1　实验准备实验数据集来自实海域录制的80段视频，通过分帧处理共得到8 072张图片．本研究通过目标检测算法预测障碍物(barrier)、海岸(coast)、船体自身(this)三类海上目标，并将数据集按照7∶3的比例划分训练集和验证集．按照COCO数据集[18]的标准，对图像尺度大小进行划分，障碍物类别占比高，且多为小目标，检测难度相对较大．数据集的具体分布概况如表1所示．10.13245/j.hust.230404.T001表1实海域数据集目标分布海上目标小尺度中尺度大尺度船体自身008 072海岸02535 328障碍物16 1874 9273 762为了保证实验的公正性，实验所使用代码全在pytorch1.9环境下运行，训练周期为100，采用学习率预热策略进行学习率调整，且均采用基于COCO数据集训练的预训练模型对权重进行初始化．实验训练与测试的服务器参数如下：CPU为Intel(R) Core(TM) i5-8250U，内存为8 GiB，GPU为GeForce RTX 1050，显存为2 GiB．3.2　评价指标a．准确率和召回率准确率P为网络模型检测出的目标中，真实目标的比例，而召回率R为所有真实目标中，被网络模型正确检出的比例，有P=NTPNTP+NFP；R=NTPNTP+NFN，式中：NTP为网络检测出的正确目标的数目；NFP为网络检测出的错误目标的数目；NFN为网络没有检测出的目标的数目．在PASCAl VOC评价指标中，计算的是当交并比阈值为0.5时，通过设置不同的R值，得到对应的P，并以此绘制以R为横轴、P为纵轴的PR曲线，PR曲线下的面积即为精度指标A1．在COCO评价指标中，设置0.5~0.95间共10个交并比阈值，取这些阈值下的PR曲线下的面积的平均值作为评估结果，记为A2．按照COCO数据集的标准，Ps与Rs表示像素面积小于32×32目标的准确率和召回率，用来评判算法对小目标的检测效果．b．实时性对一个用于目标检测的网络模型来说，评估性能的好坏不仅仅考虑精确度，还要评估模型的实时性．一般来说，以处理单张图片的耗时作为实时性指标．3.3　实验结果及分析为验证提出的改进算法相较于原YOLOv5算法在实海域情况下的检测性能，进行了一系列的消融实验，实验结果如表2所示，表中：方法1为本文双向特征融合方法；方法2为双通道注意力机制方法；方法3为添加极小目标检测层方法．10.13245/j.hust.230404.T002表2消融实验结果统计表序号方法A1/%A2/%Ps/%Rs/%时间/s1YOLO v574.449.617.832.70.016 02方法174.850.718.833.70.016 63方法1+单通道注意力机制[16]74.249.416.435.50.017 74方法1+方法275.049.717.935.70.018 05方法1+方法376.951.522.741.00.020 76方法1+方法2+方法378.151.725.243.20.020 1a．双向特征融合如表2第2行所示，在添加双向特征融合结构后，各项精度均有提升，且对实时性的影响极小，在后续的实验中，将以双向特征融合为默认结构进行网络的训练和测试．b．双通道注意力机制如表2中第3和4行所示，加入单通道注意力机制，算法对小尺度目标的召回率提升的同时精度下降，表示算法出现了虚警．在加入本研究设置的双通道注意力机制后，算法的精度和召回率都得到了明显提升，虽然与方法１相比，A2略有下降，但是提升了算法对小目标的召回率Rs，改善了漏检情况．通过输入图像的部分维度的特征图可视化结果能够直观地表示算法的作用机理，图7(b)和(c)黄色亮点部分表示在该通道中特征表现明显的像素位置，图7(b)中两幅特征图中的特征表现明显的像素位置与图7(a)中船舶的位置相近，增大该类特征的表达对模型的性能有进一步的提升．10.13245/j.hust.230404.F007图7特征图可视化结果c．极小目标检测层添加极小目标检测层，如表2第5行所示，精度提升明显，特别是小尺度目标的检测精度，提升了27.5%，并且每张图像的推理时间仅增加了4.07 ms，满足实时性的要求．d．实海域实时小尺度目标检测算法该算法为以YOLOv5为原型结构，设置了双向特征融合结构，实现了多尺度特征的双向融合，添加双通道注意力机制，增强了特征图的表达，减缓了小目标漏检问题，但是也造成了部分虚警．在此基础上，继续添加极小尺度目标检测层，进一步利用了增强后的特征图，经过验证，该算法表现良好，如表2中第6行所示，特别是小目标检测精度提升了34.3%，实现了模型的精度和实时性的平衡，推理一张图片的时间仅为20.1 ms．整体算法结果可视化如图8所示，经过直观对比，相较于YOLOv5算法，实海域实时小目标检测算法对远距离极小目标具有更好的检测性能．10.13245/j.hust.230404.F008图8检测结果4 结语实海域实时小尺度目标检测技术是实现智能船舶智能航行功能的基础．本文算法改进内容主要包括以下三部分：a．增加双向特征融合结构，不仅向低层特征图引入了强语义信息，并且向高层特征图引入了定位信息，提高模型检测的精度；b．增加双通道注意力机制，同时利用每个维度特征图的平均值与最大值，增强了全局特征的表达，并使用改进后的权重分配函数，使网络对每层通道的权值大小更敏感；c．增加极小目标检测层，在宽高为160的特征图上进行预测，增大远距离极小目标的检测精度．通过仿真实验验证表明：该算法具有实时性好、精度高的优点，且对于远距离小目标的检测性能有较大的提升，为智能船舶智能航行功能的实现提供了良好的基础．