合成孔径雷达(SAR)图像下的舰船目标检测在海洋监视中起着至关重要的作用[1]，尤其对于近岸地区的观测[2]．由于SAR传感器独特的穿透能力，因此可以在全天时(白天和黑夜)和全天候(雨雪云雾)条件下工作，然而与光学成像相比，SAR雷达波长更长、成像机制复杂，而成像质量却较差，这使得SAR图像中目标特征的识别度较低．此外，准确的SAR图像解译还需要遥感领域的专业知识，使得带有标记的SAR数据较为缺乏并且难以获得．受这些问题的影响，SAR舰船目标的自动检测与识别远无法满足实际应用的要求[3]．近年来，越来越多的研究人员使用卷积神经网络(CNN)来提高SAR舰船检测的性能[4-5]．文献[2]采用空间组混叠增强注意力来抑制近岸和内陆引起的误报噪声，可以极大提高舰船目标的召回率．文献[6]针对小尺寸目标的缺失检测问题，提出基于上下文区域的CNN模型，该模型通过结合区域提议网络(RPN)中高分辨率的浅层特征和上采样后的深层特征实现上文信息的融合，从而提高对小型舰船的检测性能．值得注意的是，这些基于CNN的SAR舰船检测方法都受到了自然图像目标检测模型的启发．Faster-RCNN[7]和YOLOv3[8]等经典的检测模型都采用了端到端的设计思路，能够同时输出目标的类别和位置．对于遥感光学图像中的物体检测，端到端的方法如R2CNN[9]，S2A-Net[10]，R3Det[11]和RoITransformer[12]也都具有优秀的检测性能，其中 RoITransformer[12]模型框架由候选框回归、旋转候选框回归和旋转定位框回归三个阶段构成，可实现最高的检测精度．针对SAR图像的舰船检测与军民属性识别的任务，本研究提出一种模态域自适应的舰船检测与识别模型．通过多尺度特征融合和背景抑制监督，提出一种基于RoITransformer的新型旋转框检测模型，其检测精度达到90.35%，优于其他同类型方法；基于改进的舰船检测模型，设计了一种端到端的跨模态域自适应方法，将属性分类的知识从标注丰富的光学数据域迁移到标注缺乏的SAR数据域；为实现SAR中舰船检测军民识别任务，建立了近岸区域高分辨率SAR舰船数据集(HRSSRD)来评估所提出端到端舰船检测识别模型的有效性，实验结果表明所提方法在自建的HRSSRD上实现了88.5%的检测精度．1 SAR图像舰船检测与识别研究的现状目前的SAR数据集(如FUSAR-Ship[13])普遍缺乏军民类别标签，SAR数据标注也十分困难，然而上述检测方法皆属于有监督学习方法，须要同时带有目标位置和类别标签的样本．SAR舰船检测识别存在以下难点问题．a．特征提取不足：由于SAR图像中不同尺寸舰船目标分布差异性较大，并且不同类别的舰船外观特征复杂多变，因此已有的检测方法特征提取能力有限，容易漏检弱小目标．b．背景信息干扰：通常情况下，高光散射点的背景干扰较多[14-15]，近岸、内陆等区域的背景噪声亮斑与舰船目标的外观上相似，这些背景噪声容易被误认为舰船目标，从而导致召回率较低．c．类别标签缺乏：目前对于SAR 舰船检测已经有常用的公开数据集，如FUSAR-Ship[13]和OpenSARShip[16]，但这些数据集都不包含军民属性标签，而标注数据对于有监督学习算法来说必不可少．已有的舰船检测和识别方法都属于有监督学习模型，无法端到端实现舰船目标检测和军民属性识别的任务，而光学图像数据具有丰富的军民属性标签．由于光学图像和 SAR 图像存在显著的视觉差异，因此常用的预训练和微调机制无法达到满意的性能[17]．但在语义层面上，舰船的光学图像和 SAR 图像的地理场景和目标实例具有一定相似性，于是可以在图像和实例级别进行特征对齐，实现从光学到 SAR 数据域的分类知识转移．受文献[18]的启发，本研究对两种模态图像和实例级别的特征对齐嵌入到舰船检测模型的框架中．2 基于知识域迁移的跨模态域舰船检测与识别方法本研究提出一种模态域自适应的SAR图像军民舰船检测与识别方法，该方法是端到端的舰船识别模型，其整体框架如图1所示．10.13245/j.hust.221113.F001图1端到端SAR图像舰船目标检测识别算法框架算法整体上采用三阶段旋转框目标检测的思路．输入图像首先经过特征提取模块进行特征提取，得到不同尺度的源域特征图(PS2，PS3，PS4，PS5)和目标域特征图(PT2，PT3，PT4，PT5)，其中：下标S表示源域；下标T表示目标域．输出特征图会同时进入全局特征对齐模块和舰船目标检测识别模块，同时实例特征会在检测识别模块进行特征对齐．全局特征对齐模块用于对齐整幅图像的特征，实例级特征对齐用于对齐舰船目标实例的特征．2.1　基于增强上下文信息融合的近岸SAR图像舰船目标检测算法改进的舰船检测模型算法的整体框架如图2所示，图中：RRoILearner为旋转兴趣区域学习器；FC为全连接层；CONV为卷积层；class为预测的类别；rbbox为预测的旋转框．10.13245/j.hust.221113.F002图2改进的舰船检测模型算法整体框架2.1.1　基于改进特征金字塔的特征提取模块为了进一步融合多尺度的特征，使预测特征图能够同时获得全局语义信息和局部细节特征，提出使用密集特征金字塔网络(DFPN)来进行特征融合．具体来说，当建立特征金字塔时，DFPN生成预测特征图会融合所有深层次特征，而不是仅融合上一层次的特征，从而实现多层次的特征融合．为了更有效利用不同层的特征，本研究提出一种基于通道注意力机制充分利用不同层特征的密集特征金字塔网络(CADFPN)，当进行特征融合时使用通道注意力机制进行融合，对不同尺寸的提取特征进行自适应的参数加权，从而进一步提高FPN模块的特征融合能力，如图3所示，图中：Ci为主干网络输出的第i层特征图；Pi为特征金字塔网络输出的第i层10.13245/j.hust.221113.F003图3基于通道注意力机制的特征金字塔网络特征图；i为特征层的尺度序号．2.1.2　基于注意力机制的背景抑制模块背景抑制模块利用目标真值图对P2特征图进行有监督训练，从而抑制背景区域的干扰．背景抑制模块的监督过程如图4所示，使用注意力损失(attention loss)对P2进行回归损失的训练，使其尽可能接近只包含正样本的真值图，从而抑制场景背景部分的响应，提升模型召回率，其中注意力损失采用的是均方误差损失(MSE loss)，正样本真值图使用旋转框标注生成，不需要额外的标注．10.13245/j.hust.221113.F004图4背景抑制模块2.1.3　旋转目标上下文信息融合模块候选框周围的边界信息通常包含边缘特征和场景的上下文信息，有助于检测头更加准确地回归目标框的边界值．为更好地融合候选区域周围的背景信息，使用上下文信息融合模块，按照一定比例α放大RRoILearner给出的旋转候选框，具体的计算公式为w'=αw,h'=αh，其中：w和h分别为旋转候选框原始的宽和高；w'和h'分别为放大后的宽和高；α为可调节的超参数．融合模块的放大操作如图5所示．10.13245/j.hust.221113.F005图5旋转目标上下文信息融合模块2.1.4　基于卷积块注意力模块(CBAM)的自适应特征选择模块对不同尺度的特征图使用旋转兴趣区域对齐(RRoIAlign)提取RoI特征，并将不同尺度RoI特征进行堆叠，使用基于注意力机制的CBAM来进行自适应特征选择，使最终获得的RRoI特征更加准确，最后对CBAM的输出特征进行降维，降低模型的复杂度．自适应特征选择的模块设计如图6所示．10.13245/j.hust.221113.F006图6基于CBAM的自适应特征选择模块2.2　跨模态域自适应的舰船检测与识别方法跨模态域自适应的舰船检测与识别方法在图像级和实例级两个层次进行特征对齐．图像全局特征对齐模块用于整幅图像的特征对齐，实例级特征对齐用于舰船目标实例的特征对齐．全局特征对齐模块采用强对齐和弱对齐结合的特征对齐方式[19]．对于表达较多语义信息的深层特征，采用弱对齐的方式实现相似样本的对齐，而不强调整体差异较大的样本的对齐，弱对齐可以采用焦点损失(focal loss)[20]．以下为弱对齐的具体步骤．深层特征图PS4和PT4经过梯度反转层和域判别器Dg后，得到域标签，然后按照公式计算弱对齐损失，即LweakS=-1nS∑i=1nS(1-Dg(P3S))γlog(Dg(P3S))；(1)LweakT=-1nT∑i=1nT(Dg(P3T))γlog(1-Dg(P3T))；(2)Lweak=(LweakS+LweakT)/2，(3)式中：LweakS为源域特征的弱对齐损失；LweakT为目标域特征的弱对齐损失；Lweak为弱对齐模块总损失；nS为源域样本数量；nT为目标域样本数量；γ=3为幂次参数．浅层特征(这里指的是P3)更多的是在表达局部信息，适合使用强对齐，强对齐模块使用的是均方误差(MSE)．浅层特征PS3和PT3经过梯度反转层和域判别器Dl之后，得到和输入大小相同的特征图，然后计算强对齐损失Lstrong，即：LstrongS=1nSHW∑i=1nS∑w=1W∑h=1HDl(P2S)wh2；(4)LstrongT=1nTHW∑i=1nT∑w=1W∑h=1H(1-Dl(P2T)wh)2；(5)Lstrong=(LstrongS+LstrongT)/2．(6)全局特征对齐模块总损失Lglobal为Lglobal=Lstrong+Lweak．舰船目标检测模块的作用在于获取图像中舰船目标的位置信息，实例级特征对齐模块则用于对齐源域舰船目标切片特征和目标域舰船目标切片特征．实例级特征对齐模块如图7所示，图中：Zsl为来自FPN输出的l个尺度层的特征图；Ys为图像的真实类别标签；Y¯s和Y¯t为网络预测得到的类别标签．10.13245/j.hust.221113.F007图7实例级特征对齐模块根据输入图像和输入标注信息(源域标注信息包括位置信息和类别信息，目标域标注信息只包括位置信息)，可以得到舰船目标在特征图上的位置，然后利用RRoIAlign[12]对输入特征图上的舰船目标区域进行池化，可以得到相同大小、相同通道数的输出特征图．对于每一个舰船目标切片，均会得到一个256维的特征向量．最后使用度量学习和对抗结合的方式实现源域特征和目标域特征对齐．度量学习采用局部最大均值差异(LMMD)[21]来衡量源域特征和目标域特征分布的差异，其定义为d̂H=1C∑c=1C∑xis∈Dswiscϕ(xis)-∑xjt∈Dtwjtcϕ(xjt)2；(7)wic=yic∑(xj,yj)∈Dyjc-1，(8)式中：C为类别数；wisc和wjtc为权重；xis为源域Ds的输入；xjt为目标域Dt的输入；ϕ(∙)为映射函数；yjc为样本标签．域自适应模型中源域数据标签使用的是真实标签，目标域数据标签使用的是网络预测得到的标签，将式(7)和式(8)展开可得到度量学习损失为dL(p,q)=1C∑c=1C∑i=1ns ∑j=1nswiscwjsck(zisl,zjsl)+∑i=1nt ∑j=1ntwitcwjtck(zitl,zjtl)-2∑i=1ns ∑j=1ntwiscwjtck(zisl,zjtl),式中：k∙为核函数，这里使用的核函数是高斯核函数；ns为源域样本数量；nt为目标域样本数量．基于对抗的特征对齐则采用常规的加入域判别器的方法，域判别器详细结构如图8所示，图中：GRL为梯度反转层；sigmoid为激活函数(1+e-x)-1．10.13245/j.hust.221113.F008图8域判别器结构域判别器损失为Ld=1ns∑i=1nSL(g(xis),0+1nt∑j=1ntL(g(xjt),1．即设置源域标签为0，目标域标签为1，域判别损失就是域判别网络给出的预测域标签和真实域标签的交叉熵损失．由于使用了梯度反转层，因此算法可以使用端到端的训练方式．实例级特征对齐模块的损失函数为Lcls=1ns∑i=1nSL(f(xis),yis)+λL∑l∈Ld̂L(p,q)+λ2Ld，式中：等号右边第一项为舰船目标分类损失，第二项为度量学习的损失，代表源域舰船目标特征分布和目标域舰船目标特征分布的距离，第三项为域判别器的损失；λ1和λ2为平衡各项损失的系数，分别取λ1=1和λ2=1．本研究提出的端到端的SAR图像舰船目标检测识别算法的总损失为L=Lglobal+α1Ldet+α2Lcls，式中：Ldet为舰船目标检测模块的损失；α1和α2为平衡各项损失的系数，分别取α1=1和α2=1．3 近岸SAR舰船检测数据集和评测 实验3.1　近岸SAR舰船检测数据集为了评测所提出算法的有效性，建立了高分辨率SAR舰船检测数据集(HRSSRD)．HRSSRD数据集的整体结构如图9所示，训练集包含光学和SAR两种模态的图像，而测试集只有SAR图像数据．所有样本带有旋转框的位置标注，其中训练集光学图像样本还带有舰船的军民属性标签．10.13245/j.hust.221113.F009图9HRSSRD数据集整体结构图3.2　评测实验在实验中，网络训练均加载Resnet50在DOTA数据集上的预训练权重．训练使用带动量的SGD优化器，初始学习率设置为0.01，动量为0.9，权重衰减为1×10-4，共训练24个轮次．实验中采用召回率、精确率和平均精确率均值(mAP)[22]作为评价算法性能的指标．计算过程中统一使用T=0.5作为交并比(IoU)判定阈值．3.2.1　针对改进RoITransformer的实验在改进RoITransformer方法中提出了四项改进，分别为CADFPN、背景抑制模块、上下文信息融合和自适应特征选择．消融实验结果如表1所示，表中ρAP为平均精度(AP)分数[22]．可以看出：每种模块对于基准模型都有较好的性能提升，其中CADFPN的提升最为明显，达到了86.67%．10.13245/j.hust.221113.T001表1各模板有效性实验实验模型ρAP/%RoITransformer[12]80.66RoITransformer+DFPN84.80RoITransformer+CADFPN86.67RoITransformer+Attention81.80RoITransformer+CBAM85.04为了验证本研究提出的各模块组合的有效性，以RoITransformer为基准，在其基础上逐个添加提出的各个模块，实验结果如表2所示，表中的基准指的是当α=1.4时的RoITransformer．从表2中可以看出：将提出的各模块进行组合能够进一步提升近岸SAR图像舰船目标检测性能，加入提出的所有模块的RoITransformer算法在近岸测试集上的检测精度达到了90.35%，与原始RoITransformer相比，检测精度提升了11.57%，充分说明了算法的有效性．10.13245/j.hust.221113.T002表2各模块组合实验结果实验模型ρAP/%RoITransformer[12]，α=1.078.78RoITransformer，α=1.4(基准)80.66基准+CADFPN86.67基准+CADFPN+Attention87.41基准+CADFPN+Attention+CBAM90.35为了进一步证明提出算法的有效性，在ISSDD数据集上训练并测试了多种旋转框目标检测算法．实验结果如表3所示，表中ρmAP为mAP分数．可以看出：与当前主流的基于深度学习的旋转框目标检测算法相比，本研究提出的算法有较大的性能提升．当前主流的基于深度学习的旋转框目标检测算法在近岸SAR图像舰船目标检测任务中出现了精确率较低的问题，说明给出的检测结果中包含了大量的虚假目标，而提出的算法则在兼顾召回率的同时，尽可能降低虚警率，使检测精度大幅提升．10.13245/j.hust.221113.T003表3ISSDD数据集对比实验结果实验模型准确率召回率ρmAPR2CNN[9]54.982.174.06S2A-Net[10]45.183.475.94R3Det[11]56.093.179.26RoITransformer[12]60.587.478.78本研究算法77.094.590.35%3.2.2　端到端SAR舰船检测识别方法的实验为了验证算法的有效性，实验在训练中使用了带有舰船目标位置标注和类别标注的可见光图像，还使用了带有舰船目标位置标注但是没有类别标注的SAR图像．对于一些比较小或分辨率比较低的目标，同时使用实例级特征对齐和全局特征对齐能有效识别出所有军船，并减少错误分类的现象．实验结果如表4所示，可以看出：在无须使用SAR类别标签的条件下，同时使用实例级特征对齐和全局特征对齐取得了最好的舰船检测识别结果，检测精度达到88.5%．10.13245/j.hust.221113.T004表4端到端SAR舰船检测识别方法实验结果实验模型目标总数召回目标数分类正确目标数ρmAP/%基准模型[12]28026515573.0全局对齐28026717280.1实例对齐28026919086.3端到端算法28026920288.54 结语本研究提出一种端到端的基于跨模态域自适应的SAR图像舰船目标检测识别方法，舰船检测方法以RoITransformer作为基线模型，加入多尺度特征融合的RPN网络和背景抑制模块，增强模型对不同尺寸舰船目标识别的鲁棒性，并降低背景噪声的干扰，从而提升了模型的召回能力．将跨模态域自适应模块嵌入到舰船检测框架中，在无需SAR类别标注的条件下进行端到端训练，实现跨模态的知识迁移．在自建的近岸区域高分辨率SAR舰船数据集上的实验结果表明：所提出的端到端方法在舰船检测和军民识别任务上具有良好的性能，能在未来遥感观测中获取更为丰富的舰船航行信息，为海洋监测的发展提供更为广阔的应用前景．