超声检查可以较好识别人体软细胞，既用于手术计划，又用于手术过程中实时成像，是临床分析和医疗干预的最重要的证据来源之一[1]．由于同一疾病病灶边缘和形状存在很大差异，因此增加了分割难度[2]．乳腺超声图像的分割可以帮助对乳腺肿瘤进行定性和定位，对乳腺癌的临床预防有很重要的意义[3]．甲状腺结节如果早期被检测到，那么治愈的成功率会大大提高．因此，甲状腺超声方法被人们广泛使用[4]．且大多数超声图像只包含一个病灶，使得在病灶定位[5]、肿瘤可视化[6]和手术规划导航[7]等方面还有很大的挑战性．针对上述问题，超声图像分割成为此领域的研究热点．经典的超声图像分割大致可分为基于阈值的方法[8-9]，基于数学形态学方法和基于边缘的算法[10-11]和基于区域的分割算法[12-13]．常见的形态学操作方法主要包括开闭运算、腐蚀运算、膨胀运算、顶帽变换和底帽变换等[14-16]．概括来说，基于传统机器学习方法的图像分割模型，其优点是运行速率快，但是还存在缺乏自动提取特征的能力，分割的准确度等指标相对较低等缺点．当前，将深度学习模型应用到图像分割领域是研究热点．文献[17]首次提出经典的基于编解码结构的U形全卷积神经网络模型，称为UNet．文献[18]首次系统评价了不同FCN变异体对乳腺病变分割的影响．文献[19]中的UNet++通过嵌套，密集地跳跃连接，获得不同深度和层次的特征．文献[20]提出使用注意力门模型，能够阻碍与任务无关特征的模型学习．文献[21]提出全方位跳跃连接，文献[22]采用一种基于卷积多层感知器的分割网络．虽然这些方法在准确性和泛化能力上比传统方法有了较大的提高，但是还存在着若干不足．为克服上述缺点，本研究在UNet基础上引入膨胀率注意门和多尺度卷积模块，构建新的DRA-UNet模型，并提出基于此模型的超声图像分割方法．膨胀率注意门模块由三个不同膨胀率的空洞卷积组成，可以得到更大的感受野，且不会损失太多的分辨率．并且使用Softmax函数重点关注有价值的区域，多尺度卷积模块由分组卷积和逐点卷积[24-25]组成，用于从高层特征中收集图像的语义和位置信息，使得编码器更加强大．最后，使用乳腺超声图像数据集(BUSI)和甲状腺超声数据集(DDTI)证明其成功提高了超声图像分割性能．1 DRAU-Net模型1.1　总体结构如图1所示，本网络主要包括四个下采样，四个上采样和四个跳跃连接．在编码器阶段，通过普通卷积块提取超声图像的高级语义信息，并将特征图输入到多尺度卷积模块，用于得到超声图像中高层特征图的空间和位置信息，抑制无关特征并强调有价值的特征．在解码器阶段，将来自膨胀率注意门模块的特征与相应的上采样特征拼接，将像素级超声图像信息传递到整个区域，实现更加精确的定位．10.13245/j.hust.240423.F001图1DRAU-Net网络模型结构图输入图像I∈RH×W×3，利用编码器主干提取四个特征．每个编码器主干都由两个普通卷积块和一个向下采样操作组成．每个普通卷积块都配备卷积层，批量归一化层和激活函数．核大小为3，步长为1，填充度为1．然后，将得到的最后一个特征图(X4)映射到多个多尺度卷积层组成的多尺度卷积模块中．解码器主干由两个普通卷积块和一个上采样块组成．具体地说，上采样块配备有上采样层、卷积层、批归一化层和激活函数．采用双线性插值对特征映射进行上采样．提出的膨胀率注意门模块与跳跃连接相结合，将编码器的像素特征映射到解码器中，更好获取特征信息．1.2　膨胀率注意门模块本模块的具体信息如图2所示，使用空洞卷积来解决下采样过程中带来的图像分辨率降低、信息丢失等问题．空洞卷积通过引入膨胀率这一参数使得同样尺寸的卷积核获得更大的感受野，但不会损失太多的分辨率．相应地，也可以使得在相同感受野大小的前提下，空洞卷积比普通卷积的参数量更少．10.13245/j.hust.240423.F002图2膨胀率注意门结构图从图2可知：从输入图像中捕获不同尺度的感受野，不仅可以提高网络对不同输入的适应性，而且可以更好表征总线图像．特征图f在经过膨胀率分别为1，3，5的空洞卷积后，通过另一个逐点卷积得到特征图，然后该特征图经过Softmax函数得到的值分别与膨胀率为1，3，5的空洞卷积相乘，突出选择有价值的特征．该过程定义为fconcat=ConcatBNPointwiseConv1(f)BN{PointwiseConv3(f)}BN{PointwiseConv5(f)}；fs=Votewise{Concat{fi(σ(Pointwise(fc)))}}，式中：Votewise表示逐点卷积；PointwiseConv1，PointwiseConv3和PointwiseConv5分别表示膨胀率为1，3和5的空洞卷积；Concat表示拼接；fi为膨胀率为i的空洞卷积特征图，其中i=1，3，5；fc为串联特征；fs为模块的输出特征；σ为Softmax函数．图3从左到右依次为卷积核为1和3的空洞卷积，左侧卷积核的感受野为3×3，即普通的卷积；右侧卷积核的感受野为11×11．可以看出：空洞卷积可以任意扩大感受野，且无须引入额外参数[2]．10.13245/j.hust.240423.F003图3空洞卷积示意图1.3　多尺度卷积模块单个多尺度卷积模块层由分组卷积和逐点卷积组成．分组卷积最大的优势是使得参数量降低，而且模型效果比标准的二维卷积更好．因为分组卷积的设计可以使相邻层滤波后处理的对角的可靠性提高，同时可以使训练参数减少，更不容易被拟合，从而可以较好地学习表示．分组卷积的表示如图4所示(使用的是被拆分成两个组的分组卷积)，图中：H，W和C分别为标准二维卷积下输入特征图的高、宽和通道数；h和w分别为被拆分的两个滤 波器下的高和宽；H'，W'和C'分别为将通道堆叠后得到的特征图的高、宽和通道数．首先每个组包含一半通道数量，每个通道数为传统二维卷积的一半．每个组作用于原来对应通道数的一半，然后每个组对应输出一半通道的特征．最后将通道堆叠得到了最终通道[27-28]．10.13245/j.hust.240423.F004图4分组卷积示意图该ConvMulti层中每个卷积都有一个激活函数和批归一化，定义为f1'=BN(σ1{PointwiseConv(fl-1)}+fl-1)；fl=BN(σ1{PointwiseConv(f1')})，式中：fl为ConvMulti块输出特征映射；fl-1为下采样后得到的特征图；σ1为Relu激活函数．由于ConvMulti模块中所有层的特征映射保持相同的分辨率和大小，本研究直接对ConvMulti块提取的特征进行上采样．2 实验与结果分析2.1　实验设置为了验证本方法的有效性和鲁棒性，使用BUSI数据集进行消融实验，与UNet，UNet++，Attention UNet，UNet3+，TransUnet和UNeXt几种经典分割方法进行比较．数据集利用乳腺超声图像数据集和甲状腺超声数据集对所提出的方法进行评价．BUSI使用良性和恶性图像，共647个图像调整到256×256的分辨率．使用PyTorch框架开发该网络．使用二进制交叉熵和骰子损失来训练该网络．预测y'与目标y之间的损失L表示为L=0.5BCE(y',y)+Dice(y',y)，式中：BCE和Dice分别为两种损失函数；y为目标函数；y'为预测函数．实验采用Adam优化器对网络进行优化，初始学习率为0.000 1，动量为0.9．批次大小设置为8，迭代轮次为300．数据集随机分成3份，80%用于训练，10%用于验证，10%用于测试．并将所有的图片大小调整为256×256，并进行随机旋转和翻转以进行数据增强．采用了5个常用的评价指标，即交并比、召回率、精确率、F1分数和准确率来评价模型的性能．交并比是预测分割和标签之间的重叠区域除以预测分割和标签之间的联合区域，重点注意分割对象之间的一致性；召回率可以判断模型是否能够准确地预测出正例；精确率是指在预测为真实样本里面有哪几个确实为真实；F1分数由精确率和召回率两个指标构成；准确率是指预测正确的样本数与样本数总数之比[29-30]．2.2　实验结果为了验证所提出网络的性能，比较了六种经典网络模型，即UNet[17]，UNet++[19]，AttentionU-Net[20]，UNet3+[21]，UNext[22]和TransUnet[23]．此外，对ConvMulti的深度和核大小也进行了比较，最终得出深度为7的ConvMulti块和核大小为7的ConvMulti块可以达到最佳性能．从表1中可以看出：所提出的模型在BUSI数据集的交并比得分比Attention U-Net模型高1.8%，比UNeXt高5.4%；F1分数比Attention U-Net高1.73%，比UNext高4.17%；准确率比UNet高0.73%，达到了97.47%的准确率．从表2中可以看出：所提出的模型在DDTI数据集的交并比得分比UNext高1.06%，准确率比UNext高0.42%．结果证明本模型具有较好的学习能力．10.13245/j.hust.240423.T001表1BUSI数据集下不同网络模型分割算法的评价结果网络模型交并比召回率精确率F1分数准确率UNet68.49±0.1880.57±2.2482.52±2.3480.88±0.0796.74±0.08Attention U-Net70.38±1.4881.44±1.6783.66±0.6182.16±0.9796.99±0.12UNet++69.49±0.1581.27±1.3681.87±1.0781.15±1.2596.34±0.22UNet3+65.39±0.1277.54±2.0280.66±2.5078.22±0.0795.96±0.09TransUnet66.75±1.5078.65±4.3281.33±2.7179.46±1.0596.24±0.38UNext66.76±0.0577.25±1.4383.49±1.2879.72±0.1296.60±0.05DRA-UNet72.25±0.0982.37±0.6983.81±1.2583.89±0.5697.47±0.37%10.13245/j.hust.240423.T002表2DDTI数据集下不同网络模型分割算法的评价结果网络模型交并比召回率精确率F1分数准确率UNet83.51±0.1090.15±0.9192.00±0.8390.97±0.0599.21±0.01Attention U-Net83.90±0.1490.87±0.5891.71±0.4191.21±0.0899.22±0.01UNet++84.23±0.3390.59±0.3592.34±0.3291.40±0.2099.22±0.03UNet3+83.60±0.1490.21±0.9092.02±0.7891.01±0.0799.18±0.01TransUnet82.75±0.2589.51±0.1991.66±0.2390.47±0.1399.13±0.02UNext81.19±0.1888.41±1.1390.86±1.1789.50±0.0799.05±0.02DRA-UNet82.25±0.0791.34±0.8991.61±0.7590.88±0.7699.47±0.57%图5和图6给出了不同分割方法在乳腺超声图像数据集和甲状腺超声图像数据集上的可视化分割结果，图中红色曲线为病灶地面真实值的边界．从图5和图6可以看到：与其他方法的分割结果相比，本方法比UNet和UNet++更加关注于病灶区域，抑制了不重要的特征区域，分割结果较UNet更加精确，而且对于边缘不规则、较小的病灶，本模型较Attention U-Net可以更加关注到细小的边缘．总体来讲，DRA-UNet不仅有效缓解了肿瘤大小、周围组织和级联的扰动，而且获得了更接近地面真实掩模的分割结果．综合评价结果和视觉效果表明：本方法在乳腺病灶分割和甲状腺病灶分割中以较少的漏检和误检达到了较佳的分割效果．10.13245/j.hust.240423.F005图5乳腺超声数据集分割结果10.13245/j.hust.240423.F006图6甲状腺超声数据集分割结果此外，为了评估不同网络组件的性能，在BUSI数据集上还进行了消融实验．消融实验以UNet为基准网络，如表3所示．从表3中可以看到：引入ConvMulti模块后，IoU得分较原基础10.13245/j.hust.240423.T003表3BUSI数据集消融实验结果网络模型交并比F1分数准确率UNet68.49±0.1880.88±0.0796.74±0.08UNet+ConvMulti69.86±0.2781.56±0.0996.95±0.06UNet+注意力门70.56±0.0281.94±0.0397.04±0.23UNet+ConvMulti+注意力门72.25±0.0983.89±0.5697.47±0.37%UNet网络提高了1.37%，膨胀率注意门模块的引入也很好地提升了原UNet网络的性能，且F1分数较原基础UNet网络提高了0.68%．表3中不同模块的实验结果表明所设计的这些模块都起到了提高网络性能的作用．3 结语针对普通卷积运算无法关注重点区域、编码器法有效提取全局上下文信息、简单的跳跃连接无法捕获显著特征等缺点，在UNet模型基础上，构建了新的DRA-UNet模型，并提出了基于此模型的超声图像分割方法．本方法在U型网络结构中引入了ConvMulti模块，构建了一个获取全局上下文信息的强编码器，并提出使用膨胀率注意门模块捕获有价值的特征，以实现更高效的跳跃连接．利用乳腺超声数据集(BUSI)和甲状腺超声数据集(DDTI)与六种当前先进的分割方法进行比较，实验结果表明：所提出的方法性能优越，能够得到更好的分割结果．未来将从新的深度学习理论中汲取更多知识和灵感，继续优化所提出的模型和分割方法，如：深入探讨分析膨胀率注意门的膨胀率的大小对模型性能的影响，进一步提高分割精度，并结合病灶的生理解剖结构来提高模型的可解释性．