肝脏血管的精准分割对肝脏疾病术前规划、肝活检和肝栓塞手术提供十分重要的辅助信息[1-2]．通过对人体多次扫描并重建横截面影像，可以获得计算机断层扫描(CT)三维影像．基于深度学习的分割方法须要使用大量有标签CT数据训练模型[3]．由于分割标签须要经验丰富的影像科医生利用领域知识进行勾画，因此增加了时间和人力成本．若标签质量较低或有标签数据量过少，则会对深度学习性能产生巨大影响．因此，肝脏血管的自动分割仍然具有很强的挑战性，开发出较为准确的肝脏血管分割方法是亟待解决的问题．目前，一些工作已经将半监督方法应用于医学图像分割任务．文献[4]提出不确定性校正和金字塔一致性(URPC)的半监督学习框架，不确定性校正模块引入不确定性估计以解决标注数据和非标注数据之间的差异，而金字塔一致性则利用多尺度特征进行自监督训练．文献[5]引入插值一致性(ICT)，对无标签数据生成虚拟样本，使用虚拟样本与真实样本之间的插值形式提供更多的训练信号．文献[6]通过基于像素预测熵的损失，提出了两种互补的方法，采用熵损失和对抗损失(语义分割中域适应的对抗性熵最小化，Advent)．文献[7]采用形状感知半监督框架(SASSNet)引入判别器使得有标签数据和无标签数据集上的形状感知语义变形图(SDM)预测保持一致．文献[8]提出一种不确定性自集成模型(UA-MT)，用于筛选具有低不确定性的样本．文献[9]提出相互校正框架(MCF)引入两个不同的子网络，利用它们之间的差异来纠正模型的认知偏差．然而，上述方法中的判别器仅用于区分由有标签和无标签数据生成的结果，只利用了关于数据来源的辅助信息，不能促使分割网络生成更真实和准确的分割结果．为此，本研究提出一种基于全局和局部对比的半监督肝脏血管分割方法．首先使用Mean Teacher[10]模型作为框架并引入对比学习方法，在高维特征上进行全局对比，获取更丰富的全局上下文信息；同时，在解码器输出上进行局部对比，提取语义分割中的局部像素级特征．此外，通过分布差异最小化方法对抗训练使两个网络的分割结果更加一致，拉近数据分布的距离，提高模型的泛化性能．通过在公开3Dircadb数据集上验证，本研究算法取得了最佳性能．1 研究方法本研究提出一种基于全局-局部对比的肝脏血管分割框架，如图1所示．首先通过不同数据增强方法处理输入数据并分别输入到Mean Teacher模型中．对编码器输出部分使用全局对比损失来捕捉更丰富的全局上下文信息；然后引入分布差异最小化方法，通过对抗训练对齐有标签数据和无标签数据的分布；最后对解码器输出进行可逆操作tN-1后进行局部对比，提取语义分割中的局部像素级特征．10.13245/j.hust.240478.F001图1本研究方法整体框架1.1　全局-局部对比学习由于对比学习最初主要应用于分类任务，对于现存分割任务大多只关注局部对比，忽略语义分割中的全局特征，因此本研究进行全局和局部对比．1.1.1　构建样本对对比学习将同一个样本经过不同数据增强方法增强后作为正样本，其余数据增强样本作为负样本[11]，该方法可以使模型更好地学习数据的共性和差异性．采用数据增强方法，如随机裁剪、旋转、翻转、随机弹性变形及对比度变化．如图1所示，数据x分别经过数据增强方法t1和t2之后输入到初始化不同的分割网络中．经过低维映射ga(∙)(a∈{1,2,3})分别生成编码器和整体网络产生的特征量zkt∈Rc×h×w×d，t∈{i,j}，k∈{g,l}，其中：g表示全局；l表示局部．1.1.2　低维映射简单的对比学习视觉表示框架(SimCLR)[11]提出低维映射方法，通过使用多层感知器(MLP)代替传统全连接层，并使用两个线性层构成的神经网络进行低维映射．将输入的高维向量投影到较低维度空间，形成新的特征表示．该特征表示比原有向量更加紧凑．总的来说，使用SimCLR提出投影头方法进行低维映射，既可以有效减少计算量和内存损耗，又可以保留更多上下文信息．1.1.3　对比损失模型学习到的特征体积当划分成块时，同一图像中的两个体素经过数据增强后对应的特征应该是相似的，而不同位置或者是不同图像的体素则应该在表征空间中保持较远的距离．对比学习损失的计算即最大化正样本之间的相似度，最小化正样本与负样本之间的相似度的过程．将每个编码向量和它的噪声向量视为一个二元组，并对该二元组计算相似度得分，正样本的相似度得分越高越好，反之负样本的相似得分越低越好．对比损失为Lkc(zki,z¯ki)=-logf(zki,z¯ki)f(zki,z¯ki)+∑zki∈Λ-f(zki,zki)，式中：(zki,z¯ki)为正样本对；(zki,zki)为负样本对；f(⋅,⋅)=exp(sim(⋅,⋅)/τ)，其中，sim(⋅,⋅)为相似函数，τ为温度系数．总的对比损失函数为Lc=Lgc+Llc，其中Lgc和Llc分别为全局对比损失和局部对比损失．1.2　分布差异最小化方法教师模型是学生模型的历史平均，导致它们的分割结果有所差异，因此本研究提出一种分布差异最小化方法，由判别器Discriminator判断分割结果来自哪个网络，并对分割结果求取对抗损失．通过最小化对抗损失，可以拉近教师和学生模型之间的距离，从而增强它们之间的一致性和准确性．分布差异最小化判别器通过４个提取输入分割结果特征的卷积层、激活函数ReLU函数、防止过拟合的随机丢弃操作和降低特征图空间维度的平均池化，得到每个类别的概率分布．在训练过程中，判别器的目标旨在辨别输入来自哪个分割网络，两个分割网络的目标是生成相似的分割结果．判别器利用分布差异最小化方法进行对抗训练，与分割模型相互作用，不断调整判别模型，使其更好区分不同网络分割结果，同时调整模型的参数，减少两个分割网络分割结果之间的分布差异．判别器使用二分类交叉熵损失函数．损失计算式为Ladv=LU(D(S(x˜j);θd),1)+LU(D(T(x˜i);θd),0),式中：S为学生网络；T为教师网络；D为判别网络；θd为判别网络参数；LU采用交叉熵损失．1.3　整体训练损失本研究的总损失表示为Ltotal=Lsup+αLc+βLadv，其中：Lsup为监督损失，采用交叉熵损失和Dice损失的线性组合；α和β为用于平衡三个损失项的加权系数，α取0.1，β使用高斯函数生成递增的权重系数[12]．2 实验和分析2.1　数据集为了评估本研究提出方法性能，实验采用公开肝脏血管数据集3Dircadb中的3d-ircadb-01数据集．该数据集已经广泛应用于肝脏血管分割任务[13-14]．本研究选择14个受体作为训练集，其余为测试集，训练和测试均采用相同数据增强方法防止过拟合．2.2　实验设置本研究所有实验均在Intel Core i9 9900X @ 3.5 GHz，128 GiB RTX，NVIDIA 2080 Ti GPU(22 GiB 内存)的工作站上完成．使用3D U-Net[15]作为主干网络，Mean Teacher作为实验的网络框架，以下用MT指代Mean Teacher方法[10]，batch size为4．通过学习率为0.01的SGD优化算法加速模型收敛．2.3　评价指标评价指标包括Dice系数、Jaccard系数、平均表面距离(ASD)和95%豪斯多夫距离(95HD)．Dice系数和Jaccard系数越大表明分割结果与真实标签越相似，ASD和95HD越小表明分割结果越接近真实标签．2.4　结果与分析实验采取两种数据划分，14例样本作为训练集，分别用3例有标签和11例无标签数据(20%有标签数据)、6例有标签和8例无标签数据(40%有标签数据)评估分割模型．2.4.1　消融实验为了验证本研究方法中局部对比损失、全局对比损失和判别损失的有效性，进行了消融实验，实验结果总结如表1所示．表1表明：随着分布差异最小化方法、全局对比、局部对比及全局-局部对比的逐步引入，性能逐渐提升，验证了每个关键组件的有效性．全局对比捕捉特征的全局一致性，获取更丰富的全局上下文信息；而局部对比则能够获取更准确的局部像素级特征，提升了分割模型的性能和准确性．通过引入分布差异最小化方法，分割效果进一步改善，模型的泛化性能也有明显提升，证明了对抗损失、局部对比损失和全局对比损失在提升肝脏血管分割性能方面的重要作用．10.13245/j.hust.240478.T001表1不同方法的消融实验结果方法有标签无标签Dice系数/%Jaccard系数/%ASD/mm95HD/mmMT31154.8637.755.8225.58MT+分布差异最小化31157.3639.594.6921.48MT+全局对比31155.7238.165.7823.46MT+局部对比31156.1539.035.4323.27MT+全局-局部对比31156.6239.445.3223.24本研究方法31158.7541.904.5820.39MT6870.3955.793.2213.81MT+分布差异最小化6873.1656.662.7813.61MT+全局对比6871.3355.653.0113.71MT+局部对比6872.3456.172.9413.65MT+全局-局部对比6872.4556.342.9213.61本研究方法6874.3659.732.6513.572.4.2　对比实验将本研究方法与其他半监督医学图像分割方法在分别20%和40%有标签数据的3Dircadb肝脏血管分割数据集上进行对比，如表2和表3所示．10.13245/j.hust.240478.T002表2不同方法在20%有标签数据划分上结果对比对比方法有标签无标签Dice系数/%Jaccard系数/%ASD/mm95HD/mm3D U-Net[15]3051.9535.475.7332.89V-Net[16]3050.5033.477.0627.25Mean Teacher[10]31154.8637.755.8225.58Advent[6]31151.0634.807.0930.79URPC[4]31156.0339.676.0222.87ICT[5]31153.2236.817.3028.81SASSNet[7]31153.7037.843.4426.32UA-MT[8]31154.6138.265.3722.90MCF[9]31154.9738.905.0323.47本研究31158.7541.904.5820.3910.13245/j.hust.240478.T003表3不同方法在40%有标签数据划分上结果对比对比方法有标签无标签Dice系数/%Jaccard系数/%ASD/mm95HD/mm3D U-Net[15]14070.4354.722.3110.48V-Net[16]14069.0252.672.9312.843D U-Net[15]6068.1153.163.5215.88V-Net[16]6068.6853.843.7914.66Mean Teacher[10]6870.3955.793.2213.81Advent[6]6869.2453.243.4114.69URPC[4]6870.0654.093.0413.74ICT[5]6870.1654.343.3914.45SASSNet[7]6868.2951.482.0514.53UA-MT[8]6867.0150.754.4619.09MCF[9]6869.3653.653.0714.28本研究6874.3659.732.6513.57可以看出：与Advent[6]和URPC[4]相比，本研究提出的方法在各个指标上都有明显的提升，显示出本研究使用全局-局部对比方法能够提升模型分割性能．将本研究提出的方法与引入判别器的半监督分割方法SASSNet[7]和UA-MT[8]进行对比，本研究方法在结果上有较为突出的优势，显示出了所提出的分布差异最小化方法的优越性能．实验结果表明本研究方法在各项指标上优于基线网络及其他半监督分割方法．此外，将本研究方法与几种较先进分割方法的3D分割结果的可视化对比，如图2所示，图中：第1行黄色圈出误分割部分；第2和3行为3D分割效果．可以看出：本研究方法在分割肝脏血管方面表现出色．与真实标签相比，本研究方法展现了更高的重叠性，同时可以预测更完整的肝脏血管形状和更多细节，进一步验证了本研究提出的3D半监督医学影像分割方法的有效性．10.13245/j.hust.240478.F002图2不同方法在3d-ircadb-01数据集分割结果对比图3 结语本研究提出一种基于全局和局部对比损失的半监督肝脏血管分割方法．该方法结合了对比学习和半监督学习方法的优点，设计分布差异最小化方法进行对抗训练，拉近数据分布距离减少计算量，并通过全局对比损失获得更多的空间上下文信息，借助少量有标签数据实现了出色的分割结果．实验结果表明：相较于其他先进的半监督方法，本方法有更好的精确度和性能鲁棒性，为肝脏血管分割提供了一种有效的半监督方法，具有实际应用价值．未来的研究将着力改进主干网络，增强捕获细小特征的能力，从而进一步提升肝脏血管的分割效果．