乳腺癌是女性最常见的浸润性癌症，也是继肺癌之后导致女性死亡的第二大癌症[1]．对乳腺癌病理图像的诊断须要影像医生对病理图像目视阅片并给出诊断结果，但是两个医生的诊断一致性并不高，大约75%[2]．因此有必要运用计算机来进行乳腺病理图像的诊断，既可以节约人力物力，还可以提高诊断精度．应用计算机辅助诊断技术进行乳腺癌病理图像的分类方法研究主要分为两种．第一种方法先手工提取图像的特征，再利用提取的特征训练分类器进行分类．文献[3]提出了一种基于一类核主成分分析(KPCA)模型集成的医学图像分类方案，对乳腺癌组织病理图像进行良恶性分类．为应对现有乳腺癌病理图像数据集不规范、图像数量少的问题，文献[4]收集并公开了乳腺癌病理图像数据集BreaKHis，并利用6种特征提取方法进行病理图像特征的提取，采用4种传统机器学习分类器进行分类，共得到24组实验结果．第二种方法是基于深度学习的分类方法．文献[5]利用卷积神经网络(CNN)模型InceptionV3将病理图像分为良性或恶性，采用四叉树的数据增强方法来提高分类精度，并分析了不同融合算法对于分类结果的影响．文献[6]提出了一种基于图像块提取的CNN训练方法，并结合模型对这些块的输出结果进行最终分类，在BreaKHis数据集上进行良恶性分类．文献[7]将CNN模型AlexNet的最后3个全连接层提取的特征进行相互组合，通过组合特征的方法将乳腺癌组织病理图像分为良性和恶性两类．文献[8]提出了一种多任务CNN模型结构，将CNN模型修改为2个输出分支，分支1用于病理图像的良性或恶性分类，分支2用于图像的放大系数分类．文献[9]比较了传统机器学习和卷积神经网络在乳腺癌病理图像上的分类性能，证明了卷积神经网络的分类效果较好．文献[10]基于卷积神经网络提出了结构化深度学习模型，并首次在BreaKHis数据集上将病理图像分为良性和恶性的子类，即多分类．上述研究仅将二分类与多分类独立进行，没有考虑到二者之间的相互促进作用．本研究提出了一种基于卷积神经网络的多任务模型来对乳腺癌病理图像进行分类，可同时进行病理图像的二分类和多分类，并进一步提高了分类性能．1 数据集BreaKHis数据集是文献[4]公开发布的数据集，目前一共包含7 909张图片，分为良性(B)和恶性肿瘤(M)，由四个放大系数组成，即40，100，200和400倍．良性和恶性肿瘤在显微镜下可根据肿瘤细胞的不同分为不同类型．该数据集目前包含四种不同组织学类型的良性乳腺肿瘤，即腺瘤(A)、纤维腺瘤(F)、叶状肿瘤(PT)和管状腺瘤(TA)；以及四种恶性肿瘤(乳腺癌)，即导管癌(DC)、小叶癌(LC)、黏液癌(MC)和乳突癌(PC)．表1显示了各类乳腺癌的组织病理学图像数量．图1展示了放大系数为40倍的乳腺肿瘤良性(图3(a)和(b))和恶性(图3(c)和(d))的图像各两例．10.13245/j.hust.210810.T001表1各类乳腺癌的组织病理学图像数量类别子类放大系数40100200400BA114113111106F253260264237TA149150140130PT109121108115MDC864903896788LC156170163137MC205222196169PC14514213513810.13245/j.hust.210810.F001图1乳腺病理图像10.13245/j.hust.210810.F002图2多任务模型结构10.13245/j.hust.210810.F003图3分类层结构2 模型方法2.1　模型结构目前，一些常用的卷积神经网络模型，如VGG[11]和ResNet[12]，在图像识别方面取得了出色的成绩．识别某些数据集时，基于这些成熟的模型构建模型更方便．卷积神经网络模型通过层层叠加对输入图片进行特征的提取，不同的任务可以共用提取到的特征．为了充分利用数据的标签信息以提高病理图像识别精度，本研究基于VGG16模型提出了一种多任务模型结构，修改模型结构为两个分类层，分类层1用于将图像分为良性或恶性，分类层2用于将图像分为良性或恶性的子类，模型结构如图2所示．图中虚线框和X2，X3表示连续的两个或三个模块．特征提取阶段的每个卷积层(ConV)后面都连着批量标准化(BN)[13]和非线性激活函数(ReLU)[14]，以加快收敛学习、避免梯度消失和引入非线性．全连接层参数数目巨大容易导致模型过拟合，为了提高模型性能的同时最小化模型参数，采用1×1卷积层和全局平均池化层(GAP)[15]来替换全连接层(FC)作为分类层．如图3所示(以分类层2为例)，在模型的最后一个池化层之后，连接一个1×1卷积层，使卷积运算输出的特征图个数等于分类数目，然后对特征图进行全局平均池化，得到与分类数相同数量的输出节点，最后使用Softmax函数进行分类．2.2　损失函数模型通过优化损失函数来训练参数，将多任务模型的损失函数L定义为二分类损失函数和多分类损失函数的加权和L=λJBI+(1-λ)JMUT，式中λ和1-λ分别为二分类损失函数JBI和多分类损失函数JMUT的成本权重，取λ=0.5．JBI和JMUT采用交叉熵损失函数，即J(x,y)=-∑iyilog pi(x),式中：pi(x)为输入图像x被模型预测为i类的概率；yi为指示性函数，当预测结果与真值相同时为1，其余为0．2.3　前期处理和数据增强为了避免数据量过少导致模型的过拟合，在训练过程中先对每张图片进行了如下处理，再将处理后的图片送入模型进行训练．a. 缩放，将原始图像进行等比例缩放，让短边等于448；b. 随机采样，缩放后的图像进行随机裁剪(448，448)的区域作为训练数据；c. 随机翻转，对随机裁剪的图像按照50%的概率进行水平翻转；d. 数据标准化，将原始图像数据映射到(-1，1)的范围，其中随机翻转和随机采样作为数据增强的方法仅在训练程序中采用．3 实验首先采用迁移学习[16]的方式初始化模型参数，随后采用ImageNet数据集[17]训练好的参数作为模型的初始参数．初始的学习率为0.01，并且采用学习率衰减措施，每经过十轮训练，学习率乘以0.9；训练轮数为300．BreaKHis数据集被随机分成70%的训练数据和30%的测试数据，其中25%的训练数据被保留并用于交叉验证以选择最佳的模型参数．实验结果都以测试集上的准确率P给出，即P=Nc/Nm，式中：Nc为正确分类的图像总数；Nm为测试集中的图像总数．3.1　实验数据通过数据增强和迁移学习，在二分类上，提出的模型在四个放大系数上分别取得了98.83%，99.52%，98.84%和98.55%的分类准确率；在多分类上，分别取得了94.85%，94.42%，92.26%和92.91%的分类准确率．图4和图5分别给出了二分类和多分类的混淆矩阵．10.13245/j.hust.210810.F004图4二分类混淆矩阵10.13245/j.hust.210810.F005图5多分类混淆矩阵3.2　消融实验为了充分分析模型，进行了消融实验，实验结果如表3所示，表中：模型Single为单任务模型；模型Fc采用全连接层作为分类层．实验结果可以看出：使用一个分类层单独训练二分类和多分类及使用全连接层作为分类层，都可以使分类性能下降．由此可以验证多任务模型和全局平均池化层作为分类层的模型均提高了病理图像的分类准确率．10.13245/j.hust.210810.T002表3消融实验下的分类准确率类别模型40100200400二分类Single98.1797.9397.8696.18Fc98.0197.7698.3497.9本文98.8399.5298.8498.55多分类Single92.3692.5091.2790.09Fc92.8693.4691.7691.27本文94.8594.4292.2692.91%表4给出了采用全连接层和全局平均池化层作为分类层的模型训练时间和参数数量．全局平均池化层作为分类层的模型参数数量为1.47×107，相对全连接层作为分类层的模型参数数量1.17×108，减少了87.5%．当进行模型训练时，全局平均池化层作为分类层的模型平均每轮的训练时间为126.5 s，相对全连接层作为分类层的平均训练时间138.4 s，约减少了8.6%．10.13245/j.hust.210810.T003表4模型训练时间和参数数量分类层指标40100200400全连接层训练时间/s137.4143.6138.9125.8参数数量1.17×108全局平均池化层训练时间/s120.9130.4122.3110.4参数数量1.47×1073.3　模型比较为了验证本研究提出的模型性能，对比了本文模型和VGG16模型的实验结果，如表5所示．实验结果表明本研究模型取得了更好的实验结果．10.13245/j.hust.210810.T004表5与VGG16模型的分类准确率比较类别模型40100200400二分类VGG1697.8497.1397.5395.64本文98.8399.5298.8498.55多分类VGG1692.1987.7285.1784.55本文94.8594.4292.2692.91%4 讨论多任务模型进行乳腺癌病理图像分类相比单任务模型取得了更好的性能，其原因是通多两个分支的训练，可以使不同类别的图片特征尽可能分离．图6(a)和(b)分别为单任务和多任务模型进行多分类的特征可视化图(相同颜色同属一类数据)，由图6可知多任务模型使得不同类别的特征值更加分散．10.13245/j.hust.210810.F006图6特征可视化为了验证模型性能，将本研究实验结果与文献[6-10，18-19]的实验结果进行对比，实验结果均基于CNN网络的模型并在BreaKHis数据集上得出，对比结果如表6所示．其中，文献[9]比较了手工特征的CNN模型的识别精度，为了提高精度，混合了多个CNN模型的分类经过作为最终结果，在二分类上达到了96.2%～98.2%的准确率，在多分类上达到了83.3%～88.2%的准确率．文献[10]基于结构化模型对乳腺癌病理图像进行多分类，提供了四种不同类别的乳腺癌组织病理学图像作为训练模型的输入，在多分类上达到了92.8%～93.9%的准确率．文献[10]还进行了二分类，准确率为94.9%～96.9%．文献[18]将原始图像、手工特征和频域信息组合在一起作为特征图，使用CNN进行良性和恶性分类，获得了94.40%～97.19%的准确率．文献[19]基于注意力模块，使用残差结构建立模型，并使用数据增强技术，获得了95.88%～97.99%的准确率．本文模型在二分类上达到了98.55%～99.52%的准确率，在多分类上达到了92.26%～94.85%的准确率．10.13245/j.hust.210810.T005表6CNN方法的分类准确率比较类别模型放大系数40100200400二分类文献[6]89.6085.0084.0080.80文献[7]84.6084.8084.2081.60文献[8]83.0083.1084.6082.10文献[9]98.2097.1097.9096.20文献[10]95.8096.9096.7094.90文献[18]94.4095.9397.2096.00文献[19]97.9997.8498.5195.88本文98.8399.5298.8498.55多分类文献[9]88.2084.6083.3084.00文献[10]92.8093.9093.7092.90本文94.8594.4292.2692.91%5 结语设计了一种多任务乳腺癌病理图像分类模型，可将乳腺病理图像分为良性与恶性及其子类，并且相比单任务模型取得了更好的性能．1×1卷积层和全局平均池化层被用来替换全连接层，有利于减少模型参数、缩短训练时间、提高模型性能．在BreaKHis数据集上，模型在二分类的40，100，200和400倍的放大系数上达到了目前最高性能，分别为98.83%，99.52%，98.84%和98.55%；多分类的40，100和400倍的放大系数上达到了目前最高性能分别为94.85%，94.42%和92.91%．