年龄相关性黄斑变性(AMD)是目前较为常见而又对视功能有严重影响的眼底疾病，AMD造成了全球约9%的失明，是发达国家视力丧失的主要原因[1]．到2040年，全球患AMD的人数预计将达到2.88×108[2]．美国国家眼科研究所的年龄相关性眼病研究形成了被国际认可的AMD分期标准[3]，即AMD可分为早期AMD、中期AMD和进展期AMD；而进展期AMD又可分为干性AMD(出现累及中央凹的地图样萎缩)和湿性AMD(存在黄斑新生血管)．对于干性AMD，目前尚无有效的治疗方法来防止地图样萎缩的发展，临床主要通过抗氧化维生素和矿物质补充剂来适量降低疾病发展的风险[4]．而对于湿性AMD，目前有严格的治疗方法和治疗指南，即玻璃体内注射抗血管内皮生长因子(抗-VEGF)药物疗法．湿性AMD可进一步区分为新生血管性AMD和息肉状脉络膜血管(PCV)，PCV须要根据体征表现，结合抗-VEGF药物与光动力疗法进行治疗．在出现不可逆的新生血管破坏性渗出之前诊断出湿性AMD并尽早给予合理的治疗，可以最大程度降低眼科疾病对患者带来的危害．然而，临床上用于诊断AMD的彩色眼底影像及光学相干断层扫描(OCT)影像上的部分体征非常微小，并且成像会受到仪器噪声、血管和其他生物组织的干扰，这大大增加了医生阅片的难度．为了缓解医生的工作量与患者需求量之间的矛盾，许多研究者将深度学习技术应用于医学影像辅助诊断领域[5]．深度学习技术可对医学影像中的病理特征进行逐像素的分析量化[6]，为医生提供疾病诊断的参考．已有许多研究者将深度学习技术应用于湿性AMD辅助诊断领域．文献[7]应用深度卷积神经网络分析彩色眼底影像，实现对健康、早期AMD、中期AMD、进展期AMD的辅助诊断，实现了与医师相当的诊断准确性．文献[8]搭建两阶段卷积神经网络，实现干性AMD和湿性AMD患者OCT影像的分类，两阶段模型分别达到了99.0%和93.9%的准确率．然而在现阶段的湿性AMD辅助诊断研究中，大部分的研究工作只使用了一种医学影像，这并不符合真实的临床医学场景．彩色眼底影像和OCT影像可分别从平面和横断面的视角展示不同的体征信息，单一模态的医学影像不足以对湿性AMD进行确诊，并且大部分的研究工作并没有实现湿性AMD的进一步分类．PCV是湿性AMD的一个亚型，与新生血管性AMD的表现极其相似，并且临床上新生血管性AMD和PCV的治疗策略、疾病病程与预后转归均有差异，有效区分新生血管性AMD和PCV对于临床辅助诊断来说是非常必要的．本研究针对现阶段该领域存在的不足，搭建了深度学习模型Wet-AMD-Net，应用于湿性AMD的辅助诊断．构建适用于深度学习的双模态湿性AMD数据集，影像数据均来自真实临床场景，包含彩色眼底影像和OCT影像，被标注为“新生血管性AMD”“PCV”和“其他”．搭建了双模态深度学习模型，并针对不同的特征提取模型进行了充分的对比实验，实验结果证明VGG16特征提取模型在该任务中表现最好．研究了特征模型的同构、异构对最终分类结果的影响，实验证明彩色眼底影像和OCT影像同时应用VGG16特征提取模型时分类效果最好．提出了基于特征的连接策略、基于特征的权重分配策略和基于分类结果的权重分配策略3种融合策略，其中基于特征的连接策略效果最好．1 相关工作1.1　单模态辅助诊断文献[9]针对健康OCT影像训练了一种多尺度深度去噪自动编码器，可在新数据中识别与健康影像的差异，将异常作为OCT影像中的候选标记，通过对标记的定性分析实现对健康、早期和晚期AMD的分类，其准确率为81.40%．该方法通过无监督训练减少了数据标注工作量，却一定程度上影响了深度学习模型的准确率．文献[10]基于InceptionV3模型在1 112幅OCT影像上进行迁移学习，用于分类健康和渗出性AMD (湿性AMD)．该模型达到了很好的准确率，但数据标签设计未覆盖AMD全部类别，无法适用于医学临床．文献[11]提出一种基于人工智能和云的远程医疗交互工具，结合ResNet50，InceptionV3和VGG16卷积神经网络，并基于OCT影像实现了正常、干性AMD、不活跃湿性AMD、活跃湿性AMD分类，该人工智能(AI)平台可实现与视网膜专家相当的诊断准确率．1.2　双模态辅助诊断近年越来越多的研究者意识到单模态影像进行AMD辅助诊断研究的不合理性，并陆续开展了一系列双模态辅助诊断研究，然而大部分相关研究并未实现对湿性AMD的进一步细分．文献[12]提出了基于OCT与彩色眼底的深度学习AMD诊断算法，通过对预训练的VGG19和随机森林进行迁移学习，实现了正常、非新生血管性AMD和新生血管性AMD的分类，模型达到了90.5%的准确率．然而因双模态数据集收集困难，该工作使用了尸检数据，导致该模型无法有效贴合真实临床场景中的患者影像．文献[13]基于预训练的ResNet18模型提出了一种端到端的双路卷积神经网络，分别提取眼底影像和OCT影像特征并进行融合，实现了对正常、干性AMD和湿性AMD的辅助分类，模型准确率达97.1%．然而该研究未实现对湿性AMD的进一步分类．文献[14]基于深度学习技术及OCT、OCT血管造影(OCT-A)和眼底影像，对中度干性AMD进行辅助诊断，实验表明使用多种模态影像联合诊断时准确率可有效提高．针对现有研究存在的不足，本研究将基于深度学习技术结合彩色眼底影像和OCT影像，实现对新生血管性AMD和PCV的精准分类，以支持下一步的辅助治疗．2 数据收集及标注本研究使用的数据集为北京邮电大学与河北省眼科医院合作收集、标注得到的，所有影像均为临床真实数据．该数据集共包含56个患者的123张彩色眼底影像和545张OCT影像．所有影像均经过脱敏处理，未包含患者的任何个人信息．北京邮电大学团队搭建标注系统并部署至河北省眼科医院内网，由4位临床眼科医生对该数据集进行标注．4位医生均为眼科硕士学历，其中有1位主任医师，2位副主任医师，1位主治医师．其中3位医生有12年以上的临床经验，1位医生有6年临床经验．标注共分为两轮，第一轮标注时，影像以患者为最小分发单位随机分发给4位临床医生，该过程与临床诊断类似；第二轮标注时，由4位医生共同对该批数据集进行阅片和标注．可以认为该数据集经过第二轮标注后，获得的标签为绝对正确的．在将数据用于深度学习前，将属于同一个患者同一只眼睛的彩色眼底影像和OCT影像匹配为一组双模态影像，除去质量较差的影像后，共得到469组双模态影像数据，如图1所示．10.13245/j.hust.211212.F001图1数据示例使用366组影像进行训练，51组影像进行验证，52组影像进行测试，数据标签分布如表1所示．数据在输入模型前，每张影像的大小被修改为224×224×3，且在训练数据上进行了随机旋转、随机水平翻转、随机对比度增强等图像增强操作．10.13245/j.hust.211212.T001表1数据标签分布标签数量/组训练集验证集测试集新生血管性AMD5756PCV1031811其他20628353 双模态湿性AMD辅助诊断模型3.1　模型结构针对辅助诊断领域中普遍存在的只使用单一医学影像、未对湿性AMD进一步分类等问题，提出了双模态湿性AMD辅助诊断模型Wet-AMD-Net，该模型包括两个部分：a. 不同特征提取模型应用于不同模态数据进行特征的提取；b. 对特征表示进行融合．完整的模型结构如图2所示，其中包含特征提取和特征融合两部分，本研究提出3种特征融合策略，其中：1)为基于特征的连接策略；2)为基于特征的权重分配策略；3)为基于分类结果的权重分配策略．10.13245/j.hust.211212.F002图2双模态湿性AMD辅助诊断模型Wet-AMD-Net结构图定义数据集D={xf,xo|y}，其中xf和xo分别为从同一只眼睛获得的彩色眼底影像和OCT影像，xf,xo∈R224×224×3，y为该组影像的诊断标签，y∈{新生血管性AMD，PCV，其他}．模型Wet-AMD-Net接收成对的输入{xf,xo}，并输出对眼睛的诊断结果ŷ，ŷ←Wet-AMD-Net({xf,xo})．(1)3.2　特征提取Wet-AMD-Net的特征提取部分由两个对称的分支组成，其中用于处理彩色眼底影像的特征提取模型记作Model-F，用于处理OCT影像的特征提取模型记作Model-O．主流的图像特征提取方法中，VGGNet[15]和ResNet[16]系列最具有代表性．3.2.1　VGGNet系列VGGNet系列采用连续的几个3×3的卷积核代替较大卷积核，保证在具有相同感受野的情况下减少模型的参数，并增加模型的深度，一定程度上提升了模型的特征提取能力．VGGNet比较常用的是VGG16和VGG19．由于VGG19相比于VGG16的性能提升较小，本研究只考虑VGG16作为VGGNet系列的特征提取模型．3.2.2　ResNet系列ResNet系列解决了增加模型层数后会出现的梯度消失或梯度爆炸的问题．ResNet系列使用多个残差学习单元学习输入和输出之间的残差表示，解决了较深模型的退化问题．考虑到本任务的数据量较少，本研究使用层数较少的ResNet18和ResNet34作为ResNet系列的特征提取模型．为方便后续的特征融合操作，本研究将ResNet18和ResNet34的最后输出向量大小修改为1 000维．3.3　特征融合令Ff为彩色眼底影像由Model-F提取得到的特征向量(图2中黄色矩形块)，Fo为Model-O作用于OCT影像生成的特征向量(图2中蓝色矩形块)，则Ff，Fo∈R1 000．3.3.1　基于特征的连接策略基于特征的连接策略将Ff，Fo连接得到向量Fcon∈R2 000，之后通过全连接层得到最终输出ŷ的得分，sŷ,con=WconFcon，式中：Wcon∈R2 000×3；sŷ,con∈R3．通过选择得分最高的类别来实现式(1)中表示的分类．连接两个特征向量，可以直观地提高语义空间维数，将k维提升到2k维．对图像分类任务来说，更高维的语义空间意味着更多的语义信息．3.3.2　基于特征的权重分配策略基于特征的权重分配策略通过将Ff和Fo按权重加和得到特征向量Fadd，Fadd=aFf+(1-a)Fo，式中：a为超参数且0a1；Fadd∈R1 000．之后通过全连接层得到最终输出ŷ的得分，sŷ,add=WaddFadd，式中：Wadd∈R1 000×3；sŷ,add∈R3．通过选择得分最高的类别来实现式(1)中表示的分类．参与权重分配的两个特征向量分别带有关于不同影像的特征信息，通过权重分配原则，给予某模态特征不同的重要性，权重大小可以视为该信息对图像分类任务的重要程度．3.3.3　基于分类结果的权重分配策略基于分类结果的权重分配策略先分别将Ff和Fo输入全连接层得到sŷ,f和sŷ,o，sŷ,f=WfFf；sŷ,o=WoFo，式中：Wf,Wo∈R1 000×3；sŷ,f,  sŷ,o∈R3．之后将sŷ,f和sŷ,o按权重加和得到最终输出ŷ的得分，sŷ,cla=asŷ,f+(1-a)sŷ,o，式中sŷ,cla∈R3，通过选择得分最高的类别来实现式(1)中表示的分类．基于分类结果的权重分配策略是一种加权投票法，应用于彩色眼底影像的模型和应用于OCT影像的模型实际上相互独立，它们分别给出分类结果的预测并通过加权投票的方式得到最终结果．4 实验设计与结果分析在此进行多种特征提取模型、特征模型同构和异构及多种特征融合策略的对比实验，并与有丰富临床经验的医学专家的结果进行对比，证明本研究提出的算法的有效性．4.1　实现细节Wet-AMD-Net是基于PyTorch框架实现的．本研究使用SGD优化器，采取动态学习率方法进行优化．模型共训练了100轮，学习速率最初设定为0.001，每隔20轮下降一个顺序，权重衰减设置为0.001，动量设置为0.9，最小批大小为8．所有的模型和训练设置都保持一致．所有这些实验都是在一个拥有12 GiB内存的NVIDIA GeForce GTX 1080Ti 的图形处理器(GPU)上进行的．4.2　特征提取模型对比实验本研究分别使用VGG16，ResNet18和ResNet34作为特征提取模型，并使用基于特征的连接策略进行实验，结果见表2．模型名称为Fuse(FModel-F,OModel-O)，其中：F为彩色眼底影像；O为OCT影像；Fuse为特征融合方式，Fuse∈ {Con,Add,Cla}，Con为基于特征的连接策略，Add为基于特征的权重分配策略，Cla为基于分类结果的权重分配策略．10.13245/j.hust.211212.T002表2不同特征提取模型对比实验模型测试集上性能表现F1-scoreKappaAUROCRecallPrecisionCon(FResNet18,OResNet18)0.845 30.619 80.892 30.854 20.841 5Con(FResNet34,OResNet34)0.860 50.672 30.884 90.875 00.891 3Con(FVGG16,OVGG16)0.979 80.955 00.988 10.979 20.982 1实验验证使用VGG16作为特征提取模型的Wet-AMD-Net在F1-score，Kappa值，AUROC，Recall及Precision值上都有更好的表现．虽然ResNet的提出比VGGNet更晚，并且在ImageNet任务中取得了更好的性能，但文献[17]的实验表明了VGG16的数据一致性比ResNet18和ResNet34更好．与此同时，文献[18]的实验表明特征提取模型的表现很大程度上依赖于数据集，在某些数据集上，经典卷积神经网络结构会比更复杂的结构表现更好．4.3　特征提取模型同构异构对比分析本研究固定效果最优的VGG16特征提取模型，并探究使用异构特征提取模型与使用同构特征提取模型的效果差异．实验使用基于特征的连接策略，实验结果见表3．10.13245/j.hust.211212.T003表3特征提取模型同构异构对比实验模型测试集上性能表现F1-scoreKappaAUROCRecallPrecisionCon(FResNet18,OVGG16)0.812 10.622 50.768 10.833 30.838 7Con(FResNet34,OVGG16)0.750 40.523 30.724 90.791 70.773 0Con(FVGG16,OResNet18)0.915 80.842 30.912 40.916 70.917 3Con(FVGG16,OResNet34)0.937 80.882 10.943 70.937 50.939 8Con(FVGG16,OVGG16)0.979 80.955 00.988 10.979 20.982 1从实验结果来看，对于同构模型Con(FResNet18，OResNet18)和Con(FResNet34,OResNet34)，将彩色眼底影像的特征提取模型更换为VGG16可提升性能，然而将OCT影像的特征提取模型更换为VGG16反而造成了性能的下降．而当彩色眼底影像和OCT影像的特征提取模型都为VGG16时，模型的性能达到最优．4.4　融合策略对比分析本研究固定VGG16作为彩色眼底影像和OCT影像的特征提取模型，并进行不同的特征融合策略对比实验．实验结果见表4，其中模型名称中的数字代表为该分支分配的权重．10.13245/j.hust.211212.T004表4融合策略对比实验模型测试集上性能表现F1-scoreKappaAUROCRecallPrecisionCon(FVGG16,OVGG16)0.979 80.955 00.988 10.979 20.982 1Add(0.25FVGG16,0.75OVGG16)0.868 50.755 30.849 90.875 00.873 9Add(0.50FVGG16,0.50OVGG16)0.936 50.877 30.925 60.937 50.941 7Add(0.75FVGG16,0.25OVGG16)0.958 60.917 30.956 80.958 30.961 3Cla(0.25FVGG16,0.75OVGG16)0.889 70.781 20.882 40.895 80.909 9Cla(0.50FVGG16,0.50OVGG16)0.888 20.782 30.843 70.855 80.909 9Cla(0.75FVGG16,0.25OVGG16)0.936 50.877 30.925 60.937 50.941 3从实验结果中可以看出，当两种模态影像的特征提取模型均为VGG16时，基于特征的连接策略优于其他两种融合策略．4.5　模型有效性验证为验证双模态模型的有效性，进行了单模态对比实验，实验结果见表5，其中FVGG16为彩色眼底影像单模态模型，OVGG16为OCT影像单模态模型．实验结果证明双模态模型效果更优．10.13245/j.hust.211212.T005表5与临床医生标注结果的对比实验模型测试集上性能表现F1-scoreKappaAUROCRecallPrecisionFVGG160.662 80.503 00.674 90.708 30.745 8OVGG160.917 40.814 30.931 80.916 70.920 3临床医生0.911 00.794 90.955 70.901 00.952 2Con(FVGG16,OVGG16)0.979 80.955 00.988 10.979 20.982 1将4位临床医生的第一次标注结果作为实际临床诊疗中的筛查结果，第二次标注结果作为数据的真实标签，计算得到4位临床医生的标注性能见表5，可以看出Con(FVGG16,OVGG16)在各项指标上都优于4位临床医生的平均水平．5 结语本研究构建了适用于深度学习的双模态湿性AMD数据集，并根据真实临床需求将湿性AMD进一步区分为新生血管性AMD和PCV．同时提出了双模态辅助诊断模型Wet-AMD-Net和3种融合策略，并针对不同的特征提取模型、模型的同构和异构以及不同的融合策略进行了对比实验，实验结果证明当彩色眼底影像和OCT影像都使用VGG16特征提取模型，并且使用基于特征的连接策略时效果最优，该模型在F1分数、Kappa值、受试者工作特征(ROC)曲线下面积(AUROC)、召回率、精确度分别达到0.979 8，0.955 0，0.988 1，0.979 2，0.982 1，超过了4位眼科临床医生的平均水平．