随着集成电路产业的飞速发展，人们对芯片品质的要求越来越高，在生产过程中对芯片缺陷进行检测已经成为不可或缺的环节．目前，企业针对芯片X线图像进行缺陷检测主要采用人工目检的方法．人工目检虽然简单方便，但是检测效率低、实时性差，工人工作强度大，易造成视觉疲劳，无法满足日益增长的生产需求．基于机器视觉、红外线、振动及超声等检测方法具有成本低、效率高等优点，被广泛应用于芯片缺陷检测中[1]．文献[2]利用基于空气耦合超声激励的倒装芯片缺陷振动检测方法，实现了对倒装芯片焊点缺失的精确检测．文献[3]利用自组织映射网络和Otsu算法对硅通孔(TSV)缺陷进行X射线检测，达到较高的检测精度．以上检测方法一定程度上缓解了人工目检的压力，但是在不同检测环境下的泛化性仍有待提升.近几年，深度学习在图像识别方面取得了突破性进展，深度卷积神经网络在对图像的像素级分类任务中展现出优势，涌现出一批对图像像素点进行分类的语义分割网络．文献[4]将AlexNet，VGGnet和GoogLeNet调整为完全卷积的网络应用于分割任务中，提出了基于全卷积网络(fully convolutional network，FCN)的语义分割方法，对图像进行了像素级别的分类．在全卷积网络的基础上，文献[5]提出了由一组对称编码和解码器构成的U-Net网络，编码器提取图像上下文信息，解码器用于精确定位．U-Net网络能够以较少的图像进行端到端的训练，具有较高的分割精度，在医学领域得到了广泛应用．文献[6]提出一种基于注意力机制的3D U-Net语义分割方法，对婴幼儿脑组织磁共振(MR)图像进行分割．文献[7]提出联合多尺度和注意力-残差改进U-Net的语义分割方法对乳腺癌病变区进行检测，降低了乳腺癌的误分割．U-Net网络在医学领域得到应用广泛，但是针对芯片具有多层结构，经过X光扫描后，每一层结构生成的图像互相叠加得到最终图像，导致图像背景干扰较大，并且射线穿过芯片时与芯片发生康普顿效应等相互作用，从而导致生成图像灰度分布不均匀；同时，不同型号芯片结构各不相同，灰度值变化极大，导致传统U-Net方法对图像中的缺陷分割困难，识别准确率低．此外，实际生产中企业原始缺陷芯片数据的收集难度较大，且制作数据集时缺陷的标注过程耗费大量时间和人力，难以获取大量的数据用于模型的训练．基于以上问题，本研究提出一种基于U-Net网络框架结合Mobile-Net、空间注意力机制、空间金字塔池化和密集条件随机场的DSSMob-U-Net芯片X线图像焊缝气泡缺陷检测方法．首先，针对经典U-Net网络特征提取能力不足，泛化性较差的特点，引入Mobile-Net作为U-Net的主干特征提取网络，对图像全局信息进行特征提取，用深度可分离卷积代替传统卷积，对输入层的每一个通道使用不同卷积核提取图像更多的内在特征．在网络的低维特征提取部分引入空间注意力机制，增强网络对缺陷位置信息的感知能力．特征提取后，引入空间金字塔池化结构将多层特征融合，提升网络的高维特征提取能力，从而解决图像背景信息干扰大、灰度分布不均匀、目标分割困难的问题．其次，深度可分离卷积降低模型参数量，实现利用较少的缺陷样本对缺陷进行分割．最后，针对网络的解码器上采样层导致的特征信息丢失问题，在分类完成后引入密集条件随机场(DCRF)，结合像素点的像素值和所属类别信息对像素的分类结果重新评估，强化对缺陷边缘与背景交界部分细节的分割，保证缺陷分割的高准确性．1 DSSMob-U-Net模型的构建芯片X线图像具有背景复杂、灰度分布不均匀的特点，但是焊缝缺陷所处的位置较为固定，大多规律性地分布于芯片四周的焊环内部，并且缺陷种类均为气泡缺陷，其语义信息较为简单明确；同时，在实际生产过程中，芯片焊缝气泡缺陷率较低，相较于自然影像，缺陷影像的获取较为困难，且人工标注难度较大，制作数据集样本量较少，难以获取大量数据集．因此，分割模型应满足少量数据即可达到较高准确率的要求.经典U-Net网络是基于全卷积神经网络拓展而来，利用全卷积网络作为主干特征提取网络，在网络的每一个池化层前利用跳跃连接[8]的方式将特征信息传递给对应尺度的解码器部分，弥补了最大池化层带来的空间信息损失，为解码器提供不同分辨率的特征，能够用深层特征定位缺陷，浅层特征精确分割，适用于芯片X线图像焊缝缺陷的定位与分割．因此，本研究选择U-Net网络作为模型的基本架构．1.1　Mob-U-Net网络的构建经典U-Net网络编码器部分用卷积层替代全连接层，导致卷积运算较多、计算量大、激活函数单一判别能力不足等问题．较大的参数量也导致网络模型在处理样本量较少的任务时易出现过拟合．针对以上问题，本研究引入Mobile-Net[9]作为编码器来提取特征．Mobile-Net对传统卷积核进行改进，提出深度可分离卷积(depthwise separable convolution，DSC)将传统卷积分解为深度卷积和点卷积，即1×1的卷积，前者用于滤波，后者用于组合，如图1所示．10.13245/j.hust.220613.F001图1深度可分离卷积传统卷积对输入图像的所有通道使用同一个滤波器，当面对通道数较多的输入时，对每一层通道细节特征的提取能力不足；而深度可分离卷积中深度卷积的卷积核对每一层输入通道分别应用一个滤波器，提高了对图像内在特征的提取能力，然后点卷积应用1×1卷积将输出与深度卷积相结合，整合了两个非线性激活层，相较于传统卷积的单一非线性激活层具有更好的判别能力．深度可分离卷积同时还具有减少计算量和模型大小的效果，针对芯片X线图像样本量较少的场景，轻量化的模型降低了过拟合发生的概率．1.2　低维空间注意力机制由于芯片焊缝气泡缺陷出现的位置较为固定，具有较为明显的空间特征，为了捕捉这一信息，本研究在网络中引入空间注意力机制增强对缺陷位置特征的提取．空间注意力机制(SAM)首先对特征图F进行一次最大池化和平均池化操作，得到两层压缩后的特征图，将这两层特征图叠加后进行一次卷积操作，卷积的结果经过激活函数归一化获得空间权重矩阵M，与输入特征图相乘，最终得到新的特征图(见图2)．空间注意力机制的运算过程为MS(F)=δ(f3×3[AvgPool(F);MaxPool(F)]), (1)式中：F为输入的特征图；δ为激活函数；f为大小为3×3的卷积核；AvgPool为平均池化；MaxPool为最大池化．同时，由于缺陷目标较小，低维特征更能保存特征的位置信息，因此将空间注意力机制应用于网络的低维特征提取部分．10.13245/j.hust.220613.F002图2空间注意力机制1.3　空间金字塔池化芯片焊缝气泡分布具有局部特性，焊缝拐角及两侧的气泡往往更密集.特征提取网络通常更侧重于提取目标的全局特征，对局部信息的利用不够充分．空间金字塔池化模块使用3个池化核大小分别为13×13，9×9，5×5的最大池化层，对特征图进行最大池化操作，并将原特征图与池化处理得到的局部特征图进行堆叠，使得特征图局部区域的感受野和接近全局的感受野信息融合，从而分离出最显著的上下文特征，获得更丰富的局部特征信息．空间金字塔池化结构如图3所示．10.13245/j.hust.220613.F003图3空间金字塔池化1.4　密集条件随机场处理SSMob-U-Net网络的解码器对编码后的特征层进行上采样操作，特征图经过若干次上采样层处理后逐步恢复至原图尺寸，这一过程产生特征边界模糊，导致特征的损失．此外，卷积运算根据每一个像素周围矩形区域内的像素值决定该像素和其类别的关系，即用所有像素共同决定一个像素的类别信息．然而，实际上图像的每一个像素的类别之间也存在关联，即图像的平滑性，每一个像素的类别和邻近点的类别很类似．为了弥补SSMob-U-Net模型在处理像素类别之间的联系过程中的不足，本研究引入密集条件随机场[10]，通过计算两个像素之间的相似性来判断其是否属于同一类别．在模型测试中，将解码器输出的概率分布图作为密集条件随机场的一元势能，二元势能中的位置和颜色信息由原始影像提供．密集条件随机场的处理结果作为最后的输出结果．密集条件随机场定义了在数据集{X1，X2，…，XN}上的随机场X，X的定义域是标签集L={l1，l2，…，lk}．另外一个定义在变量{I1，I2，…，IN}上的随机场I，其中：N为输入图像的像素数；Ij为像素j的颜色向量；Xj为像素j的标签．密集条件随机场的能量函数为E(X)=∑i=1Nψu(xi)+∑ijψp(xi,xj)，(2)式中i和j的取值范围为1～N．能量方程的第一项ψu(xi)为一元势能函数，由分类器独立计算得出，用于衡量像素点i属于类别标签xi的概率．现实中使用的一元势包含了对形状、纹理、位置和颜色的描述．能量方程第二项二元势能函数ψp(xi,xj)用于计算每个像素与其他像素的关系，将颜色及相对距离较近的像素归为一类，计算公式为ψp(xi,yj)=μ(xi,xj){w(1)exp[-|pi-pj|2/(2θα2)-|Ii-Ij|2/(2θβ2)]+w(2)exp[-|pi-pj|2/(2θγ2)]}, (3)式中：μ(xi,xj)为标签概率函数，计算像素i和像素j属于同一类的概率，若xi≠xj，则μ(xi,xj)=1，否则为0；Ii和Ij为像素位置pi和pj上的颜色向量；w(1)和w(2)为线性组合权重，用于调整外观内核和平滑内核的比重．外观内核假设相邻且颜色相近的像素很可能属于同一类别，平滑内核的作用是消除孤立的小区域．式(3)的作用是判别相似的像素点是否属于同一类．当像素点属于同一类时，能量函数的数值较小．在X线芯片图像分割中，焊缝气泡缺陷与焊接面接触的边缘难以精确划分，影响后续缺陷尺寸的测量，利用该能量函数，缺陷与焊接面分割更加精准．气泡缺陷内部像素值相似，背景与气泡缺陷的像素值存在差异，当相似区域的像素点判别为不同类或存在差异的区域判别为同一类时，会产生较大的能量值．通过多次推断，使能量函数的值最小化来获得最终结果．通过这种方式，利用整个图像的信息来细化缺陷边缘，提高分割的准确性．芯片焊缝气泡缺陷检测流程如图４所示．在获取X线图像后将数据划分为训练集、验证集和测试集三个互不重叠的部分．在模型测试中，利用训练好的SSMob-U-Net网络模型输出概率分布图，将其作为密集条件随机场的一元势能输入，经过密集条件随机场处理后输出气泡缺陷分割结果．10.13245/j.hust.220613.F004图4检测流程2 实验及分析2.1　缺陷芯片数据集本研究对芯片焊缝气泡缺陷的检测基于芯片的X线成像图像开展．成像设备选用YXLON的X射线检查系统Y.Cougar，成像分辨率为1 004×620．由于缺陷数据收集困难，且人工标注成本较昂贵，本研究选取370幅带有缺陷的芯片图像，利用Labelme软件手工标记出每一幅图像中的缺陷，标记后的图像如图5所示．将芯片分为缺陷和背景两类，其中：红色部分为缺陷，用标签“1”表示；黑色部分为背景，用标签“_background_”表示．打乱标记好的数据顺序，随机分配328幅作为训练图像，42幅作为验证图像．10.13245/j.hust.220613.F005图5Labelme标记后的图像为满足实际生产的要求，选取了多种不同型号的芯片缺陷图像制作数据集对网络进行训练，以实现对多种型号芯片的缺陷检测，验证网络的泛化性能．2.2　实验环境实验所用计算机处理器型号为i5-8265U，显卡型号为NVIDIA MX250，内存为16 GiB．分割网络使用Tensorflow1.13.2版本框架下的Keras2.1.5模块搭建，软件编程环境为Python3.7．2.3　训练过程训练过程中，将批量大小(Batch Size)设置为2，选用Adam作为优化器自适应调整步长，并将初始学习率设置为0.000 1．采用学习率下降的方式，若训练集准确率三个历元(epoch)不下降，则下降学习率继续训练；若验证集损失三个epoch不下降，则停止训练．经过多次试验，综合考虑模型计算效率、结果精度及硬件3个方面，实验最终迭代次数epoch设置为50．迭代50次后停止训练，训练集准确率收敛于99.84%，损失值收敛于0.004 1；验证集准确率收敛于99.53%，损失值收敛于0.016．2.4　实验结果及分析对比实验分别选取了不同参数量的语义分割模型对两种典型型号的芯片进行检测，其中Deeplab模型[11]参数量较大，而Segnet模型[12]参数量较小．在测试集上进行测试，部分图片分割结果如图6所示．可以看出：当检测型号1的芯片时，Deeplab模型对缺陷整体分割效果较差，Segnet和经典U-Net结构的模型整体分割效果较好，但是细节不足；当检测型号2的芯片时，Deeplab和Segnet模型对缺陷整体分割效果较差，经典U-Net结构的模型整体效果较好，同样细节不足；本研究基于U-Net结构引入Mobile-Net和SAM模块、SPP模块后，模型在保持较好的整体识别效果的同时，细节部分有较大的提升，但是边缘较为粗糙；本研究在此基础上进一步引入密集条件随机场，加强对缺陷边缘的分割，最终模型对整体、细节及边缘的处理效果均优于其他方法．10.13245/j.hust.220613.F006图6不同方法识别结果对比为了进一步展示不同方法对芯片焊缝典型气泡缺陷的分割性能，本研究选取型号1芯片中最关键的气泡缺陷放大处理，如图7所示．针对这一区域的缺陷，Segnet，Deeplab及经典U-Net都有较大区域未检出．本研究依次引入Mobile-Net，SAM，SPP模块进行消融实验，在引入Mobile-Net并增加SAM模块后，检测效果相较于经典U-Net有提升，主要体现在识别结果更为连贯，但是仍有部分未检出；引入Mobile-Net并增加SPP模块后，检测结果相较于经典U-Net有提升，主要体现在识别覆盖面积增大，但是有部分未检出；引入Mobile-Net并同时增加SAM和SPP模块后，识别结果结合了上述两种方法的优点，在增大识别覆盖面积的同时，识别结果也更连贯，仅有小部分区域未检出；最后在上一点的基础上引入密集条件随机场模块(即本文方法)，可见引入密集条件随机场模块后模型对缺陷边缘像素点的类别进行了重新分类，使得边缘更加平滑，同时弥补了上一点方法中未检出的小部分空洞，达到了较好的识别效果．10.13245/j.hust.220613.F007图7不同方法对典型气泡缺陷识别结果局部放大图为了判断模型对缺陷部分的分割效果，采用像素精度(AP)、类别平均像素精度(AMP)和均交并比(UMI)作为评价指标．本文方法与其他方法比较见表1，由表1可看出：本研究提出的模型在AP，AMP和UMI三种不同评价指标上均优于其他方法，本文方法针对不同型号芯片的焊缝气泡识别像素精度达到99.49%，平均像素精度达到88.50%，均交并比达到77.26%，分别比经典U-Net提升了0.12%，16.27%和8.58%．10.13245/j.hust.220613.T001表1本文方法与其他方法比较模型APAMPUMISegnet99.1762.6360.94Deeplab99.2561.1161.69经典U-Net99.3772.2368.68SAM-Mob-U-Net99.4175.1871.08SPP-Mob-U-Net99.4379.6273.37SSMob-U-Net99.4482.4175.38DSSMob-U-Net99.4988.5077.26%3 结语本研究基于U-Net网络模型，引入Mobile-Net优化了特征提取部分，在此基础上在低维特征提取部分引入了空间注意力模块，特征提取后引入空间金字塔池化模块，进一步加强模型提取特征的性能，识别完成后利用密集条件随机场对识别结果边缘做进一步精确优化，最终精准识别出芯片X线图像中的焊缝气泡．改进后的DSSMob-U-Net模型与Deeplab，Segnet，经典U-Net，SAM-Mob-U-Net，SPP-Mob-U-Net和SSMob-U-Net六种语义分割算法结果作对比，结果表明：a. 在Deeplab，Segnet，经典U-Net，SAM-Mob-U-Net，SPP-Mob-U-Net，SSMob-U-Net和DSSMob-U-Net七种方法的比较中，本文改进的网络模型DSSMob-U-Net具有优异的分割性能，在像素精度、平均像素精度和均交并比上分别达到99.49%，88.50%和77.26%的精度．b. 本研究提出的模型在缺陷整体的识别和细节部分的识别上都取得了较好的结果，对不同型号的芯片识别的泛化能力较好，基本达到了人工标注的效果．