压敏电阻广泛应用于各种电路，生产中易出现划痕、破损、粘连等表面质量问题，表面缺陷检测是保证其质量的重要环节．检测方法有人工检测和自动检测两类，但人工检测效率低下、生产成本高，自动化检测方法是目前的研究热点．其中自动检测方法分为传统机器学习检测方法和深度学习检测方法，深度学习检测方法又分为有监督学习检测方法和无监督学习检测方法．李强等[1]提出了一种基于主成分分析的陶瓷瓦表面裂纹检测算法；屈尔庆等[2]优化了一种带钢表面缺陷检测方法．以上传统机器学习方法须提前提取大量样本并定义缺陷特征，人工设计缺陷特征准确率低，未定义缺陷检测能力差．Cao等[3]提出了一种基于深度特征融合的像素级分割网络用于表面缺陷检测；Li等[4]提出了一种应用在移动导光板表面缺陷检测上的多任务学习网络．以上为有监督的深度学习方法，可利用模型自动提取良品和次品特征，但模型训练过程中须提前标注大量数据和缺陷样本，而采集完备有缺陷的样本非常困难．Yang等[5]提出了一种新的基于无监督异常特征编辑的对抗网络来精确检测各种纹理表面缺陷；Lv等[6]提出一种无监督的基于背景重建的异常检测方法．以上无监督的深度学习方法存在泛化能力不足，易受检测目标颜色、大小、光照等各类因素影响的问题．针对以上问题，本研究提出了深度卷积变分自编码网络(DCVAE)进行压敏电阻表面缺陷检测．具体提出了一种多颜色多规格压敏电阻图像(MMVI)自适应预处理方法．首先对图像进行去背景操作，消除背景噪声对检测的负面影响；然后利用边缘检测、椭圆特征拟合、仿射变换等技术，对图像进行自适应规范化操作，使图像姿态与规格一致；最后在图像差分法、图像阈值处理等方法的基础上，提出自适应通道选取与图像阈值处理算法，精准地提取出差分图像，减少冗余数据．为提升检测方法的精度、泛化能力奠定基础，提出了一种基于迁移学习的DTCVAE模型建立方法．首先利用单颜色单规格源域数据对DCVAE模型进行预训练，然后将该模型的网络参数迁移到新的DTCVAE模型上，最后利用多颜色多规格目标域数据对DTCVAE模型进行扩展训练．DTCVAE能够检测2种颜色3种规格压敏电阻表面缺陷，解决了泛化能力不足的问题．1 压敏电阻表面缺陷检测框架压敏电阻表面缺陷检测方法整体框架如图1所示，框架分为以下3部分．10.13245/j.hust.238677.F001图1压敏电阻表面缺陷检测框架a．MMVI自适应预处理．MMVI经过去背景、自适应图像规范化、自适应通道选取以及阈值处理，得到颜色、规格统一的差分图像．b．DTCVAE模型建立．首先对单颜色单规格压敏电阻图像(single color single specification varistor image，SSVI)进行去背景、规范化及提取差分图像操作；然后利用嵌入空间注意力机制的DCVAE建立SSVI预训练模型；其次根据迁移学习的思想进行模型网络参数的迁移；最后利用自适应预处理算法处理后的MMVI建立DTCVAE模型．c．表面缺陷检测．首先对待检测的图像进行自适应预处理，提取出差分图像；然后利用DTCVAE模型对其进行重构；最后利用重构图像与差分图像的残差图通过阈值判定获得最终的检测结果．1.1　MMVI自适应预处理研究使用的2种颜色3种规格压敏电阻的型号分别为ZOV05D561K，ZOV07D220K，ZOV10D561K，TVR05D471K，TVR07D241K和TVR10D391K，直径分别为5，7，10，5，7和10 mm，其中ZOV系列为蓝色，TVR系列为黄色．MMVI自适应预处理分为去背景、自适应图像规范化、自适应通道选取及阈值处理．自适应图像规范化对MMVI进行处理；自适应通道选取对差分图像在RGB[7]和HSV[8]颜色空间的6个颜色通道上的图像信息进行统计分析，选出包含压敏电阻主体图像信息最多的颜色通道；自适应阈值处理即对图像进行二值化以获取最优阈值的差分图像．MMVI预处理算法过程如图2所示．10.13245/j.hust.238677.F002图2MMVI预处理算法流程1.1.1　自适应规范化自适应规范化可以自动对MMVI进行规范化处理，算法具体过程描述如下所示．步骤1 利用提取主体图像算法[9]将原始图像进行去背景操作，提取掩膜；步骤2 采用Sobel边缘检测算法[10]处理去背景后的图像，找到其最大轮廓；步骤3 根据最大轮廓信息寻找其椭圆特征；步骤4 利用椭圆特征对图像进行仿射变换；步骤5 利用掩膜图像探索其外接矩形边界；步骤6 根据边界信息确定出压敏电阻去掉引脚的主体目标区域；步骤7 以目标区域的最大边长作为参照，建立全黑正方形图像，并将目标区域复制到该图像上；步骤8 对其进行缩放操作，使其规格统一．1.1.2　自适应通道选取为了在保留原图像的数据特征的前提下，自动获取MMVI 在某个通道上的差分图像，须在RGB和HSV颜色空间的6个颜色通道上选取一个最佳通道，以最大限度地去除冗余数据，得到的自适应通道选取算法具体过程如下所示．a．每种颜色规格压敏电阻随机选取1 000张良品图像(反面)统计其相互的欧氏距离，将欧氏距离之和最小的定义为标准图像；对压敏电阻图像与标准图像进行“减”操作，获取差分图像．b．将差分图像在RGB和HSV颜色空间的6个颜色通道上进行分割，获得6种差分图像．c．统计各颜色通道像素分布．选取合适的颜色通道C=max[Nvk(i)/N(i)]，其中：C为选取的像素通道；N(i)为第i个像素通道下所有像素点的数量；Nvk(i)为第i个像素通道下像素值vk这个范围内的像素点的数量，经实验取k=40．1.1.3　自适应阈值处理经自适应通道选取的某个颜色通道差分图像须要进行自适应阈值处理，以突出通道差分图像的主体部分．为兼顾MMVI特性，采用局部自适应图像阈值分割方法，首先将通道差分图像进行分块，然后采用最大类间方差法[11]对每一块图像单独采用一个阈值进行分割．该方法既保留了主体图像中的缺陷部位，又保留了通道差分图像原有形状特性，便于缺陷检测．1.2　深度迁移卷积变分自编码网络为提升检测模型在目标域上的泛化能力，在DCVAE基础上，使用参数迁移发掘源域(SSVI)与目标域(MMVI)之间的共性，将源域中取得良好检测效果的模型权重迁移到目标域上，构建DTCVAE，其模型结构如图2(b)所示．1.2.1　嵌入空间注意力机制的DCVAE为了在空间上提升DCVAE模型对有效数据特征的关注度，弱化无效信息，将空间注意力机制(spatial attention，SA)[12]模块嵌入到DCVAE模型的每一个卷积层(convolutional，Conv)之前，构造出嵌入SA的Conv，如图3所示．10.13245/j.hust.238677.F003图3嵌入SA的ConvSA模块嵌入Conv的方式如下所示．a．数据特征复制．将输入的数据特征进行复制．b．数据特征处理．一条数据特征不做处理，另一条数据特征通过SA模块，即输入特征首先经过最大汇聚层(maximum poling)操作Fmaxs和平均汇聚层(mean pooling)操作FMeans，评估输入数据以突出有效信息区域；然后用Conv提取该区域信息；最后将获得空间注意力的特征权重，通过Logistic激活函数处理获得空间注意力为Ms(F)=σ(fn×n([FMeans;Fmaxs]))，式中：fn×n表示卷积核为n×n的卷积操作，实验采用2×2的卷积来提取空间注意力信息；Logistic函数σ(x)将输入数据x“挤压”到(0，1)，具体为σ(x)=[1+exp(-x)]-1．将上述输出的两条数据特征通过F'=Ms(F)×F合并为一条数据特征，其中：F表示原输入数据的权重；F'表示空间注意力与原输入数据权重合并得到的新的数据权重．将上述输出通过Conv和Leaky ReLU处理后输出ΦReLU(x)=x   (x0);   γx    (x≤0),式中γ为一个很小的常数．构建出的DCVAE网络体系结构如图4所示．该编码网络的输入图像维度为(256，256，3)，输出特征的维度为(1，1 000)．由20个Conv、7个汇聚层(Pooling Layer)和1个SL组成．10.13245/j.hust.238677.F004图4深度卷积变分自编码器网络结构利用Conv学习输入图像的特征图，一个卷积核计算得到一个特征图的特征，第k个卷积核wijl计算的第l层第j个特征图为xjl=L∑i∈Njxjl-1*wijl+bjl，式中：xjl为上一层输出；bjl为卷积层偏置；Νj为卷积核作用的不同图像区域；*表示卷积操作；L(⋅)表示特征映射．为降低输入数据分布的变化，获得更加泛化的结果，在将部分Conv的输出输入激活函数前，将其进行批量归一化(batch normalization，BN)处理，即x(i)=x(i)-μB/θB2+ε；(1)xout(i)=αx^(i)+β，(2)式中：μB=1m∑i=1mxi；θB2=1m∑i-1m(x(i)-μB)2；ε为常数；α和β为神经网络学习得到的参数，让数据重新缩放、移位；xout(i)为最后输出．式(1)对输入数据完成BN操作；式(2)让神经网络自己学习如何对待标准化操作．然后将Leaky ReLU激活后的输出输入位于两个Conv之间的汇聚层，汇聚层分别有5个Maximum Poling和2个全局平均汇聚层(global mean pooling，GMP)，可以缩减模型大小，防止过拟合，提高模型泛化能力．汇聚操作pool为xjl=pool(xjl-1)，式中：xji-1为汇聚的输入特征；xjl为汇聚的输出特征．ym,nd=maxi∈Rm,ndxi对区域Rm,nd所有神经元进行Maximum Poling，输出ym,nd．整个网络从结构上进行GMP处理，输出为ym,nd=1|Rm,nd|∑i∈Rm,ndxi，式中xi为区域Rkd内每个神经元的活性值．采样层最终输出特征的维度为(1，1 000)作为解码网络输入．解码网络最终的输出的图像维度为(256，256，3)，由18个Conv和6个上采样层(up sampling)组成．上采样层对上采样区域x(i,j)的数据特征进行扩展，输出yi,j=μ(xi,j)，其中μ(⋅)为插值函数．解码网络最后一层采用tanh激活函数，便于图像重构，定义式为tanh(x)=exp(x)-exp(-x)exp(x)-exp(-x)．1.2.2　利用迁移学习训练DTCVAE迁移学习[13]是利用数据或者模型之间的相似性，将已训练好的模型应用于新领域的过程．先利用源域数据训练得到模型DDCVAEs，然后将得到的网络参数迁移到目标域并训练得到D^DCVAEs，具体为DDCVAEs=Combination(h1s,h2s,⋯,hns)；[D^DCVAEs,θ^s,θ˜'s]=Train(DDCVAEs,xs,θs,θ˜s)，式中：n为模型隐藏层个数；hns为第n个隐藏层的神经元个数；xs表示SSVI数据集；θs={θ1s,θ2s,⋯,θns}和θ˜s={θ˜1s,θ˜2s,⋯,θ˜ns}分别为编码网络和解码网络的初始参数集合，其中θns={wn,bn}为编码网络中的权值wn与偏置bn集合，θ˜ns={w˜n,b˜n}为解码网络中的权值w˜n与偏置b˜n集合；θ^s和θ˜'s为经过训练更新的编码网络参数和解码网络参数；Ts={θ^s,θ˜'s}为经过训练后的D^DCVAEs的网络参数集合．建立的DTCVAE模型为DDCVAEt=Combination(h1t,h2t,⋯,hnt)，式中hnt表示DDCVAEt模型中第n个隐藏层的神经元个数，且hit=his，i∈[1,n]．使用参数迁移的方法将DDCVAEs的编码网络和解码网络的参数迁移到DDCVAEt，规则如下：θ1t=θ1s,θ2t=θ2s=⋯=θnt=θns；θ˜1t=θ˜1s,θ˜2t=θ˜2s=⋯=θ˜nt=θ˜ns，式中θt={θ1t,θ2t,⋯,θnt}和θ˜t={θ˜1t,θ˜2t,⋯,θ˜nt}分别为DDCVAEt模型编码网络和解码网络的初始网络参数集合．对DDCVAEt模型进行训练得到多颜色多规格压敏电阻图像表面缺陷检测模型D^DCVAEt，以及网络参数集合Tt={θ^t,θ˜'t}，具体为[D^DCVAEt,θ^t,θ˜'t]=Train(DDCVAEt,xt,θt,θ˜t)．2 实验分析2.1　实验环境压敏电阻外观图像采集装置由个人计算机端、工业相机、变倍镜头、调焦机构、底座、立柱、固定螺丝、调焦手轮、限位环、辅助光源等零部件组装而成．选取H2100工业相机，相机与金属底板之间的距离为15 cm，光源为LED环形光源，最终得到“.JPEG”格式的24位图像，分辨率为640×480．实验使用的配置为NVIDIA Tesla K40C显卡，模型训练与测试环境为CUDAToolkit：10.0，Keras：2.3.0，Tensorflow：1.14.0，OpenCV：3.4.1．2.2　数据描述目前尚无公开的压敏电阻外观图像数据集，实验所用图像数据均由2.1节所述设备采集选用，使用的MMVI训练集合计4 410张，验证集合计1 472张，无缺陷和有缺陷测试集各合计2 000张，具体数量如表1所示．10.13245/j.hust.238677.T001表1MMVI数据集张数压敏电阻型号训练集验证集测试集无缺陷有缺陷ZOV05D561K735246334334ZOV07D220K735245333333ZOV10D561K735245333333TVR05D471K735246334334TVR07D241K735245333333TVR10D391K7352453333332.3　实验结果将DTCVAE参数设置为Batch Size为64，epoch为100 0，在使用大量的不同颜色、规格的良品压敏电阻差分图像输入新模型进行约62 h的训练后，模型收敛，该模型在训练集上的损失波动较小，其最低点为0.058 8；在验证集上的损失波动幅度相对较大，其最低点为0.062 5．整体均呈下降趋势．经实验发现在SSVI表面缺陷检测任务下获取的阈值并不适用于MMVI表面缺陷检测任务，在前者基础之上改进后的阈值判别公式为T=∑Δx(i,j,k)n+β∑Δx(i,j,k)-μn1/2+b，(3)式中b为偏置．经过实验可得T=16.514 941 241．DTCVAE模型图像表面缺陷检测效果如图5所示，其中：红色点表示训练集图像；绿色点表示测试集中良品图像；深蓝色点表示测试集中有缺陷图像；黑色横线是利用式(3)计算得到阈值；淡蓝色虚线用来分隔3个数据集区域．10.13245/j.hust.238677.F005图5DTCVAE模型图像表面缺陷检测效果可以看出：红色点和绿色点集中在阈值分割线下方，蓝色点集中在阈值分割线上方．说明该DTCVAE模型对MMVI的表面缺陷检测有效．经检测可见DTCVAE对有缺陷及无缺陷的MMVI的检测效果如图6和7所示．10.13245/j.hust.238677.F006图6DTCVAE模型对有缺陷图像的检测效果10.13245/j.hust.238677.F007图7DTCVAE模型对良品图像的检测效果对比图6和7可见：经MMVI自适应预处理得到的有缺陷的差分图像保留了原本缺陷信息，效果较为理想；不论输入模型的差分图像是否为有缺陷差分图像，模型输出的重构图像均为良品图像，且极大程度保留了原差分图像中压敏电阻主体图像形态特征，轮廓边缘更加圆滑清晰，效果较理想；MMVI良品图像和缺陷图像经过处理得到的残差图像均有效消除了非缺陷部位，且缺陷图像经过处理得到的残差图像极大程度呈现了缺陷部位，效果较为理想．2.4　性能比较为评估DTCVAE模型对MMVI表面缺陷的检测性能，选择准确率(accuracy，ACC)以及训练时长作为性能评价指标，将该模型与深度卷积生成对抗网络(DCGAN)[14]及多尺度卷积去噪自动编码器网络(MSCDAE)[15]进行对比．准确率越高，说明模型对检测对象更加敏感，效果越好，模型训练时长越长，运算越复杂，花费成本越大．对比实验具体步骤如下所示．a．建立模型并设定输入模型的像素大小．建立DCGAN模型及MSCDAE模型，其中设定DCGAN模型处理像素值为256×256的数据，MSCDAE模型处理像素值分别为为256×256，128×128和64×64的数据，DTCVAE 模型处理像素值为256×256的数据；3种模型迭代次数为1 000．b．训练模型并记录各模型的训练时长．利用MMVI的训练集分别训练DCGAN，MSCDAE和DTCVAE这3种模型，训练时长依次为45，50和62 h，DTCVAE模型训练时长最长，原因是该模型需先将DCVAE模型上训练好的参数迁移过来，并进行再训练，而DCGAN和MSCDAE网络模型均只需直接训练即可．DTCVAE模型虽需花费较长训练时间，但模型训练所需要的设备满足工业生产的成本要求，并未形成难以承担的计算代价．c．测试模型并记录各模型的检测精度．首先使用MMVI的混合测试集对3种模型进行测试，然后将测试集按照压敏电阻类别进行分类后再次对3种模型进行测试，结果如表2所示，DCGAN，MSCDAE和DTCVAE模型混合检测准确率分别为89.21%，84.22%和98.87%；DCGAN，MSCDAE和DTCVAE模型平均检测准确率分别为89.30%，82.55%和98.83%，DTCVAE模型比其他模型平均检测准确率至少高出9.53%．10.13245/j.hust.238677.T002表2模型准确率比较压敏电阻型号DCGANMSCDAEDTCVAEZOV05D561K87.5579.9797.72ZOV07D220K89.2984.2498.90ZOV10D561K88.4481.7199.81TVR05D471K91.4182.1498.94TVR07D241K90.2284.0099.11TVR10D391K88.9781.5598.47%可以看出：不论是将测试集混合检测还是分类检测，DTCVAE模型检测准确率均明显高出其他两种模型．可见DTCVAE模型对于MMVI检测的辨别能力较高，将检测范围扩大至2种颜色3种规格的压敏电阻，提升了检测方法泛化能力．DTCVAE模型检测速度高于MSCDAE模型但低于DCGAN模型，三者检测速度依次为39.68，35.97和51.28 张/s，其原因是DCGAN模型的编码器结构简单并且在网络构建的过程中采用的普通Conv，节约了大量的数据处理时间，故检测时间最快；MSCDAE模型从3个尺度上同时进行数据处理，对硬件资源要求较高并且计算复杂，因此耗时较长；而DTCVAE模型的每一个Conv都嵌入了SA，并且模型深度较深，故增加了数据的处理时间．综上所述：该DTCVAE模型不仅具有较好的检测效果，而且在MMVI表面缺陷检测上体现出了较强的泛化能力．3 结语压敏电阻表面缺陷检测方法包含自适应预处理、DTCAVE模型建立及表面缺陷检测3个阶段．该方法引入迁移学习思想建立了DTCVAE模型并对MMVI进行检测，解决了泛化能力不足的问题．实验结果表明：平均检测准确率达98.83%，检测范围扩大至2种颜色3种规格的压敏电阻，泛化能力明显提升；与目前流行的压敏电阻缺陷检测方法在正确率和训练时长对比发现，该方法有更高的准确率并且模型训练所需要的设备满足工业生产的成本要求．检测速度为39.68 张/s，还有提升空间，下一步可以通过网络加速技术在不降低检测精度的前提下，提高检测速度．