在纺织行业中，疵点检测是织物生产和质量管理的关键环节。传统的织物疵点检测大多是依靠人工进行，需要检测人员一直用肉眼观察生产线上的织物，但随着纺织工业的生产标准不断提高，织物的图案、花色越来越复杂，人工检测的速度和精度逐渐与纺织产业的要求产生脱节。此外，人工检测存在如检测效率低、检测速度慢、漏检率较高等不足。因此，自动化织物疵点检测设备代替人工检测是纺织业领域发展的必然趋势，准确、高效、自动化地检测到复杂图案印花织物疵点具有重要意义［1］。目前，国内外的学者针对单色、规则图案的织物疵点检测问题已经取得了一定的研究成果。2014年，GIRSHICK R等［2］提出R⁃CNN区域卷积神经网络结构，利用候选区域结合卷积神经网络提取特征，但该算法训练过程耗时相对过长。LIU Z等［3］采用点到点的方式，利用卷积神经网络对织物疵点进行检测，该方法适用于复杂的织物纹理背景。文献［4］提出在网络模型中增加卷积网络约束来提高训练速度。景军锋等［5］提出了针对单色织物疵点检测和分类的算法，但该算法未在纹理复杂的织物上实践。LI Y等［6］提出了一种对栈式去噪自编码器，并在其中融合Fisher准则，但随着织物图片样本数增加，其准确率会有所下降。许玉格等［7］提出了一种基于深度学习的纹理织物疵点检测方法，该方法可提升检测的准确率，但织物疵点种类增多时，需进一步调整才能符合实际应用需求。刘洲峰等［8］提出了一种对比图像像素的邻域和主邻域结构图的方法。该方法对图案规则的织物样本检测效果较好，但对图案不规则的织物样本检测效果较差。综上所述，织物疵点检测技术虽然取得了一定的成果，但在复杂图案印花织物疵点检测方面仍存在准确率不足及漏检率高的问题。因此，本研究提出一种基于深度学习的复杂图案印花织物疵点检测方法。该方法采用改进的织物疵点检测模型，结合改进的损失函数对数据集进行处理，有效提升了检测的准确率，降低了误检率和漏检率。1 改进的不规则疵点检测模型为解决复杂图案印花织物疵点检测在准确率、误检率以及漏检率上存在的问题，本研究在ResNet50网络的基础上融入可变形卷积（Deformable Convolutional Networks，DCN）结构［9］，得到改进后的ResNet50⁃DCN网络模型。该网络模型在提取疵点特征的过程中，采用网络的第3~第5阶段生成的特征图建立BFP⁃FPN（Balanced Feature Pyramid⁃Feature Pyramid Networks）模块［10⁃11］，然后在该模块的输出部分引入具有线性性质的特征融合模块，该模块可以融合织物图片的模板图和待检测的疵点图，从而获取融合后的特征图，消除了复杂图案背景对织物图像的影响，然后将提取到的结果送入RPN（Region Proposal Network）网络，获得相应的候选框后进行ROI池化处理，得到大小相同的候选框，最终对候选框做分类以及回归处理。模型的整体结构见图1。.F001图1整体网络结构图1.1　ResNet50⁃DCN网络模型一般情况下，ResNet50网络［12］中卷积核是大小固定的，在面对不同尺寸或者不同形状的织物疵点时，缺乏一定的自适应能力，会导致定位不精准。而在DCN模块中的每一个单元均能够进行变形，且任一单元点均可跟随一个具有学习能力的偏移量进行移动。复杂图案印花织物疵点形状很多呈现不规则状态，仅使用原始的ResNet50网络不能较好地处理不规则疵点，所以，本研究在ResNet50网络的基础上引入DCN来适应形状不规则的织物疵点，较好地提升了检测的准确率。原始的ResNet50网络模型主要包括5个阶段，首先将待检测的织物图片输入到网络中，接着进入第1阶段，该阶段主要包括卷积、批处理、Relu激活函数以及最大池化，第2~第5阶段主要由卷积模块和识别模块组成，然后输出对应的特征图。本研究在ResNet50网络模型的后3个阶段中加入DCN，见图2。图2虚框内是3×3的DCN，首先在普通卷积上引入2D偏移量，然后依据输入部分的特征图，再利用补充卷积层进行学习，实现对复杂图案印花织物的不规则形状疵点的学习以及适应，最后将输入部分获得的特征图以及偏移量一起送入卷积层获得相应的输出特征图。.F002图2ResNet50⁃DCN网络模型1.2　改进的BFP⁃FPN结构FPN模块在检测小像素目标中效果较好，该模块由2个部分组成。第1部分通过自下而上提取特征，第2部分将自上而下的每一层特征图和左侧的特征图相加，2个部分之间采取横向连接方式，最后获取特征融合后的预测结果。由于不同层级间特征具有不平衡性，FPN结构在提取特征时存在提取不平衡的问题，因此，本研究使用BFP⁃FPN模块缓解不同层级间特征不平衡问题，并在BFP⁃FPN模块后添加具有线性性质的特征融合模块，改进后的网络结构见图3。图3中，C1~C4表示FPN结构获得的4个尺度的输出结果，P1~P4表示经过BFP处理后的输出结果。.F003图3改进的FPN网络模型引入的特征融合模块实质是一种线性组合方式，即将含有复杂图案印花织物疵点图片的特征图与不含任何疵点的模板图片特征图进行加权求和，其采用的计算公式见式（1）。Of=m×Df+n×Tf （1）式中：Df表示待检测特征图，Tf表示模板特征图，Of表示输出的融合特征图，m、n表示学习参数。自动学习模板特征图与待检测特征图之间存在相关性，改进后的BFP⁃FPN结构能够更充分提取特征信息，同时增强不同层级间特征的平衡性。2 改进的损失函数Focal Loss函数［13］一般用于处理多分类任务中数据样本的不平衡问题。本研究中的织物疵点类型丰富且数据样本分布不均，因此采用Focal Loss函数克服在不同类型织物疵点图片样本下存在的不均衡问题。该函数中通过采用softmax函数计算目标的预测值，softmax函数的计算公式见式（2）。由式（2）可知，该函数主要由指数函数构成，其具有放大性质，该性质在一定程度上会导致数据的上溢。所以，本研究在原函数的基础上添加了一个常数项作为调节因子，保证结果不变的同时确保了数据的正确性。softmax(xi)=exp(xi)∑jexp(xj) （2）式中：i表示第i个类别，j表示分类总数。针对多分类任务中损失函数存在的问题，Focal Loss损失函数见式（3）。Lfl=-(1-ŷ)γlogŷ,当y=1-ŷγlog(1-ŷ),当y=0 （3）式中：y的值为0或者1，ŷ是目标的预测值，γ表示调节权重曲线的倾斜程度。在多分类问题中，Focal Loss函数可以简化为Lfl=-(1-ŷ)γlogŷ，在式（3）的基础上提出了一点改进，见式（4）。L*=-softmax(-Kxi+ε)logsoftmax(xi) （4）式中：K与γ均用于表示调节权重曲线的倾斜程度，添加的ε值表示调节因子，用于防止指数函数造成的数据溢出。因为指数函数自身的性质可以推导得到softmax(-Kxi+ε)=softmax(-Kxi)，所以改进后的损失函数有效地避免了数据处理时存在的上溢情况，同时保证了获取数据的准确性。3 试验分析3.1　试验数据集及试验设置本研究采用的计算机配置为Intel i7 8700K CPU和NVIDIA GeForce GTX1080TI GPU，操作系统是Ubuntu16.04，采用PyTorch深度学习框架，试验中设置batch size为2，训练步数为550 000，初始学习率为0.002，优化参数动量因子为0.9，衰减系数为0.000 1。本研究的数据集中包含了18 063张织物疵点图片，680张模板图片。其中，模板图片是指只含有背景纹理信息且不包含疵点的织物图片。试验过程中采用分辨率为4 096 pixel×1 696 pixel的织物图片，并且选用其中的16 256张布匹疵点图片做训练集，然后将剩下的1 807张布匹图片做验证集。本研究主要针对破洞、缝头、网折、虫粘、花毛、沾污以及织疵共7类疵点进行检测，试验结果见图4。图4本研究模型检测结果图.F4a1（a）破洞.F4a2（b）缝头.F4a3（c）网折.F4a4（d）虫粘.F4a5（e）花毛.F4a6（f）玷污.F4a7（g）织疵.F4a8（h）正常最终通过分类准确率（Accuracy，Acc）与平均精度均值（mean Average Precision，mAP）两项指标的值判断改进的网络模型和原始网络模型的性能。准确率计算公式见式（5）。Acc=TP+TNTP+TN+FP+FN （5）式中：TP表示正确分类的正例，TN表示正确分类的负例，FP表示负例被错分为正例，FN表示正例错分为负例。平均精度（Average Precision，AP）表示针对单个类别的识别器，mAP表示对不同类别的AP获取平均结果，具有评价多个分类器的性能。mAP的值域在0~1的范围内，mAP值越大说明其检测准确率越高。具体见式（6）~式（8）。AP=111∑r∈0,0.1...1ρinterp(r) （6）ρinterp=maxr˜:r˜≥rρ(r˜) （7）mAP=sum(AP)/N （8）式中：AP中采用了11点插值的方式获取最佳的检测精度，r表示11个点中的任意一点，ρinterp(r)表示单一类别识别器在任意一点获取的检测精度值，ρ(r˜)表示召回值为r˜时的检测精度值，N表示分类器的个数总和。3.2　ResNet50⁃DCN网络性能ResNet50与ResNet50⁃DCN的网络性能对比试验结果见表1。由表1可知，mAP和准确率分别提高了0.75个百分点和0.91个百分点，误检率和漏检率分别降低了0.91个百分点和0.29个百分点。改进后的网络模型能够有效提高检测准确率，同时也改善了网络模型存在的误检率和漏检率问题。改进后的ResNet50⁃DCN网络模型具有更强的不规则织物疵点的特征提取能力。.T001表1ResNet50和ResNet50⁃DCN网络性能对比网络模型mAP/%准确率/%误检率/%漏检率/%ResNet5063.7790.559.452.85ResNet50⁃DCN64.5291.468.542.563.3　BFP⁃FPN网络性能在FPN网络中加入BFP模块，利用优化的BFP⁃FPN结构，改善了复杂图案印花织物疵点在FPN网络不同层级特征不平衡问题。试验结果见表2。由表2可知，mAP和准确率分别提高了0.79个百分点和0.70个百分点，而误检率和漏检率分别降低了0.70个百分点和0.10个百分点。改进后的网络模型比原始网络模型稍有改善，说明BFP⁃FPN模块结合特征融合模块对特征提取具有较好的效果。.T002表2FPN和BFP⁃FPN网络性能对比网络模型mAP/%准确率/%误检率/%漏检率/%FPN63.7790.559.452.85BFP⁃FPN64.5691.258.752.753.4　本研究改进算法试验结果不同模型在织物疵点数据集上的试验结果见表3。由表3可知，本研究改进的算法与已经存在的优秀算法相比，其mAP值达到了67.87%，提高了2.34个百分点，且有效地将复杂图案印花织物疵点检测的准确率提升了3.01个百分点，并将误检率与漏检率分别降低了3.01个百分点、0.04个百分点。.T003表3不同模型在织物疵点数据集上的试验结果检测器主干网络mAP/%准确率/%误检率/%漏检率/%Faster R⁃CNNResNet5065.5387.4012.601.42CascadeR⁃CNNResNet5063.7790.559.452.85本研究改进模型ResNet50⁃DCN67.8793.566.441.384 结论本研究提出的基于深度学习的复杂图案印花织物疵点检测方法从准确率、误检率、漏检率上均优于原始算法。试验过程中主要针对表面平整的印花织物进行检测，采用改进的ResNet50⁃DCN网络结构增强了对不规则织物疵点的适应能力，利用优化的BFP⁃FPN结构改善了复杂图案印花织物疵点在FPN网络不同层级特征不平衡问题，并且使用改进的损失函数有力地确保了数据的正确性。试验表明，该算法有效地克服了复杂图案印花织物疵点检测过程中存在准确率较低、误检率和漏检率较高的检测难点，较好地改善了复杂图案印花织物疵点检测模型的性能。