深度学习模型的发展极大地提高了机械故障诊断的准确性[1-2]，而诊断准确率和稳定性提升的前提基于两个假设：a. 有大量标记数据可用；b. 训练数据集和测试数据集服从相同分布，而这两个假设在工程上难以实现[3]．因此，在实验室数据下表现良好的深度学习模型在现实工程问题中故障识别性能会降低，影响故障诊断效果．为了解决深度学习故障诊断模型的局限性，基于迁移学习的机械故障诊断方法受到重视，并引起了学术界和工业界的广泛关注．大多数迁移学习方法的主要假设之一是基于闭集条件，这表明训练和测试数据应该覆盖相同的机器健康状态[4-7]．然而，这种闭集诊断转移假设在实际工程领域中存在一定困难．由于数据收集的经济成本，通常很难收集到足够多的具有各种健康状态的训练数据，导致源域的故障类别存在局限性，在测试阶段会出现新的不属于源域的未知故障模式，诊断模型会将新的未知故障类型错误地分类为已知故障类型，因此本研究提出一种更具实用性的故障迁移场景，称为开放集诊断转移问题．本研究提出了一种基于理论误差边界优化的开放集故障迁移模型，通过渐进式学习模块逐步区分未知标签数据，避免未知故障对故障迁移的影响．在分离阶段，通过基于对抗网络的由粗到细辨别器得到一个灵活的决策边界，自适应地区分目标域中未知样本；在聚拢阶段，通过对抗学习共享标签空间内的域不变特征．此外，将理论误差边界结合到模型优化过程中，可以促进分离阶段的未知数据分离和聚拢阶段的类内数据对齐．本模型的主要特点如下．a. 探索了更具挑战性的开放集机器诊断转移场景，其中目标域不仅包含和源域相同的标签空间，还包含私有标签空间(潜在的未知故障类型)．b. 提出的渐进式学习结构被设计为两个阶段，分别为目标域未知样本识别(分离阶段)和跨域特征对齐(聚拢阶段)．在两阶段学习过程中，通过双层辨别器实现未知样本决策边界制定，通过加权对齐方式保证模型在不同域偏移场景下都实现准确故障迁移．c. 从理论角度分析误差边界，指导模型优化．将决策界学习和分布匹配的理论误差分别结合到两阶段学习过程中，避免了模型偏差．1 理论背景给定假设空间在函数Cs+1∈H的条件下，对于C∈H，样本的理论误差边界Rt(C)定义为[8]Rt(C)/(1-πCs+1t)≤Rs(C)+dHl(QXY≤Cst,PXs)+Rt,Cs+1(C)/(1-πCs+1t)-Rs,Cs+1(C), (1)式中： πCs+1t为开放度；Rs(C)为源域风险；Rt,Cs+1(C)为开放集正项；Rs,Cs+1(C)为开放集负项．为了更好地理解误差边界理论，下面介绍源域损失、开放集损失和差异距离等重要概念．1.1　源域损失源域损失代表模型在样本已知类上的分类损失．根据开放集的假设，源域中不包含任何未知样本，所有未知样本均在目标域中．因此，只用最小化源域标记数据的分类误差．1.2　开放集损失开放集风险ΔO旨在估计模型在未知样本上的分类损失，ΔO由正项Rt,Cs+1(C)和负项Rs,Cs+1(C)两部分组成．正项Rt,Cs+1(C)较大的表明更多的目标样本被识别为未知，而负项Rs,Cs+1(C)阻止源域样本被识别为未知类别．由于源样本在训练过程标记，负项Rs,Cs+1(C)为0，因此ΔO的值仅由开放度πCs+1t (目标域中的未知样本占比)和未知目标样本的部分损失Rt,Cs+1(C)两个参数决定．为了准确约束开放集损失，首先应该在没有目标标签先验信息的情况下准确评估开放度πCs+1t，然后通过训练分类器来最小化Rt,Cs+1(C)．1.3　差异距离差异距离表示源域特征和目标域特征之间的分布差异．为了最小化差异距离，近年来提出了各种方法进行分布对齐，包括基于统计的方法[9]、基于距离的方法[10]和基于对抗的方法[11]．2 开放集迁移框架本研究提出的两阶段开放集迁移学习框架如图1所示，图中：Bs为用于初步分离的源域辨别器；Bt为用于进一步分离的目标域辨别器．首先对数据进行预处理，将振动信号转化为标准化的频谱图像；然后输入基于卷积神经网络的特征生成器提取多维特征，利用源域标记数据训练分类器降低源域风险；其次在分离阶段使用双辨别器进行开放集风险优化，自适应建立决策边界，识别目标域未知样本；最后在聚拢阶段对经过加权的目标域样本进行分布对齐，促进学习共享标签空间的域不变特征用以诊断故障．10.13245/j.hust.220608.F001图1模型框架2.1　源域损失优化源域损失保证故障诊断模型能够准确分类源域的已知故障类别，为此本研究定义了一个多类别分类器C来计算源风险，源域风险Rs(C)定义如下，Rs(C)=∑xi∈DsLce{C1:|Cs|[G(xi)],yis}/ns, (2)式中：Lce为交叉熵损失函数，常用于多类别分类函数；C为Cs+1类别的通用分类器，即源域中的已知类Cs加上目标域中的附加未知类；G(xi) | xi∈Ds为从源域中提取的特征；C1:|Cs|[G(xi)]为每个样本到相应已知类的概率；yis为每个源样本的真实标签信息．2.2　开放集损失优化开集风险表征了模型区分已知样本和未知样本的能力．为了制定决策边界优化ΔO，本研究提出了双层辨别器模块，包括用于初步分离的源域辨别器Bs和用于进一步分离的目标域辨别器Bt．2.2.1　源域辨别器本研究设计了一个多二进制辨别器Bs，借助源域知识实现初步未知样本筛选，具体Bs损失优化为Ls=∑c=1|Cs|1ns∑xi∈DsLbce{Bs[G(xi),I(yis,c)]}, (3)式中Lbce为二元交叉熵损失，总共有|Cs|个源辨别器．若yis=c（源样本被对应类别的源辨别器Bs识别），则标记函数定义为I(yis,c)=1，否则定义为I(yis,c)=0．对于输入到Bs的每个目标特征G(xi)∈Dt，每个二元辨别器的输出概率pt可以看作是根据相应源类别Cs的预测置信度，最终输出一个概率向量[p1,p2,…,p|Cs|]．对应地，概率向量中最大值被设为基于置信度生成的对应源域类别相似性．由于辨别器利用的是源域样本已知类构建，因此目标域已知类样本(与源域已知类有更高相似性)输出的概率向量最大值会普遍高于未知类的目标域样本．2.2.2　目标域辨别器通过对一个批次的样本相似性从高至低进行排序，选择具有最高相似性的样本和最低相似性的样本构成新的子集Dt'用于进一步精细区分．利用筛选后样本子集构建目标域辨别器优化如下Lt=1nt'∑xj∈Dt'Lbce{Bt[G(xi),dj]}，(4)式中：nt'为新构建集Dt'的样本；dj表示过滤后的子集Dt'的目标样本是已知(dj=0)或未知(dj=1)．2.2.3　开放度估计通过引入Bs(为初步分离提供目标样本的相似性)和Bt(为精细分离提供目标样本为已知或未知类别的概率)，可以逐渐获得目标样本的自适应决策边界，则参数开放度πCs+1t可以通过如下方式估计，πCs+1t=1nt∑xj∈Dt1-Bt[G(xj)]. (5)式中nt为目标域Dt的全部样本．通过建立双层辨别器估计开放度πCs+1t后，可以得到开集风险ΔO，优化函数如下ΔO=πCs+1t1-πCs+1t∑xj∈DtLmse{C|Cs|+1[G(xj)],yCs+1}．(6)2.3　差异距离优化在聚拢阶段，模型目标是减少源域和目标域之间的分布差异，以实现域不变特征的提取．在开放集问题中只有源域和目标域的共享空间须要对齐．因此，模型使用加权对齐的方式以促进源域样本和目标已知类样本的对齐，避免源域样本和目标未知类样本的错误对齐．为了给每个目标样本分配不同的权重，Bt的输出被用作样本权重ωj=Bt[G(xj)],xj∈Dt．根据目标已知/未知辨别器Bt的定义，ωj越大表明样本来自共享空间(已知类)的概率越高，因此在对齐过程中会得到更多关注；而较小的ωj意味着样本来自私人空间(未知类别)的概率更高，在对齐过程中会受到抑制．加权分布风险优化函数如下Ld=1ns∑xi∈DsLbce{D[G(xi),di]}-∑xj∈Dt1-ωjLbce{D[G(xj),dj]}}/∑xj∈Dtωj, (7)式中域对抗性损失Ld旨在最小化D和最大化G．域辨别器D被训练以识别输入特征是来自源域还是目标域，而特征生成器G会通过对抗方式混淆辨别器D最终提取域不变特征．由于加权机制，具有较高已知类别概率的目标样本将主导对抗过程，分布对齐将集中在目标已知样本和源域已知样本上，从而避免错误对齐导致的负迁移问题．2.4　模型训练步骤模型详细算法主要分为三个阶段，即初始化阶段、分离阶段和聚拢阶段．初始化阶段确定模型输入的源域样本{xis,yis}i=1ns和目标域样本{xit}i=1nt，同时初始化模型的学习率γ，样本批次大小m，迭代次数T，以及网络参数θf,θy,θt,θsc|c=1|Cs|,θd．在初始化参数后对源域和目标域样本进行采样，基于式(2)和式(3)计算Lcls,Ls．分离阶段对模型进行训练，首先基于式(4)对细分的样本子集进行优化，之后基于式(6)计算ΔO，完成对模型参数θ̂f,θ̂y,θ̂t,θ̂sc|c=1|Cs|的更新．在聚拢阶段基于式(7)计算加权后的损失Ld，根据分离阶段输出的权重进行分布匹配，进一步更新模型参数θ̂f,θ̂y,θ̂d．之后进行下一轮迭代，直至达到指定迭代次数，结束模型训练．3 实验验证3.1　数据集描述选用德国Paderborn大学的滚动轴承数据集，其中包括轴承人为故障和实际损坏[12]．包含了多种工况，主轴转速分别设置为900 r/min和1 500 r/min，加载主轴扭矩设置为0.7 N·m和0.1 N·m，加载轴向压力为1 000 N和400 N．轴承座的振动信号由压电加速度计采集，采样频率为64 kHz．选择了由加速寿命测试引起的实际损坏的7种不同轴承作为实验数据集，具体数据见表1．10.13245/j.hust.220608.T001表1Paderborn数据集参数标签故障位置故障原因故障模式1-OSF外圈疲劳单点故障2-OSP外圈塑性变形单点故障3-ORF外圈疲劳多点故障4-ISF内圈疲劳单点故障5-IRF内圈疲劳多点故障6-IORF内圈和外圈疲劳多点故障7-IORP内圈和外圈塑性变形多点故障3.2　评估方法和指标本实验一共选取了5种具有代表性的深度迁移学习方法作为对比．a．FTNN(特征迁移学习网络)[13]旨在通过多层域适应和伪标签学习来提取可迁移的特征，网络不同层的最大平均差异(MMD)被最小化以对齐分布．b．DCTLN(深度卷积迁移学习网络)[14]采用对抗性方式在不同机器之间传输诊断知识，域对抗损失和 MMD 损失相结合以最小化域之间的分布差异．c．OSBP(反向传播开放集迁移网络)[15]旨在构建一个决策边界来检测未知的目标样本，训练分类器和生成器在源样本和目标样本之间建立边界．d．STA(分离适应迁移网络)[16]采用两阶段网络结构，其中第一阶段探索源数据来区分目标未知数据，第二阶段适应跨不同域的已知类的分布．e．DATLN(深度对抗迁移学习网络)[17]采用对抗性分类器方法，旨在将源域和目标域中的样本(与已知类别)对齐，并检测具有未知类别的样本．使用所有类的归一化精确度(OS)和仅已知类的归一化准确度(OS*)两个指标进行模型评估：OS=1Cs+1∑c=1Cs+1x:x∈Dtc∧C[G(x)]=cx:x∈Dtc ;OS*=1Cs∑c=1Cs+1x:x∈Dtc∧C[G(x)]=cx:x∈Dtc . (8)3.3　模型参数为了保证评估准确性，所有方法(包括特征生成器、域辨别器和分类器)的模型参数都使用与所提出方法相同的架构(见表2)．此外，模型的最大迭代次数设置为500次，批次大小设置为40，域辨别器、源域分类器及特征生成器均使用自适应梯度估计(adaptive moment estimation，Adam)算法进行优化，学习率和权重衰减率均设置为5×10-4．10.13245/j.hust.220608.T002表2开放集故障迁移模型参数模块网络通道核输出尺度激活函数生成器卷积层11283128×62×62ReLU卷积层264364×60×60ReLU卷积层332332×58×58ReLU卷积层432332×56×56ReLU卷积层5163-16×54×54ReLU分类器全连接K+1K+1辨别器全连接11 0241 024Leaky-ReLU全连接21 0241 024全连接311×1Sigmoid3.4　迁移任务描述不同域偏移下开放集故障诊断任务见表3，其中源域的工况为主轴负载为0.1 N·m，轴向作用力为1 000 N；目标域的工况为主轴负载为0.7 N·m，轴向作用力为400 N．针对开放集任务的样本数不同，如编号T1的开放集迁移任务，源域样本为700个，不包含故障标签为内圈疲劳多点故障的样本；目标域有800个样本包含所有的故障类别．10.13245/j.hust.220608.T003表3开放集任务设计编号源域标签目标域标签样本数开放度源域目标域T11，2，3，4，6，7，81，2，3，4，5*，6，7，87008000.125T21，3，4，6，7，81，2*，3，4，5*，6，7，86008000.250T31，2，3，4，51，2，3，4，5，6*，7*，8*5008000.375T41，4，6，81，4，5*，6，84008000.5004 结果分析4.1　实验结果分析上述任务的比较结果见表4，包括所有类的归一化精确度 (OS)和仅已知类的归一化准确度(OS*)．每个任务平均进行 10 次实验，以减少随机性并提供测试精度的平均值，可以看出本文方法在所有开放集任务中都优于其他评估方法．10.13245/j.hust.220608.T004表4不同开放集任务的分类精确度方法指标T1T2T3T4FTNNOSOS*79.889.167.488.952.282.637.076.2DCTLNOSOS*71.182.170.292.256.687.138.575.3OSBPOSOS*69.377.879.291.453.179.340.378.2STAOSOS*63.573.063.658.263.176.945.191.1DATLNOSOS*82.094.163.086.772.898.251.9100.0本文模型OSOS*92.491.398.097.374.399.398.697.3%4.2　实验结果可视化为了进一步比较不同开放程度下的模型识别效果，图2给出了所有方法对轴承任务 T3的分类结果．FTNN和DCTLN模型都产生了负迁移，因为模型没有考虑目标域中来自yCs+1异常数据的影响，随即导致两个问题：a. 错误地将未知故障识别为已知故障类别(用蓝色虚线标记)；b. 错误匹配学习有偏差的特征(用紫色虚线标记)．这两个问题限制了传统迁移学习模型在开放集场景上的诊断性能，并随着开放度增加迁移性线性下降．10.13245/j.hust.220608.F002图2T3任务分类结果可视化开放集迁移学习模型通过提取跨域共享特征进行故障诊断和识别未知类以避免负迁移，实现了显著改进．但在不同开放度下，会存在识别精确度波动问题，可以观察到部分模型倾向过度划分：在任务T3中，STA和OSBP模型将已知样本错误分类为未知故障类别(用红色虚线标记)．这些问题可以归因于上述比较方法无法根据目标域的开放程度自适应调整决策边界，导致对未知样本的过度区分或欠区分．相应地，本文模型可以通过从双层辨别器模块以自适应地调整决策界限，有效识别未知类样本的同时对已知样本进行匹配．5 结论本研究提出了基于理论引导迁移学习模型来解决目标域具有未知故障类别的开放集诊断迁移问题，得到的主要结论如下．a. 模型通过渐进式学习机制解决开放集问题，包括分离阶段和聚拢阶段．在分离阶段，目标未知数据被推离已知类以避免参与域对齐过程．在聚拢阶段，来自源域和目标域之间共享标签空间的数据将通过对抗学习策略进行对齐，以进行诊断知识迁移．b. 对每个阶段的理论上限进行了分析并结合到优化过程中，这可以促进分离阶段的异常类可分离性和聚拢阶段的类内紧凑性．c. 基于轴承数据集进行了多个开放集迁移学习任务来评估所提方法的性能．实验结果表明：所提模型对比其他评估方法展现了更精确的识别效果，证明了所提模型可以有效解决不同开放程度场景下的故障迁移问题．