随着信息技术的不断提高，对工业大数据的探索已经成为一个重要的研究课题．异常检测可以通过实施早期预防性维护来提高工业设备的整体效率，因此时间序列异常检测方法逐渐成为数据分析领域的热点问题[1-2]．异常，也称为离群值，是指与其他观测结果相差甚远，以至于怀疑其是由另一种机制产生的数据[3]．时间序列的异常检测是从正常的时间序列中识别不正常的事件或行为的过程，有效的异常检测被广泛用于现实世界的很多领域[4]．时间序列的异常检测方法研究已经进行了大量的工作，在基于统计的文献中，提出了自回归综合移动平均(ARIMA)、累积和统计(CUSUM)和指数加权移动平均(EWMA)等模型[5-7]，但是对于工业过程时序数据，在检测正确率和效率上不能满足要求．近年来，大量的无监督深度学习模型被提出并应用于时间序列的异常检测，学者们通过深度网络学习时间序列之间的关系建立预测模型，通过预测结果与实际序列的偏差进行异常检测[8-9]．例如，基于LSTM(长短期记忆)预测模型的异常检测方法[10]、多层感知机(MLP)预测器[11]和支持向量回归[12]等，均通过预测值与真实值的误差进行异常序列识别．随着工业系统的发展，时间序列数据变得越来越复杂，使得时间序列即使在几个时间步长也难以预测，导致基于预测模型的时间序列异常检测方法不再适用[13]，因此基于重建的方法被提出．基于AE(自编码器）的异常检测方法是一种典型的重建方法，这种方法通过重建序列的误差进行异常检测[14-15]．在此基础上，利用循环神经网络(RNN)作为AE的编码解码网络能够提升AE对时间序列的重建能力．文献[16]提出基于LSTM的EncDec-AD(自解码异常检测)模型，学习重建正常时间序列行为，然后使用重建误差检测异常．然而以LSTM-AE模型为代表的记忆网络重建时间序列的异常检测方法，在异常检测阶段对正常数据与异常数据的重建误差区间分化不够明显，导致重建误差在阈值附近的序列被错误分类．针对上述问题，集成学习的方法被引入异常检测方法中[17]．集成异常检测的理念旨在通过设计不同的基检测器对检测结果进行集成，使得各基检测器之间优劣互补从而提升识别效果．鉴于上述分析，本研究提出一种集成LSTM-AE框架——LAEE方法，通过设置多个隐层维度不同的LSTM-AE，根据其在训练阶段的表现挑选出基检测器，并给出其各自权重计算方法，在异常检测阶段，对基检测器的重建误差集成获得新的重建误差矩阵，通过优劣互补，加大对检测目标正常序列与异常序列的重建误差区间分化程度，提升异常检测性能．1 LSTM-AE时间序列重建LSTM作为RNN的一种变体，保留了标准RNN的优势，能够利用历史数据对时间序列进行推演预测，同时有别于标准RNN的模型结构，有效解决了RNN对历史信息利用不足的弊端，LSTM的核心结构为如图1所示的细胞结构[18]．10.13245/j.hust.211107.F001图1LSTM模型架构LSTM细胞结构主要通过三个门控制对历史信息的更新和利用：输入门控制读取新信息，遗忘门控制丢弃信息，输出门控制输出信息．图1中：Xt为t时刻的向量输入；ht-1为t-1时刻的输出；Ct-1为t-1时刻的细胞状态；it为输入门；ft为遗忘门；ot为输出门；σ为激活函数，默认为sigmoid非线性函数．LSTM细胞结构计算公式为|it|=σi(wixXt+wihht-1+wicCt-1+bi);| ft|=σf(wfxXt+wfhht-1+wfcCt-1+bf);|ot|=σo(woxXt+wohht-1+wocCt+bo);|Ct|=ftCt-1+ittanh(wcxXt+wchht-1+bc);|ht|=ottanh(|Ct|+b), (1)式中：wix，wfx，wox，wcx分别为输入门、遗忘门、输出门和细胞状态对当前输入Xt的权重；wih，wfh，woh和wch分别为输入门、遗忘门、输出门和细胞状态对输出ht的权重；wic，wfc和woc分别为输入门、遗忘门和输出门对细胞状态Ct的权重；b为各门的偏置．在LSTM的基础上，LSTM-AE结构如图2所示[18]．LSTM编码层学习输入时间序列每个时间步的隐藏状态，LSTM解码层通过当前隐藏状态和前一时刻重建序列作为输入重建当前时间序列．10.13245/j.hust.211107.F002图2LSTM-AE结构框架例如，给定时间序列X={x1,x2,…,xL}，通过编码层LSTM学习到每个时刻对应的隐藏状态，hEi是对应时间步ti的隐藏状态，其中i∈{1,2,…,L}，最末的隐藏状态hEL作为初始状态进入LSTM解码层，即hDL=hEL，进行时间序列重建，其中对应时刻重建公式为x'(i)=w∙hDi+b. (2)之后，以x't为输入至解码层获得hDt-1重建x'(i-1)，依此循环直至完成整个时间序列数据的重建．训练过程以最小化重建误差为网络参数优化目标，重建误差εloss可表示为εloss=||X'-X||2，(3)式中X'为重建时间序列数据．2 LAEE时间序列异常检测针对LSTM-AE模型重建时间序列的异常检测方法，在异常检测阶段对正常数据与异常数据的重建误差区间分化不够明显的问题，本研究提出LAEE算法集成框架，框架流程如图3所示，各阶段详细操作与计算方法如下．10.13245/j.hust.211107.F003图3LAEE算法框架流程a．训练阶段将训练集中的数据划分为包含全部正常数据序列的集合D1和包含全部异常数据序列的集合D2．设置m个隐层维度不同的LSTM-AE，使用D1分别对其进行训练．b．基检测器选取使用D2对训练好的各AE进行预测试，通过与重建阈值的大小比较进行异常判定，阈值设定为Tm=(R1m+R2m)/2，(4)式中：Tm为重建阈值；R1m和R2m分别为第m个LSTM-AE对D1重建误差集合的90%分位数和对D2重建误差集合的10%分位数．分别计算各AE重建D1的正确率C1与对D2进行异常检测的正确率C2，即C1k=p(Gk(xi∈D1)≤Tk)=∑i=1N1I(Gk(xi)≤Tk);C2k=p(Gk(xj∈D2)Tk)=∑j=1N2I(Gk(xj)Tk), (5)式中：C1k和C2k分别为第k个AE的C1正确率和C2正确率；p为概率值；Gk为第k个LSTM-AE；N1和N2分别为D1和D2中的序列数；xi为D1中的第i个时间序列；xj为D2中的第j条时间序列；Gkx为对应该条时间序列数据的重建误差值．为了使集成结果表现更均衡，过多的基检测器对集成结果没有正向作用[17]，分别选取C1和C2最高的LSTM-AE获得共k个基检测器． c．权重设置对挑选出的基检测器根据C1与C2设置各自的权重，权重设置公式为qk=αC1k+βC2k；(6)ek=1-qk；(7)Qk'=(1/2)log[(1-ek)/ek]，(8)式中：qk为第k个基检测器的训练误差参数；α和β为偏好参数，且有α+β=1；ek为综合误差率；Qk'为权重计算结果．可以根据对数据识别的偏好设置大小，当偏好更高的召回率时，使αβ；当偏好更高的准确率时，使αβ；当均衡召回率和准确率时，使α=β．Qk'表示归一化前的基检测器k的权重，对得到的Qk'进行归一化得到最终的权重矩阵为Q=[Q1,Q2,...,Qk]，(9)式中：Q为权重矩阵；Qk为第k个基检测器的权重．d．重建误差集成与异常判定对测试集D3进行异常检测，每个基检测器都会产生自己的一组重建误差，最终每个时间列的重建误差为各个基检测器的重建误差在权重矩阵下的加权和，即为li=Q1l1i+Q2l2i+...+Qklki，(10)式中：li为第i个数据列的最终重建误差；lki为第k个检测器对第i个数据列的重建误差．最终重建误差矩阵为L=Q·Lk=Q1L1+Q2L2+...+QkLk，(11)式中：L为最终重建误差矩阵；Lk为第k个基检测的重建误差向量．每个时间列的最终重建误差与重建阈值的比较作为判断该数据列是否异常的标准，最终重建阈值设定方法为T=Q1T1+Q2T2+...+QkTk，(12)式中T为最终重建阈值．若li≤T，则序列i为正常序列；若liT，则序列i为异常序列．3 实验验证与结果分析3.1　实验设置3.1.1　实验数据本研究利用Wafer数据集和ECG5000标准数据集进行算法验证，其中Wafer数据集中具有2种不同分布模式的时间序列，ECG5000标准数据集中具有5种不同分布模式的时间序列．Wafer数据集：来自晶片数据与半导体微电子制造．该数据集主要包含正常和异常两个分布模式的数据，其平均值上下一个标准差的填充曲线如图4所示，图中vs为传感器的采集数据值．图4(a)为正常运行时传感器时间序列数据，图4(b)为系统出现异常时传感器时间序列数据．10.13245/j.hust.211107.F004图4Wafer序列分布模式ECG5000标准数据集：ECG5000是从经过预先处理的Electrocardiograms(ECG)数据中随机抽取的5 000次心跳组成的数据集．数据来自一名严重充血性心力衰竭患者，分类值通过自动注释获得，共有五种分布模式，其平均值上下一个标准差的填充曲线如图5所示，图中ve为心电图的序列值．图5(a)对应正常心跳序列，本研究将除正常外的四种心跳模式视为异常时间序列(图5(b)～(e))．两数据集异常分布情况如表1所示．10.13245/j.hust.211107.F005图5ECG5000序列分布模式10.13245/j.hust.211107.T001表1数据集异常分布数据集异常分布Wafer总序列个数7 164异常序列数1 568时间步长152ECG5000总序列个数5 000异常序列数2 081时间步长1403.1.2　实验参数和实验性能指标集成前各LSTM-AE隐层维度设置为5～35，实验参数设置如下：LSTM总层数为2；迭代训练次数(每子训练集)为80；验证拆分比例(validation split)为0.2；模型损失函数为L1 loss；优化函数为Adam；基检测器个数k为6．LAEE时间序列异常检测方法的性能从以下指标体现，即P=TP/(TP+FP)；(13)R=TP/(TP+FN)；(14)F1=2PR/(P+R)；(15)FPR=FP/Tn；(16)FNR=FN/Ta，(17)式中：TP为检测正常且实际正常样本数；FP为检测正常但实际异常样本数；FN为检测异常但实际正常样本数；P为准确率，表示TP占检测为正常的样本总数(TP+FP)的比例，P1，且P越大越好；R为召回率，表示TP占实际为正常的样本总数(TP+FN)的比例，R1，且R越大越好；F1为模型准确率和召回率的调和平均指标，0≤ F1≤1，且F1越大越好；FPR为虚正率，表示检测正常的错误率，越小越好；FNR为虚警率，表示检测异常的错误率，越小越好；Tn为所有正常序列总数；Ta为所有异常序列总数．3.2　集成结果与实验分析首先将LAEE对测试数据的重建结果与集成前的LSTM-AE对比，选取集成前在D1上重建正确率C1最高的LSTM-AE1与在D2上检测正确率C2最高的LSTM-AE2，分别作出其在测试数据上正常序列与异常序列的重建误差密度分布，如图6和图7所示，图中：p为重建误差密度；r为重建误差．10.13245/j.hust.211107.F006图6Wafer集成前后重建误差密度对比10.13245/j.hust.211107.F007图7ECG5000集成前后重建误差密度对比由图6和图7可以看出：由于隐层维度的不同，使得LSTM-AE1和LSTM-AE2的重建误差表现差距较大，前者的重建误差整体相对偏小，后者的重建误差整体相对偏大，且正常与异常部分重合面积均较大，使得重建误差在阈值附近的时间序列不能被正确分类．而集成后LAEE的重建误差明显分化，其对正常序列的重建误差密度分布区间更靠左，对异常序列的重建误差密度分布区间更靠右，且二者的重合面积明显减小．集成前后FPR与FNR对比如表2所示，在两类数据集上，集成后的FPR与FNR指标均有所降低，说明LAEE方法有效优化了单独LSTM-AE区分数据的能力，提高了检测目标的整体识别正确率．10.13245/j.hust.211107.T002表2集成前后FPR与FNR对比数据集LSTM-AE1LSTM-AE2LAEEWaferFPR0.080.160.06FNR0.220.090.08ECG5000FPR0.090.120.08FNR0.170.100.06为了进一步评估本研究提出的方法，对比了4种具有代表性的基线方法：LOF(局部异常因子)异常检测算法通过给每个对象分配一个离群值的程度从而进行离群值检测；OCSVM(单类支持向量机)将数据密度较高的区域分类为正，将数据密度较低的区域分类为负；VAE(变分自编码器)通过学习原始数据的概率分布，通过对数据分布的重建，根据重建概率进行异常检测；RNN通过建立预测模型以预测误差的大小进行异常判定．基于上述方法在ECG5000和Wafer数据集上进行的仿真实验，其准确率、召回率与F1指标如表3所示．从表3中可以看出：本研究所提LAEE方法P指标与R指标均高于0.95，说明集成方法有效弥补了LSTM-AE检测正确率不均衡问题．由于类间样本数差距不大，LOF及VAE方法倾向于将数据划分为正常数据，具有更高的召回率R，LAEE方法的准确率指标P和F1分数指标在两类数据集的表现均好于四种基线方法，说明LAEE方法相较于其他方法更擅于辨别出时间序列中的异常序列，并且总体分类效果最佳．10.13245/j.hust.211107.T003表3两组数据准确率、召回率与F1指标对比实验结果数据集方法PRF1WaferLOF0.890.970.93OCSVM0.910.760.83VAE0.900.980.94RNN0.980.950.96LAEE0.990.960.97ECG5000LOF0.600.960.73OCSVM0.600.790.68VAE0.890.980.93RNN0.910.900.91LAEE0.950.960.964 结语本研究提出一种LAEE异常检测集成框架，对训练集进行划分，使用训练集正常序列训练多个维度不同的LSTM-AE，使用训练集异常序列进行预检测，挑选出基检测器，并设置权重，在异常检测阶段对各个基检测器产生的目标时间序列的重建误差加权集成获得最终重建误差矩阵，通过与重建阈值的比较进行异常判定．在两种类型的数据集上的实验结果显示正常数据与异常数据的集成重建误差呈现明显分化，并通过与4种基线方法的比较，验证了所提方法的有效性与优越性．