非侵入式负荷监测(NILM)是通过分析电力负荷中总电流与总电压的波动变化估计运行的电器类型及数量，并分离出个别电器的能量消耗[1]．利用NILM对电力系统用户侧的用电行为采集和分析，制定个性化电能消费策略，不仅可以提高电力用户的能源节约意识，刺激产生节能行为[2]，而且可以为电力负荷的规划和需求响应提供数据支持[3]．负载辨识是NILM的关键环节[4]，基于机器学习的方法利用负载的电气特性和能量消耗情况对负荷类型进行辨识受到了众多学者的广泛关注．文献[5]采用K最近邻(KNN)算法对不同电器的开关状态进行分类，并与决策树和高斯朴素贝叶斯算法进行对比验证了KNN算法对于NILM的有效性．文献[6]以负载的功率波动曲线为特征，通过KNN实现对负载类型的辨别．针对KNN模型表现对k值敏感和小电流幅值设备识别率低等问题，文献[7]首先利用局部均值分解对低维特征分解得到多维负荷特性，然后建立KNN模型对负荷类型分类．文献[8]提出使用连续小波变换得到的特征向量训练一个支持向量机模型辨别负载设备的开断状态．文献[9]利用主要成分分析法对获取的负载特征进行降维，并配合随机森林算法实现对住宅负荷中充电电动汽车的检测．然而，上述方法存在建模时间序列能力不足的问题，随着数据维度增加，算法所需要的算力也大幅提高，因此新型解决方案成为研究热点．近年来，基于深度学习的方法在众多领域取得了卓越的成效，同时也为NILM提供了可行的方案．文献[10]引入带有时间池化的深度循环神经网络用于负荷预测，与传统机器学习算法相比减少了模型的过拟合问题，改善了数据建模性能．但RNN模型在训练过程中易出现梯度消失的现象，长短期记忆网络[11]利用门控单元巧妙结合长期和短期记忆有效缓解了该问题，文献[12]基于这一模型实现了低采样率功耗数据的负荷识别．文献[13]以时间卷积神经网络为特征提取器，并联合胶囊网络保留输入信号时间特征，可以分别完成NILM的负荷分解和辨识任务．文献[14]将图像识别领域中残差学习用于NILM，采用空洞卷积建立深度空洞残差网络，解决了随着网络层数增加而导致的模型退化问题，同时扩大了模型的感受野，但直接用ResNet[15]架构建立的时间残差网络参数和计算量庞大，须要进一步优化结构．文献[16-19]通过绘制负荷的V-I轨迹把一维特征扩展到二维空间，并利用图像分类算法实现负载辨识，提高特征区分度的同时也增加了模型的计算量和参数量．针对上述问题，本研究提出一种基于改进非局部注意力模块的轻量化负荷辨识算法．该算法首先对设备稳定状态下的电流信号进行滤波、缩放和二次采样得到一个周期的标准化序列，然后通过调整ResNet架构搭建轻量、高效的时间残差神经网络，同时引入非局部注意力模块捕获不同时间特征的关联信息，最后使用原始电流和无功电流数据对建立的模型进行训练．在公开NILM数据集上对提出的方法进行验证，结果表明模型在低参数量和计算量的情况下具有较高的精度．1 基于尺度缩放和层归一化的非局部注意力模块1.1　非局部神经网络非局部神经网络[20]用于捕获特征间长距离的依赖关系，并考虑全局特征计算某一位置响应，弥补了浅层卷积神经网络中存在的单一局部操作的缺陷．对于连续的电流特征序列，可以建立不同时间节点之间电流的响应关系，本研究中非局部操作可表示为yi=1C(x)∑∀jf(xi,xj)g(xj)，(1)式中：yi为输入的电流特征x在时间i对应的输出；f为不同时间节点电流的相对关系函数；g为输入x在位置j的映射函数，用于计算x在时间节点j的特征值；C(x)为归一化参数；xi和xj分别为电流在时间i和j处的特征．这里f的形式可以采用嵌入的高斯函数，即f(xi,xj)=exiTWQTWKxj；(2)g=WVxj，(3)式中：WQ，WK和WV为权重参数；g采用一元线性函数表示．当C(x)=∑∀jf(xi,xj)时，输出y为y=softmax(xTWQTWKx)WVx，(4)即自注意力机制[21]的表达形式．softmax函数的表达式为softmax(zi)=ezi/∑k=1Kezk，(5)式中：zi为第i个节点的输出值；K为节点总数．1.2　改进的非局部注意力模块当WKx的维度dC较大时，式(4)中点积结果的幅值也将增大，使得softmax函数推向梯度较小的区域，因此增加了缩放因子1/dC缓解这一问题[21]，得到的输出y为y=softmaxxTWQTWKx/dCWVx．(6)为了方便非局部神经网络算法在深度神经网络中的应用，构建的自注意力模块为z=LayerNorm(W(y+x))，(7)式中：x和y分别为非局部操作的输入与输出；W为权重参数；LayerNorm表示层归一化．由此建立的非局部注意力模块如图1所示，图中：T为输入电流特征的时序长度；C为特征维度；⊗和⊕分别为矩阵乘法和矩阵加法．为了使模型具有更广的感受视野，模块中使用的权重均采用步长为1，卷积核为5的时间卷积，并保持输入与输出的通道数和时间维度不变，避免了特征信息的丢失．在基于自注意力机制的特征序列建模中，利用层归一化方法可以有效调整特征的分布，有利于不同特征的融合和模型训练．图1中采用的层归一化方法为z=α(x-μ)/σ+ε+β，(8)式中：μ和σ分别为特征向量x的均值和方差；α和β为可学习的尺度因子和偏置；ε为无穷小量．10.13245/j.hust.229112.F001图1改进的非局部自注意力模块2 基于时间自注意力的轻量卷积神经网络构建2.1　轻量级时间卷积神经网络构建卷积神经网络可以通过浅层网络高效的捕获局部的细微特征，然后将低级特征传递给深层网络获取输入的全局特征，并采用权值共享降低模型参数．在该任务中，利用基于残差学习的时间卷积神经网络提取不同时间的电流特征，最终通过全连接网络对深层特征分类实现负荷辨识．由此提出的轻量级深度时间残差卷积神经网络架构如图2所示，模型的输入分别为通过单层卷积降维后的原始电流conv I和无功电流conv If．Conv为卷积层，每两个卷积操作形成一个残差块(如图中虚线框出部分)，残差块中的实线表示与输入相同的残差连接，虚线表示对输入进行下采样后的残差连接．k为卷积核的大小，s为进行卷积的步长，X为当前输出的特征向量．与ResNet结构不同是，每一个彩色框中代表的卷积操作后都接有一个批归一化层和一个激活函数relu．在卷积神经网络最后加入对于时间的全局平均池化层Avg和隐藏层神经元个数为96的全连接层fc1和fc2，并在第一层全连接后连接一个丢失率为0.5的Dropout层防止模型过拟合．10.13245/j.hust.229112.F002图2时间残差卷积神经网络2.2　时间自注意力模块与卷积神经网络融合机制浅层卷积神经网络能够有效感知电流的局部特征，利用非局部注意力模块获取这些局部特征之间的交互关系，从而可以充分建模不同电器的特有属性，有利于深层网络对全局信息的表达，提高类间差距．为了获取电流序列的深层特征，在基于残差学习的卷积神经网络中，一种传统的注意力模块应用方式如图3(a)所示，其中Atten为改进的注意力模块，由于这种方式以注意力模块中层归一化后的结果作为输出，因此会对后续批归一化的作用造成影响．而图3(b)和(c)所示的以嵌入残差块的方式加入注意力模块将破坏原有残差结构的特征提取效果，因此提出了如图3(d)所示的时间注意力模块连接方式，该方式在保留了原有特征提取能力的同时充分发挥了注意力机制的作用．为了算法的轻量化和高效性，只在卷积神经网络的第二层和第三层嵌入了注意力模块，其位置分别为第二层的第二个残差块和第三层的第二、第四个残差块．10.13245/j.hust.229112.F003图3注意力模块与残差块的4种连接关系3 实验与结果分析3.1　数据准备与数据处理a．负载辨识数据集研究的数据来源于两个公开NILM高频数据集PLAID[22]和WHITED[23]，数据集包含不同设备从启动到稳定运行时的电压电流数据，适用于本研究的负荷辨识任务．PLAID数据集的标准电压主频率为60 Hz，采样频率为30 kHz，包含11类电器的1 074个实例．WHITED数据集来源于世界9个地区的54类电器，包含1 339个实例，根据不同地区标准电压频率分为50 Hz和60 Hz，采样频率为44.1 kHz．b．数据采样与处理在设备稳定运行状态下使用高频采样器采样电压电流，以电压过零为起点截取一个周期的电压和电流信号，并通过均值滤波算法降低噪声干扰．由于电网频率的波动变化，使得在不同时间采样一个周期的数据长度不一，本研究采用最近邻插值算法对数据时间长度进行缩放，得到一个周期内的480个电压和电流值．鉴于不同设备电压运行模式及电阻性负载电流运行模式具有相似性，基于Fryze[24]理论，利用原始电压U和电流I分解出无功电流If，以原始电流I和无功电流If作为模型输入．对输入的电流数据进行平均值归一化处理，使各电流采样点的数值分布于[-1，1]之间．基于卷积的方法降低时间维度，可以保留数据的重要信息，减少模型计算的复杂度．因此采用一个共享的卷积核分别对I和If卷积，卷积核的大小为5，步长为4，最终得到一个120×2的低时间维度特征向量作为神经网络的输入．以电风扇为例，本研究的数据采样和处理过程如图4所示．10.13245/j.hust.229112.F004图4电风扇的电压电流数据采样与处理过程3.2　实验设计a．模型评估策略为了合理地评估提出方法的有效性，首先对数据集中的所有样本按照类别标签划分为互不交叠的5等份，取其中的一份作为测试集用于评估模型的表现(即20%的数据作为测试集)，其余4份用作训练集对神经网络进行训练，然后以此方式分别将各份数据当作测试集训练出5个模型，通过取这5个模型在相应测试集上的平均表现评估提出网络的性能．并引入准确率、宏平均分数F-macro和F-measure三个性能指标对模型的分类性能进行评价．b．网络训练参数设置网络参数训练以小批次的随机梯度下降作为优化器，网络权重的初始值通过文献[25]初始化方法设置，利用交叉熵函数计算损失值，为了更好地发挥批归一化的作用批大小设置为32．学习率的初始值为0.01，随着对训练集迭代次数的增加按余弦下降，通过对训练集数据进行500次迭代后，学习率下降为0，并保存最后一次迭代得到的权重参数，用于在测试集上的模型评估．3.3　实验结果与分析基于第2节的模型设计搭建带有注意力机制的深度卷积神经网络，根据训练参数设置在两个公开数据集上对模型的权重参数进行训练，该模型在测试集上的测试结果如表1所示．将提出方法与现有基于深度学习的方法相比较，表明了所提出方法不仅减小了模型的复杂度和参数量，而且具有较高的设备识别率．10.13245/j.hust.229112.T001表1在PLAID/WHITED上提出方法与其他方法比较方法参数量计算量F-macro/%准确率/%文献[16]2.118×1076.331×10777.60/75.46—文献[13]0.460×1067.800×10679.08/—83.33/—文献[17]6.000×1077.160×10895.40/98.6698.04/99.05提出方法5.200×1040.400×10697.32/99.3298.42/99.33本实验还对比了注意力模块与卷积神经网络不同融合机制对模型辨识性能的影响，从表2的实验结果可以看出：在不破坏原有残差结构的情况下，以并联的方式插入注意力可以取得较好的识别效果．为了验证提出方法的有效性，本研究进行了消融实验，实验结果如表3所示，证明了非局部注意力机制在该研究中具有优异效果，改进的注意力模块进一步提高了模型的分类能力．10.13245/j.hust.229112.T002表2注意力模块与残差块不同连接方式的F-macro值 %数据集方式1方式2方式3提出方式PLAID96.3895.8896.2497.32WHITED98.8998.4898.8999.3210.13245/j.hust.229112.T003表3不同注意力模块的对比实验结果数据集注意力模块F-macro准确率PLAID无注意力模块95.7997.76原注意力模块96.6098.23改进注意力模块97.3298.42WHITED无注意力模块98.7298.73原注意力模块99.1099.10改进注意力模块99.3299.33%为了充分反映模型在不同设备上的分类性能，本研究通过PLAID数据集上的混淆矩阵和计算每种设备的识别率对模型的识别效果进行分析．首先统计模型在各份测试集上的辨识结果，得到模型对全部设备实例的预测数据，然后分别计算每种设备在测试集上的平均F-measure值，并根据预测结果得出混淆矩阵．可视化后的模型分类结果分别如图5和图6所示，由此可知每类设备的识别率都在90%以上，有8类设备的F-measure值超过了宏平均分数，其中加热器和微波炉达到100%识别效果．但模型对冰箱、洗衣机和空调的辨识效果低于其他设备，并且与其发生混淆的设备种类多样．这是由于这三类负荷运行时具有多种稳定状态，而且在不同的稳定状态下表现出来的电器特性差异较大，易被错误地检测为其他多种负荷．10.13245/j.hust.229112.F005图5PLAID数据集中不同设备的F-measure值10.13245/j.hust.229112.F006图6PLAID数据集混淆矩阵4 结语为了解决当前非侵入式负荷监测任务中基于深度学习方法存在的模型参数量大、复杂度高及建模长距离特征关系的能力弱等问题，本研究提出一种基于非局部神经网络的负荷识别模型．以设备稳定运行状态下低时间分辨率的电流信息为输入，利用改进的非局部注意力模块捕获不同时间电流特征的依赖关系，构建轻量高效的时间残差卷积神经网络．将该模型在两个公开NILM数据集PLAID和WHITED进行测试，得到设备分类结果的F-macro值分别达到了97.32%和99.32%，表明了提出方法的有效性．