基于知识蒸馏和半监督学习的非侵入式负荷分解

作者：何健明; 李梦诗; 张禄亮; 季天瑶

来源：广东电力, 2021, 34(09): 60-70.

DOI：10.3969/j.issn.1007-290X.2021.009.008

• 非侵入式负荷监测
• 知识蒸馏
• 半监督学习
• 深度学习
• 双向门控循环单元
• 自注意力机制

非侵入式负荷监测(non-intrusive load monitoring, NILM)中的负荷分解是一种将负荷总功率分解为各类负荷功率的技术;随着深度学习理论的发展,基于神经网络的负荷分解模型的误差逐渐降低,同时也带来了模型参数量大幅增加的问题。为了降低模型分解功率的误差,提出一种基于序列到序列(sequence to sequence, seq2seq)、双向门控循环单元(bi-directional gating recurrent unit, BiGRU)、自注意力机制和残差网络的负荷分解算法;为了减少神经网络的参数并充分利用无标签数据,提出一种基于知识蒸馏和半监督学习的训练框架;无标签数据经由预训练的教师网络处理,得到时序概率分布,用于指导学生网络的训练。在开源数据集REFIT上进行的模型性能测试结果表明,学生网络参数量仅为教师网络参数量的6.7%,平均绝对误差仅增加5.8%。

• 单位
  华南理工大学