融合复杂先验和注意力机制的变分自动编码器

作者：沈学利; 马玉营; 梁振兴

来源：计算机工程, 2022, 1-10.

DOI：10.19678/j.issn.1000-3428.0063401

• 推荐系统
• 协同过滤
• 深度学习
• 变分自动编码器
• 辅助隐向量
• 复杂先验
• 注意力机制
• 隐反馈

传统的变分自动编码器模型通常使用标准正态分布作为隐向量先验，在解决推荐系统这类复杂问题时，容易导致模型过度正则化和隐向量解耦表现不佳的问题。针对以上两个问题，提出了融合复杂先验和注意力机制的变分自动编码器。首先，用多层神经网络生成的隐向量先验分布替代标准正态分布作为假设先验分布，使得模型能够根据数据去学习到最合适的先验分布，同时让模型能够获得更多的潜在表征；然后，在单层隐向量基础上，添加一个辅助隐向量，将辅助隐向量与数据特征向量联合再生成隐向量，相较于原来的结构，很大程度上能够增强隐向量的低维表现能力和解耦性；最后，借助注意力机制对特征信息选择的特点，将注意力机制加入到两个隐向量中，对重要的结点赋予更大的权重值，使得隐向量能够传递更重要的信息。在公开的数据集Movielens-1M、Movielens-latest-small、Movielens-20M和Netflix上进行实验，结果表明，提出的模型相较于实验对比模型在评价指标Recall@20、Recall@50、NDCG@100中，平均提升了12.95%、10.80%、10.48%，证明了该模型的有效性。

• 单位
  辽宁工程技术大学