科研之友
微信
新浪微博
Facebook
分享链接
摘要
现有多轮对话生成的Encoder-Decoder模型容易产生单一的响应,虽然使用条件自动编码器(CVAE)可以有效改善响应的多样性问题,但是基于CVAE的模型大多不能够捕捉上下文中较长的依赖。同时,现有的模型也无法显式处理上下文话语和源语句之间的差异。该文将Transformer与CVAE结合,通过Transformer捕捉对话中的长依赖,使潜在变量可以学习到更丰富的对话分布。通过分离上下文语句的编码实现上下文的信息流向源语句,并使用门控机制来控制上下文话语和源语句的信息融合,捕捉对话中对响应影响更大的信息。实验表明,该模型产生的响应多样性更高,质量更好。
- 单位
