科研之友
微信
新浪微博
Facebook
分享链接
摘要
本文设计实现了一种neural language model,它的输入只有字母,输出为所预测的单词。该模型是一种recurrent neural net-work language model(RNN-LM),具体实现方面应用了较为成熟的long short-term memory(LSTM)结构,并在字符输入模块后使用了highway net-work技术,提高了该模型的性能,该模型在English Penn Treebank上测试结果达到了上游水平。并且训练出的模型的空间大小比传统DNN模型小的多。该模型在语意理解方面综合来说略微低于word level模型,但更加容易理解变形词汇,通过少量的模型变换可以转换成为word level模型,适应性较强。
-
单位信息工程大学
