科研之友
微信
新浪微博
Facebook
分享链接
摘要
基于指针网络与引入注意力机制的编码器解码器神经网络模型,构建混合网络模型生成抽象式新闻摘要。实验采用搜狐新闻语料库作为数据集,先对数据集进行数据清洗,包括去除空格、特殊字符、停用词等,利用中文分词系统ICTCLAS[1]对清洗过的语料库分词,再把数据集划分为训练集、验证集、测试集。模型的搭建是在加入注意力机制的编码器解码器模型的基础上引入了指针网络,该网络会生成一个权衡概率,用来分配从词典中生成新词与从原文中复制词语的权重。生成的抽象新闻摘要采用ROUGE评分机制进行评测,评测结果比单独采用加入注意力机制的编码器解码器模型平均高出2分。
-
单位上海师范大学; 机电工程学院
