科研之友
微信
新浪微博
Facebook
分享链接
摘要
[目的 /意义]训练语料的质量对主流的文本分类算法至关重要。消除噪声,尤其是"类别外噪声",有助于提升训练语料的质量,进而提升文本分类算法的准确率。[方法 /过程]本文重点利用语义信息来消除"类别外噪声"。通过对每个类别的训练语料构建"类目-类目关键词"知识库,利用"词嵌入"自动化比较其语义信息来判断该类别下是否存在噪声,并给出"类别外噪声"类目候选列表以及文献候选列表,最后通过人机交互的方式消除噪声。[结果 /结论 ]本文提出的去噪方法能够有效检测并消除大规模文本分类的训练语料中的噪声数据,提升训练语料的质量。
- 单位
