清除相似重复记录首先需要识别出标识同一个实体的相似重复记录,主要有两种方法:一种通过比较记录对应的整个字符串之间的相似度来决定记录是否表示现实中同一实体;另一种则以记录中的字段为基础进行匹配。先设定一个文本相似度,然后利用记录间的文本相似度来判定两条记录是否相似,如果两条记录的文本相似度大于某个预先指定的阀值,则判定这两条记录是重复的,反之亦然。
科研之友
微信
新浪微博
Facebook
分享链接
