科研之友
微信
新浪微博
Facebook
分享链接
摘要
随着科学、技术和工程的迅猛发展，近20年来，许多领域诸如光学观测、光学监控、健康医护、传感器、用户数据、互联网和金融公司以及供应链系统等都产生了海量的数据(例如，在医疗检测中，数据都是源源不断而来的，形成了“数据灾难”)。有效的数据分析和数据挖掘建立在数据可用性和数据高质量的基础上，数据高质量的前提是需要对数据进行清洗。数据清洗是对脏数据进行检测和纠正的过程，是进行数据分析和管理的基础，也是常用的提高数据质量的技术。实例层数据清洗是数据清洗的重要组成部分，该文重点对实例层数据清洗技术中属性和重复记录值的检测及清洗方法进行比较和分析总结。介绍了数据清洗技术以电气工程领域、医药领域、交通领域为代表的应用领域结合应用情况，对不同的数据集特点与适用的实例层数据清洗技术提供了有价值的选择建议。最后对实例层数据清洗技术面临的问题与挑战及发展方向进行了展望。
-
单位福建工程学院; 数学学院
