人工参与的迭代式数据清洗方法研究

摘要：

数据采集技术的进步导致了数据集规模的飞速上涨,由于数据的大规模和高复杂性引起了严重的数据质量问题,数据清洗是数据活动中必要且重要的环节.为了在保证清洗准确率的情况下有效地降低人工标注成本,提出了一种人工参与的迭代式的数据清洗方法(IDCHI).该方法在检测模块中提出了数据选择优化方法,使分类器在初始阶段就拥有较高的准确度;并进一步提出了待人工标注数据选择方法,有效地降低人工标注的数据量.实验结果表明该方法可有效且高效地清洗错误数据.

关键词：数据清洗、人工参与、迭代式、小批量梯度下降

所属期刊栏目：9

分类号：TP311(计算技术、计算机技术)

在线出版日期：2023-08-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：59-68