支持多维度数据去重的交互式可视分析方法

摘要：

多维度数据中的重复数据会严重影响数据的挖掘、分析与应用.针对传统的数据去重方法的成本、效率和便捷性无法满足大数据分析需求的问题,提出一种数据去重的交互式可视分析方法.该方法将多维度数据通过表示学习提取高维特征向量;使用降维算法将其降至二维散点图;采用无监督聚类算法进行分析;支持用户交互式地调整算法模型及参数,逐步筛选确认重复数据并执行去重操作.对某大型供应链集成服务集团公司数据集进行分析、实验和用户调研,结果表明该方法能有效地处理主流数据清洗软件Trifacta Wrangler和OpenRefine难以发现的复杂数据重复问题,并且效率是它们的2倍以上,在学习难度和使用便捷性等方面也具有明显优势.

关键词：数据治理、数据清洗、数据去重、多维度数据、可视化分析方法

所属期刊栏目：34

分类号：TP391.41(计算技术、计算机技术)

资助基金：国家自然科学基金;国家自然科学基金;浙江省万人计划

在线出版日期：2022-06-29（万方平台首次上网日期，不代表论文的发表时间）

页数：共11页

页码：841-851