信息熵与模糊综合评判融合的相似数据检测方法

摘要：

针对大数据环境下数据冗余量大的问题,以粗糙集理论为基础,提出了一种基于香农信息熵(Shannon entropy)融合模糊综合评判的相似重复数据检测方法,首先基于香农熵对数据集中的属性进行约简,然后采用模糊综合评判方法获取约简后各属性的重要性权值,最后依据约简属性及其权值进行相似数据的检测.理论分析与实验对比表明,该方法在结构化大数据集的相似数据检测中,有较高的检测精度与效率.

关键词：信息熵、模糊综合评判、相似数据、属性约简、粗糙集

所属期刊栏目：54

分类号：TP311(计算技术、计算机技术)

资助基金：湖南省高铁运行安全保障工程技术研究中心开放基金2017TP2022-17KJ104

在线出版日期：2019-01-16（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：57-60,122