数据源敏感的多源 XML 数据相似度量方法

摘要：

将预处理后的XML数据当作文本信息采用词频-逆向文档频率（ TF-IDF）模型进行处理时，逆向文档频率作为词项权重有其不足之处。为此，文中定义了词项的数据源敏感度作为逆向文档频率（ IDF）的修正系数。其值取决于提供此词项的数据来源于不同数据源的概率，概率大则其值大，反之则其值小。然后在修正后的词项权重向量的基础上，定义了相似度函数。最后在模拟、真实数据集上进行数据重复检测实验。结果表明，新方法获得了更高的F测度值。这说明考虑词项的数据源敏感度可提高相似度函数的有效性。

关键词：XML、数据集成、文本处理、数据源敏感度

分类号：TP311(计算技术、计算机技术)

资助基金：国家科技支撑计划项目2012BAF12B14，2012BAH62F01；贵州省科技项目黔科合重大专项字[2012]6021，黔科合计工字[2012]4009

在线出版日期：2014-11-13（万方平台首次上网日期，不代表论文的发表时间）

页数：共5页

页码：28-32