影响支持向量机模型语步自动识别效果的因素研究

摘要：

[目的]探讨在基于支持向量机(SVM)模型的科技论文摘要自动语步识别过程中,训练样本的规模、N元词(N-gram)的N取值、停用词以及词频加权方式等特征对识别效果的影响.[方法]从72万余篇科技论文结构化摘要中,抽取出总计1 10多万条已标注好的语步为实验数据,构建SVM模型进行语步识别实验.采用控制变量方法,基于单一变量原则,通过改变训练样本量、N-gram的N取值、是否去除停用词、词频加权方式,对比分析这些特征变化对语步识别效果的影响.[结果]训练样本数量为60万条语步、N元词的N取值为[1,2]、不去除停用词、词频加权方式采用TF-IDF时模型识别效果最好,为93.50％.[局限]主要以笔者收集的结构化论文摘要为训练和测试语料,未与其他人的结果比较.[结论]训练样本规模以及一些精细的特征对传统机器学习模型的效果有重要影响,使用者在实践中需要根据具体情况进行精细的特征选取.

关键词：语步识别、支持向量机、结构化摘要

所属期刊栏目：3

分类号：TP393(计算技术、计算机技术)

资助基金：本文系中国科学院文献情报能力建设专项子项目“科技文献丰富语义检索应用示范”项目编号:院1734

在线出版日期：2020-03-18（万方平台首次上网日期，不代表论文的发表时间）

页数：共8页

页码：16-23