面向食品安全突发事件汉语分词的特征选择及模型优化研究
[目的]在食品安全领域中,建立相关数据库对食品安全的监管和控制都会有很大的帮助,自动分词在构建索引、使用索引以及构建语料库中都起到至关重要的作用.将基于条件随机场的字标注统计学习方法,应用在食品安全突发事件语料的自动分词中.[方法]分析语料的词长分布等特点,对该方法自动分词过程中所涉及的特征选择和特征模板进行不同实验,得出不同特征选择和应用不同特征模板对分词结果的影响.[结果]从实验结果可以看出,特征选择时并不是特征越多分词效果越好,会出现特征干扰的情况,在二三字词占46.62％的食品安全突发事件语料中,特征模板中的当前字和前后驱第一个字所代表的特征模板对分词效果影响明显.[结论]通过对不同特征选择和特征模板及其相互组合的实验,选择出在本文研究的语料库自动分词中最优的特征和特征模板,在5Tag特征标记下配合对应特征模板对目标语料分词的F值达到92.88％.
中文分词、食品安全、条件随机场、特征模板、特征选择
G351(情报学、情报工作)
国家自然科学基金项目“基于CSSCI的句法级汉英平行语料库构建及知识挖掘研究”71303120;2011协同中心项目“面向应急推演平台的海量突发事件知识库与模型库构建研究”JD20150101;江苏省高校哲学社会科学项目“高校危机管理案例知识库构建及知识挖掘研究”项目2014SJB246的研究成果之一
2017-04-18（万方平台首次上网日期，不代表论文的发表时间）
共9页
64-72
