开源自然语言处理工具综述

摘要：

自然语言处理工具是实现自然语言处理领域各项子任务的功能集成构件,为文本处理和文本分析提供有效的支撑.当前自然语言处理工具种类较多,各种工具对子任务支持程度不同,同时某些工具只适用于一些特殊的文本领域,这些差异会对工具选用造成困扰.依据处理顺序将工具支持的子任务划分为辅助任务、基础任务以及应用任务并进行介绍,选取LTP、NLPIR、OpenNLP等23种国内外自然语言处理开源工具,对这些工具的调用方式、支持的程序语言等方面进行比较,总结各种工具特点.再将各种工具子任务的实现原理分为规则方法、统计方法、神经网络方法以及组合方法进行整理和分析,探讨当前工具存在的不足之处.最后从多模态融合、认知智能、模型压缩与高效计算等方面对自然语言处理工具未来的发展进行展望.

关键词：自然语言处理工具、文本处理、文本分析

所属期刊栏目：59

分类号：TP311(计算技术、计算机技术)

资助基金：国家自然科学基金61806221

在线出版日期：2023-11-27（万方平台首次上网日期，不代表论文的发表时间）

页数：共21页

页码：36-56