10.3969/j.issn.1006-2475.2022.10.002
ALBERT结合双向网络的文本分类
针对目前多标签文本分类算法不能有效利用文本深层信息的缺陷,提出一种利用ALBERT模型进行文本深层信息的特征提取,使用双向LSTM网络进行特征训练,并结合注意力机制强化分类效果,完成分类的模型——ABAT模型.在百度发布的DuEE1.0数据集上进行实验,相对于各对比模型,该模型的各项性能均达到最优,Micro-Precision达到0.9625,Micro-F1达到0.9033,同时模型汉明损失下降到0.0023.实验结果表明,改进的ABAT模型能较好地完成多标签文本分类的任务.
多标签、ALBERT预训练、双向网络、注意力机制
TP391(计算技术、计算机技术)
国家自然科学基金;重庆市研究生教改重点项目;重庆师范大学研究生项目;重庆师范大学教改项目
2022-10-27(万方平台首次上网日期,不代表论文的发表时间)
共6页
8-12,18