基于多头协同注意力机制的客户投诉文本分类模型

摘要：

[目的]解决客户投诉文本处理中的传统多通道文本分类模型对特征间关系学习不足的问题.[方法]构建一个基于多头协同注意力机制的客户投诉文本分类模型.首先利用BERT预训练模型实现文本向量化表示,然后构建Text-CNN和BiLSTM多通道特征提取网络,分别提取投诉文本局部特征与全局特征,最后提出一种协同注意力机制学习局部特征与全局特征间关系,实现客户投诉文本的准确分类.[结果]该方法在THUCNews上的准确率达到97.25％,在电信客户投诉数据集上的准确率达到86.20％.相比于表现最好的单通道基线模型和未进行特征间交互的多通道模型,本文所提模型在电信客户投诉数据集上的准确率分别提升了 0.54和0.35个百分点.[局限]仅考虑了两个特征间的交互关系,而且在小规模电信客户投诉文本数据集上,部分投诉类别分类效果较一般.[结论]多通道特征提取网络能够丰富文本信息,充分提取文本特征;协同注意力机制能够有效学习文本特征间关系,提升模型分类效果,更精准地实现客户投诉文本分类.

关键词：文本分类、多头协同注意力机制、客户投诉

所属期刊栏目：7

分类号：TP391(计算技术、计算机技术)

资助基金：国家自然科学基金72071061

在线出版日期：2023-05-09（万方平台首次上网日期，不代表论文的发表时间）

页数：共10页

页码：128-137