期刊专题

10.3778/j.issn.1002-8331.2111-0176

MSML-BERT模型的层级多标签文本分类方法研究

引用
层级多标签文本分类相比普通的多标签文本分类更具有挑战性,因为文本的多个标签组织成树状的层次结构.当前方法使用相同的模型结构来预测不同层级的标签,忽略了它们之间的差异性和多样性.并且没有充分地建模层级依赖关系,造成各层级标签尤其是下层长尾标签的预测性能差,且会导致标签不一致性问题.为了解决以上问题,将多任务学习架构引入,提出了MSML-BERT模型.该模型将标签结构中每一层的标签分类网络视为一个学习任务,通过任务间知识的共享和传递,提高各层级任务的性能.基于此,设计了多尺度特征抽取模块,用于捕捉不同尺度和粒度的特征以形成不同层级需要的各种知识.进一步,设计了多层级信息传播模块,用于充分建模层级依赖,在不同层级之间传递知识,以帮助下层任务.在该模块中,设计了层次化门控机制,为了过滤不同层级任务之间的知识流动.在RCV1-V2、NYT和WOS数据集上进行了充分的实验,结果显示该模型的总体表现尤其是在下层长尾标签上的表现超过了其他主流模型,并且能维持较低的标签不一致比率.

层级多标签文本分类、多任务学习架构、B E RT、多尺度特征抽取模块、多层级信息传播模块

58

TP391(计算技术、计算机技术)

国家重点研发计划2018YFB1801105

2022-08-17(万方平台首次上网日期,不代表论文的发表时间)

共11页

191-201

暂无封面信息
查看本期封面目录

计算机工程与应用

1002-8331

11-2127/TP

58

2022,58(15)

专业内容知识聚合服务平台

国家重点研发计划“现代服务业共性关键技术研发及应用示范”重点专项“4.8专业内容知识聚合服务技术研发与创新服务示范”

国家重点研发计划资助 课题编号:2019YFB1406304
National Key R&D Program of China Grant No. 2019YFB1406304

©天津万方数据有限公司 津ICP备20003920号-1

信息网络传播视听节目许可证 许可证号:0108284

网络出版服务许可证:(总)网出证(京)字096号

违法和不良信息举报电话:4000115888    举报邮箱:problem@wanfangdata.com.cn

举报专区:https://www.12377.cn/

客服邮箱:op@wanfangdata.com.cn