基于多门混合专家网络的情感分析与文本摘要多任务模型

摘要：

在目前机器学习应用场景中,大多数方法仍然专注于孤立地学习单个任务,即为每个任务建立一个单独的模型.然而许多现实问题需要多模态的方法来解决,因此需要采用多任务模型.目前多门混合专家网络MMoE在多任务领域取得了不错的效果,然而在针对特定领域的学习仍然存在没有专注于独立任务的信息学习、学习任务之间联系能力不足的问题.为此,文中在多门混合网络专家模型上针对情感分析和文本摘要这一特定领域进行了优化,采用基于解码器的架构针对MMoE的架构进行重构;为解决重新设计架构带来的数据格式和流向变化的问题,同时增加针对任务独有信息的学习,设计了新的门控制网络架构;基于情感分析与文本摘要互助理论,提出两种门控制网络权值修改机制,并通过实验选择性能最佳的机制和参数.最后通过改进前后的性能对比和消融实验,证明了在情感分析和文本摘要领域,所提模型有着更优于MMoE的性能,并且每个优化都对模型性能提升有所贡献.

关键词：机器学习、多任务学习、注意力机制、多门混合专家网络、情感分析、文本摘要

所属期刊栏目：47

分类号：TN911.1-34;TP391.1

在线出版日期：2024-01-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：94-99