针对情境感知的自然语言的因果去偏推理方法

摘要：

情境感知的自然语言推理任务要求模型能够根据给定情境信息判断前提句子与假设句子之间的语义推理关系.大量的研究工作通过利用情境信息增强对输入句子的语义表征学习,取得了显著的效果.然而,这些方法忽略了情境信息以及输入句子之间存在的虚假关联,导致模型存在泛化性及鲁棒性差的问题.同时,已有的去偏方法未能充分考虑语义推理过程中情境信息的影响,造成情境信息利用不充分、虚假关联识别不准确的问题.针对以上问题,通过融合因果推断方法,提出一种全新的因果去偏推理方法CBDRM(causal-based debiased reasoning method),在充分考虑情境信息的条件下,缓解模型在推理过程中受到的有偏信息的影响.具体而言,首先通过统计分析为输入数据构建因果图,实现对输入数据中的不同变量之间的关系的准确刻画;在此基础上,利用预训练模型的有偏训练实现输入数据对预测结果的总因果效应的计算.同时,利用因果反事实方法实现计算数据中的虚假关联所导致的直接因果效应.通过从总因果效应中去除虚假关联所带来的直接因果效应,实现了对输入句子的语义推理关系的无偏预测.更进一步,考虑到在语义推理过程中情境信息对语义表达的影响,设计了一个全新的对比学习模块,实现了在考虑情境信息的情况下输入文本的语义表示,进一步提升了模型的无偏推理性能.最后,在公开数据集上进行了大量的实验验证.实验结果充分证明了所提出的方法的有效性.为了对无偏自然语言推理方法进行更好的评估,构建并公开了一个无偏的情境感知的自然语言推理挑战集,用于推动该领域的相关研究.

关键词：情境感知、虚假关联、去偏推理、因果效应、对比学习

所属期刊栏目：60

分类号：TP391(计算技术、计算机技术)

在线出版日期：2023-08-22（万方平台首次上网日期，不代表论文的发表时间）

页数：共12页

页码：1768-1779