使用强化学习方法构建脓毒症患者精准化液体治疗预测模型

摘要：

目的 采用强化学习方法构建临床上可能用于指导脓毒症患者液体治疗的预测模型,并对该模型进行评价.方法 采用重症监护医学信息(MIMIC)Ⅲ数据库筛选11913例脓毒症患者,按照8:2比例随机分为训练集与测试集.纳入26个建模特征,包括患者的24个状态特征(时间段区间、生命体征、实验室检查、血气分析指标及基本信息)、1个动作特征(液体出入量差值),以及1个结局特征(在重症监护病房内的结局).使用SARSA模型学习训练集的数据规律,得到回报值与病死率的关系,以评价回报值设定是否合理.基于Q-learning深度学习模型(DQN)学习测试集状态与行为的关系,预测患者液体平衡情况,并比较强化学习的结果与患者实际结局,验证模型预测的液体治疗及实际治疗一致及不一致时对预后的影响.结果 根据动作特征类别分布,将液体出入量差值大小划分为5个区间(–3000～–239.40 ml、–239.39～–1.94 ml、–1.93～160.00 ml、160.01～363.59 ml、363.58～3000 ml).采用SARSA模型计算训练集,结果显示回报越高,病死率越低.DQN模型显示,液体出入量差值过高或过低均造成病死率增高,且出入量差值低(即液体大量正平衡)比出入量差值高(即液体大量负平衡)的患者病死率更高.使用Doubly robust estimator评估测试集得到的DQN模型平均预期回报值显示模型的稳定性良好(Q-learning迭代次数>20000).临床验证结果显示,模型预测脱水与实际脱水相符的亚组患者病死率明显低于其他亚组(P<0.05).结论 使用强化学习方法构建了一种可能指导脓毒症患者液体治疗的预测模型,该模型能较准确地预测液体治疗的方向,且预测脱水治疗而实际也进行了脱水治疗的患者预后更好.

关键词：脓毒症、液体治疗、强化学习、预后、预测模型

所属期刊栏目：47

分类号：R459.7(治疗学)

资助基金：北京市科学技术协会青年人才托举工程;解放军总医院第八医学中心院内重点课题;中国博士后科学基金特别资助项目

在线出版日期：2022-07-04（万方平台首次上网日期，不代表论文的发表时间）

页数：共7页

页码：579-585