概率生成模型变分推理方法综述

摘要：

概率生成模型是知识表示的重要方法,在该模型上计算似然函数的概率推理问题一般是难解的.变分推理是重要的确定性近似推理方法,具有较快的收敛速度、坚实的理论基础.尤其随着大数据时代的到来,概率生成模型变分推理方法受到工业界和学术界的极大关注.综述了多种概率生成模型变分推理框架及最新进展,具体包括:首先综述了概率生成模型变分推理一般框架及基于变分推理的生成模型参数学习过程;然后对于条件共轭指数族分布,给出了具有解析优化式的变分推理框架及该框架下可扩展的随机化变分推理;进一步,对于一般概率分布,给出了基于随机梯度的黑盒变分推理框架,并简述了该框架下多种变分推理算法的具体实现;最后分析了结构化变分推理,通过不同方式丰富变分分布提高推理精度并改善近似推理一致性.此外,展望了概率生成模型变分推理的发展趋势.

关键词：概率生成模型、变分推理、条件共轭指数族、黑盒变分推理、结构化变分推理

所属期刊栏目：59

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金;国家自然科学基金;天津市自然科学基金;天津科技大学青年教师基金项目

在线出版日期：2022-04-14（万方平台首次上网日期，不代表论文的发表时间）

页数：共16页

页码：617-632