混合变分自编码

摘要：

变分自编码(variational autoencoder,VAE)是一种基于连续隐向量的生成模型,通过变分近似构建目标函数,其中的生成模型及变分推理模型均采用神经网络结构.传统变分自编码模型中的变分识别模型假设多维隐变量之间是相互独立的,这种假设简化了推理过程,但是这使得变分下界过于松弛,同时限制了隐向量空间的表示能力.提出混合变分自编码(mixture of variational autoencoder,MVAE)模型,它通过多个变分自编码组件生成样本数据,丰富了变分识别模型结构,同时扩展了隐向量表示空间.该模型以连续型隐向量作为模型的隐层表示,其先验分布为高斯分布;以离散型隐向量作为各组件的指示向量,其先验分布为多项式分布.对于MVAE模型的变分优化目标,采用重参策略和折棍参数化策略处理目标函数,并用随机梯度下降方法求解模型参数.MVAE 采用混合组件的方法可以增强隐变量空间的表示能力,提高近似推理精度,重参策略和折棍参数化策略可以有效求解对应的优化问题.最后在MNIST和OMNIGLOT数据集上设计了对比实验,验证了MVAE模型较高的推理精度及较强的隐变量空间表示能力.

关键词：变分自编码、混合模型、变分推理、折棍参数化、生成模型

所属期刊栏目：57

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金项目;天津市自然科学基金项目;天津市高等学校科技发展基金项目;天津科技大学青年教师基金项目

在线出版日期：2020-03-17（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：136-144