支持向量机理论与基于规划的神经网络学习算法

摘要：

近年来支持向量机（SVM）理论得到国外学者高度的重视，普遍认为这是神经网络学习的新研究方向, 近来也开始得到国内学者的注意.该文将研究SVM理论与神经网络的规划算法的关系, 首先指出，Vapnik的基于SVM的算法与该文作者1994年提出的神经网络的基于规划的算法是等价的，即在样本集是线性可分的情况下,二者求到的均是最大边缘（maximal margin）解.不同的是，前者(通常用拉格郎日乘子法)求解的复杂性将随规模呈指数增长, 而后者的复杂性是规模的多项式函数.其次, 作者将规划算法化为求一点到某一凸集上的投影，利用这个几何的直观, 给出一个构造性的迭代求解算法——“单纯形迭代算法”. 新算法有很强的几何直观性, 这个直观性将加深对神经网络(线性可分情况下)学习的理解，并由此导出一个样本集是线性可分的充分必要条件. 另外, 新算法对知识扩充问题, 给出一个非常方便的增量学习算法.最后指出，“将一些必须满足的条件, 化成问题的约束条件, 将网络的某一性能, 作为目标函数, 将网络的学习问题化为某种规划问题来求解”的原则，将是研究神经网络学习问题的一个十分有效的办法.

关键词：支持向量机、规划、神经网络、学习算法

所属期刊栏目：24

分类号：TP18(自动化基础理论)

资助基金：国家重点基础研究发展计划973计划G1998030509

在线出版日期：2004-01-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共6页

页码：113-118