神经网络极速学习方法研究

摘要：

单隐藏层前馈神经网络(Single-hidden Layer Feedforward Neural Network,SLFN)已经在模式识别、自动控制及数据挖掘等领域取得了广泛的应用,但传统学习方法的速度远远不能满足实际的需要,成为制约其发展的主要瓶颈.产生这种情况的两个主要原因是:(1)传统的误差反向传播方法(Back Propagation,BP)主要基于梯度下降的思想,需要多次迭代;(2)网络的所有参数都需要在训练过程中迭代确定.因此算法的计算量和搜索空间很大.针对以上问题,借鉴ELM的一次学习思想并基于结构风险最小化理论提出一种快速学习方法(RELM),避免了多次迭代和局部最小值,具有良好的泛化性、鲁棒性与可控性.实验表明RELM综合性能优于ELM、BP和SVM.

关键词：极速学习机、正则极速学习机、支持向量机、结构风险、神经网络、最小二乘

所属期刊栏目：33

分类号：TP18(自动化基础理论)

资助基金：国家自然科学基金60825202,60803079,60633020;国家"八六三"高技术研究发展计划项目基金2008AA01Z131;国家科技支撑计划项目2006BAK11B02,2006BAJ07B06,2008BAH26B02,2009BAH51B00;中国科学院复杂系统与智能研究科学重点实验室开放基金资助项目20080101;陕西省教育厅科学研究计划项目09JK717

在线出版日期：2010-04-21（万方平台首次上网日期，不代表论文的发表时间）

页数：共9页

页码：279-287