神经网络二阶反向传播学习算法及其收敛性

摘要：

针对BP算法收敛速度慢的问题,提出了多层前向神经网络的新型二阶递推学习算法. 给出了一种新的矩阵求逆引理,从Newton迭代法入手,推导出新型递推学习算法. 该算法等价于Newton迭代法并且有二阶收敛速度,能同时反向传播网络各层误差和二阶导数信息因子,还能实现Newton搜索方向和Hessian阵逆的递推运算. 基于微分方程稳定性理论,研究了新算法的全局收敛性.分析表明,新算法优于BP算法并且具有全局收敛性.

关键词：全局收敛性、多层前向网络、BP算法、二阶学习算法、Newton算法

所属期刊栏目：25

分类号：TE273+.5(钻井工程)

资助基金：黑龙江省自然科学基金F9812;黑龙江省教育厅科学技术研究项目9551031

在线出版日期：2004-01-08（万方平台首次上网日期，不代表论文的发表时间）

页数：共4页

页码：38-41