新闻资讯
看你所看,想你所想

DFP法

DFP法

DFP法

DFP算法(Davidon-Fletcher-Powell algorithm)一种秩2拟牛顿法,是由Davidon,Fletcher,Powell三个人的名字的首字母命名的,是求解非线性最佳化问题最有效的方法之一。方法的计算公式为:这是一种逆秩2的拟牛顿法.DFP算法由戴维登(Davidon,W. D.)于1959年导出,并由弗莱彻(Fletcher,R.)和鲍威尔(Powell,M. J. D.)于1963年进行了改善,是最早的拟牛顿法。算法核心是:通过叠代的方法,对H_{k+1}^{-1}做近似。

基本介绍

  • 中文名:DFP算法
  • 外文名:Davidon-Fletcher-Powell algorithm
  • 提出者:Davidon
  • 提出时间:1959年
  • 套用领域:机器学习、神经网路等
  • 基础:牛顿法

简介

DFP算法是以William C Davidon、 Roger Fletcher 、 Michael J. D. Powell 三个人的名字的首字母命名 的,它由Davidon于1959年首先提出,后经Fletcher和Powell加以发展和完善,是最早的拟牛顿法、该算法的核心是:通过 叠代的方法,对
做近似,叠代格式为
,k=1,2,……(2.22)
其中的
,通常取为单位矩阵I。因此,关键是每一步的校正矩阵
如何构造。
注意,叠代格式(2.22)将嵌套在牛顿法中,因此,我们猜想
可能与
,和
发生关联。这里,我们採用“待定法”,即首先将
协待定成某种形式,然后结合拟牛顿条件来进行推导。
对于拟牛顿方程:
化简可得:
,可以得到:
在DFP校正方法中,假设:

算法流程

DFP拟牛顿法的算法流程如下:
DFP法

效能特点

DFP变尺度法综合了梯度法、牛顿法的优点而又避弃它们各自的缺点,只需计算一阶偏导数,无需计算二阶偏导数及其逆矩阵,对目标函式的初始点选择均无严格要求,收敛速度快,这些良好的性能已作阐述。对于高维(维数大于50)问题被认为是无约束极值问题最好的最佳化方法之一。1.DFP 公式恆有确切解2.LIFP 法搜寻方向的共扼性3.DFP 算法的稳定性。
为提高实际计算的稳定性,除提高一维搜寻的精度外,通常还将进行n次(n 为目标函 数的维数)叠代作为一个循环, 将变尺度矩阵重置为单位矩阵I,并以上一循环的终点作为起 点继续进行循环叠代,这己反映在叠代过程和算法框图之中。

转载请注明出处海之美文 » DFP法

相关推荐

    声明:此文信息来源于网络,登载此文只为提供信息参考,并不用于任何商业目的。如有侵权,请及时联系我们:ailianmeng11@163.com