1、最优化最优化主讲：刘陶文博士课件制作：刘陶文课件制作：刘陶文唯楚有材唯楚有材 於斯为盛於斯为盛第三章第三章 无约束问题算法无约束问题算法(I)(I)最速下降法、最速下降法、NewtonNewton法法 第一节第一节 最速下降法最速下降法 第二节第二节 NewtonNewton法及其修正形式法及其修正形式 第一节第一节 最速下降法最速下降法1、思想思想：每次沿最速下降方向进行搜索：每次沿最速下降方向进行搜索2、算法步骤算法步骤3、最速下降法的收敛性最速下降法的收敛性全局收敛性收敛速度估计从上图可以看出，最速下降法从上图可以看出，最速下降法 具有锯齿现象具有锯齿现象 由上面的分析可知，最速下降法的
2、收敛速度由上面的分析可知，最速下降法的收敛速度比较慢，通常将其用在某些算法的初始阶段比较慢，通常将其用在某些算法的初始阶段求较好的初始点求较好的初始点 第二节第二节 NewtonNewton法及其修正形式法及其修正形式 1 1、思想：用近似二次函数的极小点作为原问题的新的近似解、思想：用近似二次函数的极小点作为原问题的新的近似解2、Newton法的算法步骤法的算法步骤(3.3)3、Newton的 收敛性 4、局部二次收敛性局部二次收敛性5、Newton法的修正形式法的修正形式 上面的上面的NewtonNewton法的两种修正形式，在较弱的条件下法的两种修正形式，在较弱的条件下具有超线性收敛性或二次收敛性具有超线性收敛性或二次收敛性 还有很多其他的修正形式还有很多其他的修正形式Newton法法 的优点：收敛快的优点：收敛快 缺点：对初始点要求很高，而且计算量大缺点：对初始点要求很高，而且计算量大从从Newton法出发进行修改法出发进行修改，利用其优点，克服，利用其优点，克服其缺点，产生很多效果非常好的其他新算法其缺点，产生很多效果非常好的其他新算法
