Nonlinear programming

本书涵盖了非线性规划的主要内容，包括无约束优化、凸优化、拉格朗日乘子理论和算法、对偶理论和方法等，并包含了大量的实际应用案例 .本书从无约束优化问题入手，通过直观分析和严谨证明给出了无约束优化问题的最优性条件，并讨论了梯度法、牛顿法、共轭方向法等实用算法 .进而本书将无约束优化问题的最优性条件和算法推广到具有凸集约束的优化问题中，进一步讨论了处理约束问题的可行方向法、条件梯度法、梯度投影法、双矩阵投影法、坐标块下降法等算法 .拉格朗日乘子理论和算法是非线性规划的核心内容之一，也是本书的重点 .本书中的第 3、4章详尽地论述了这方面的内容 .本书首先从等式约束优化问题最优解的必要条件入手，给出了拉格朗日乘子理论最基本的形式，然后给出了等式约束优化问题最优解的充分条件以及不等式约束优化问题的充分条件和必要条件 .拉格朗日乘子算法的引入则基于将约束优化问题转化为无约束优化问题和求解最优性条件对应的方程组两个角度展开，分别讨论了障碍函数法、惩罚函数法、序贯二次规划法、拉格朗日法和原始对偶内点法等方法 .本书的另一个重点是对偶理论和方法 .本书第 5章从几何的角度阐述了拉格朗日对偶理论和 Fenchel对偶理论，并讨论了离散优化及拉格朗日松弛方法；本书最后一章则详细讨论了求解对偶问题的相关概念和方法，包括次梯度、对偶上升方法、次梯度方法、割平面方法和分解方法等 .