微积分优化方法

微积分的一个关键应用是优化：寻找函数的最大值和最小值，以及哪些点实现这些极值。

在形式上，数学优化的领域被称为数学规划，微积分优化方法是非线性规划的基本形式。我们将主要讨论有限维优化，并以一两个变量的函数为例，并代数地讨论n个变量。我们还将指示一些扩展到无限维优化，例如变分法，这是这些方法在物理学中的主要应用。

基本技术包括一阶和二阶导数检验，以及它们的更高维推广。

更高级的技术是拉格朗日乘子，以及推广形式如卡罗需-库恩-塔克条件和巴拿赫空间上的拉格朗日乘子。

优化，特别是通过拉格朗日乘子，在以下领域得到了广泛应用

此外，许多数学领域可以被理解为这些方法的推广，特别是莫尔斯理论和变分法。

陈述

本教程介绍了优化问题的基础知识，这些问题涉及到寻找目标函数 $f(x_{1},x_{2},\ldots ,x_{n})$ 的最大值或最小值，受 $g(x_{1},x_{2},\ldots ,x_{n})=k$ 形式的约束。

在没有约束的情况下找到函数 $f(x_{1},x_{2},\ldots ,x_{n})$ 的最优值是一个众所周知的问题，在微积分课程中已经解决。通常会使用梯度来寻找驻点。然后检查所有驻点和边界点以找到最优值。

$f(x,y)$ 在 (0,0) 处只有一个驻点。

确定函数在驻点处是否存在极值的一种常见方法是评估该点处的函数的 Hessian 矩阵。其中 Hessian 矩阵定义为

H(f)={\begin{bmatrix}{\frac {{\partial }^{2}f}{\partial x_{1}^{2}}}&{\frac {{\partial }^{2}f}{\partial x_{1}\partial x_{2}}}&\dots &{\frac {{\partial }^{2}f}{\partial x_{1}\partial x_{n}}}\\{\frac {{\partial }^{2}f}{\partial x_{2}\partial x_{1}}}&{\frac {{\partial }^{2}f}{\partial x_{2}^{2}}}&\dots &{\frac {{\partial }^{2}f}{\partial x_{2}\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {{\partial }^{2}f}{\partial x_{n}\partial x_{1}}}&{\frac {{\partial }^{2}f}{\partial x_{n}\partial x_{2}}}&\dots &{\frac {{\partial }^{2}f}{\partial x_{n}^{2}}}\\\end{bmatrix}}.

二阶导数检验根据以下规则确定驻点 $x$ 的最优性 [2]

在上面的例子中。

H(f)={\begin{bmatrix}4&0\\0&2\end{bmatrix}}.

因此 $f(x,y)$ 在 (0,0) 处取得最小值。

[1] T.K. Moon 和 W.C. Stirling。信号处理的数学方法与算法。Prentice Hall。2000。