微积分优化方法

微积分的一个关键应用是优化：找到函数的最大值和最小值，以及哪些点实现了这些极值。

形式上，数学优化领域被称为数学规划，微积分优化方法是非线性规划的基本形式。我们将主要讨论有限维优化，用 1 或 2 个变量的函数来说明，并用代数方式讨论n 个变量。我们还将指出一些对无限维优化的扩展，例如变分法，这是这些方法在物理学中的主要应用。

基本技术包括一阶导数检验和二阶导数检验，以及它们的高维推广。

更高级的技术是拉格朗日乘数，以及其推广形式，如卡罗需-库恩-塔克条件和巴拿赫空间上的拉格朗日乘数。

优化，特别是通过拉格朗日乘数，在以下领域特别有用

此外，数学的几个领域可以被理解为这些方法的推广，最值得注意的是莫尔斯理论和变分法。

陈述

本教程介绍了优化问题的入门知识，这些问题涉及找到目标函数 $f(x_{1},x_{2},\ldots ,x_{n})$ 的最大值或最小值，受约束形式 $g(x_{1},x_{2},\ldots ,x_{n})=k$ 的限制。

在没有约束的情况下找到函数 $f(x_{1},x_{2},\ldots ,x_{n})$ 的最优值是一个众所周知的问题，在微积分课程中已经讨论过。通常会使用梯度来找到驻点。然后检查所有驻点和边界点以找到最优值。

$f(x,y)$ 在 (0,0) 处有一个驻点。

确定函数在驻点处是否存在极值的一个常用方法是评估该点处的 Hessian 矩阵。Hessian 矩阵定义为

H(f)={\begin{bmatrix}{\frac {{\partial }^{2}f}{\partial x_{1}^{2}}}&{\frac {{\partial }^{2}f}{\partial x_{1}\partial x_{2}}}&\dots &{\frac {{\partial }^{2}f}{\partial x_{1}\partial x_{n}}}\\{\frac {{\partial }^{2}f}{\partial x_{2}\partial x_{1}}}&{\frac {{\partial }^{2}f}{\partial x_{2}^{2}}}&\dots &{\frac {{\partial }^{2}f}{\partial x_{2}\partial x_{n}}}\\\vdots &\vdots &\ddots &\vdots \\{\frac {{\partial }^{2}f}{\partial x_{n}\partial x_{1}}}&{\frac {{\partial }^{2}f}{\partial x_{n}\partial x_{2}}}&\dots &{\frac {{\partial }^{2}f}{\partial x_{n}^{2}}}\\\end{bmatrix}}.

二阶导数检验根据以下规则确定驻点 $x$ 的最优性 [2]

在上面的例子中。

H(f)={\begin{bmatrix}4&0\\0&2\end{bmatrix}}.

因此， $f(x,y)$ 在 (0,0) 处取得最小值。

[1] T.K. Moon 和 W.C. Stirling。信号处理的数学方法和算法。Prentice Hall。2000 年。