微积分优化方法/拉格朗日乘子

拉格朗日乘子法通过将约束优化问题转换为以下形式的无约束优化问题来解决问题

• $\operatorname {\mathcal {L}} (x_{1},x_{2},\ldots ,x_{n},\lambda )=\operatorname {f} (x_{1},x_{2},\ldots ,x_{n})+\operatorname {\lambda } (k-g(x_{1},x_{2},\ldots ,x_{n}))$

然后找到梯度和海森矩阵，如上面所做，将确定$\operatorname {\mathcal {L}} (x_{1},x_{2},\ldots ,x_{n},\lambda )$ 的任何最优值。

假设我们现在想要找到 $f(x,y)=2x^{2}+y^{2}$ 的最优值，受 $x+y=1$ 的约束 [2]。

那么拉格朗日方法将得到一个无约束函数。

• $\operatorname {\mathcal {L}} (x,y,\lambda )=2x^{2}+y^{2}+\lambda (1-x-y)$

这个新函数的梯度是

• ${\frac {\partial {\mathcal {L}}}{\partial x}}(x,y,\lambda )=4x+\lambda (-1)=0$
• ${\frac {\partial {\mathcal {L}}}{\partial y}}(x,y,\lambda )=2y+\lambda (-1)=0$
• ${\frac {\partial {\mathcal {L}}}{\partial \lambda }}(x,y,\lambda )=1-x-y=0$

可以从它们的矩阵形式中找到上述方程的驻点。

${\begin{bmatrix}4&0&-1\\0&2&-1\\-1&-1&0\end{bmatrix}}{\begin{bmatrix}x\\y\\\lambda \end{bmatrix}}={\begin{bmatrix}0\\0\\-1\end{bmatrix}}$

这导致 $x=1/3,y=2/3,\lambda =4/3$。

接下来，我们可以像以前一样使用海森矩阵来确定此驻点的类型。

$H({\mathcal {L}})={\begin{bmatrix}4&0&-1\\0&2&-1\\-1&-1&0\end{bmatrix}}$

由于 $H({\mathcal {L}})>0$，因此解 $(1/3,2/3,4/3)$ 使 $f(x,y)=2x^{2}+y^{2}$ 在约束条件 $x+y=1$ 下取得最小值，其中 $f(x,y)=2/3$。