偏微分方程/变分法

变分法是一种证明某些方程存在性和唯一性结果的方法；特别是，它可以应用于一些偏微分方程。该方法的工作原理如下：假设我们要解决一个关于变量 $x$ 的方程（这个变量也可以是一个函数）。我们寻找一个函数，其最小值满足该方程，然后证明存在一个最小值。因此，我们得到了一个存在性结果。

在某些情况下，我们还能够证明满足方程的值 $x$ 是该函数的最小值。如果我们现在了解该函数的最小值的数量，我们也将知道该方程解的数量。如果该函数只有一个最小值，那么我们就得到了一个唯一性结果。

有时，变分法也以“相反的方式”工作：我们有一个难以找到最小值的函数。然后我们证明该函数的最小值正是易于求解的偏微分方程的解。然后我们求解偏微分方程以获得函数的最小值。

“正常”方程

考虑方程组

$(*){\begin{cases}f_{1}(x)&=0\\f_{2}(x)&=0\\~~~~\vdots \\f_{d}(x)&=0\\\end{cases}}$

对于函数 $f_{n}:\mathbb {R} ^{d}\to \mathbb {R} ,n\in \{1,\ldots ,d\}$。如果存在函数 $f\in {\mathcal {C}}^{1}(\mathbb {R} ^{d})$ 使得

$\nabla f={\begin{pmatrix}f_{1}\\f_{2}\\\vdots \\f_{d}\end{pmatrix}}$

我们发现，方程组 $(*)$ 当且仅当以下条件满足时成立

$\nabla f(x)=0$

如果 $f$ 满足正确的条件，那么 $\nabla f(x)=0$ 恰好在一个点 $x\in \mathbb {R} ^{d}$ 成立

定义 13.1:

设 $f\in {\mathcal {C}}^{2}(\mathbb {R} ^{d})$，并记 $f$ 在 $x$ 处的 Hessian 矩阵为 $H_{f}(x)$。如果 $f$ 满足以下条件，则称其为 **强凸函数**

$\exists c>0:\forall x\in \mathbb {R} ^{d},\mathbf {v} \in \mathbb {R} ^{d}:\mathbf {v} ^{T}H_{f}(x)\mathbf {v} \geq c\|\mathbf {v} \|^{2}$

定理 13.2:

设 $f\in {\mathcal {C}}^{2}(\mathbb {R} ^{d})$ 为强凸函数，则 $f$ 只有一个临界点（即满足 $\nabla f(x)=0$ 的点 $x\in \mathbb {R} ^{d}$）。

证明:

由于 $f$ 是强凸函数，所以对所有 $x\in \mathbb {R} ^{d}$，$H_{f}(x)$ 是正定的。因此，每个临界点都是局部最小值（这是局部极小值的充分条件）。因此，我们只需证明只有一个局部最小值即可。

1.

我们证明存在局部最小值。

我们在 $0$ 处使用泰勒公式

$\forall x\in \mathbb {R} ^{d}:\exists \lambda \in [0,1]:f(x)=f(0)+x^{T}\nabla f(0)+{\frac {1}{2}}x^{T}H_{f}(\lambda x)x$

因此，

${\begin{aligned}\forall x\in \mathbb {R} ^{d}:f(x)&=f(0)+x^{T}\nabla f(0)+{\frac {1}{2}}x^{T}H_{f}(\lambda x)x&{\text{ for a }}\lambda \in [0,1]\\&\geq f(0)+x^{T}\nabla f(0)+{\frac {c}{2}}\|x\|^{2}&f{\text{ is strongly convex}}\\&\geq f(0)-\|x\|\|\nabla f(0)\|+{\frac {c}{2}}\|x\|^{2}&{\text{Cauchy-Schwarz inequality}}\end{aligned}}$

对于一个 $c\in \mathbb {R} _{>0}$。因此，存在一个 $R\in \mathbb {R} _{>0}$ 使得

$\forall x\notin B_{R}(0):f(x)>f(0)~~~~~(**)$

根据极值定理，存在一个最小值 $y$ 在 ${\overline {B_{R}(0)}}$ 中。它不能在边界上取得，因为如果 $f(y)\in \partial B_{R}(0)$，那么 $y\notin B_{R}(0)$，因此根据 $(**)$，$f(y)>f(0)$，这意味着 $y$ 不是最小值。因此它是在内部取得，因此是一个局部最小值。事实上，从 $(**)$ 和 $y$ 在 ${\overline {B_{R}(0)}}$ 上是最小值，甚至可以推断它是 $f:\mathbb {R} ^{d}\to \mathbb {R}$ 的全局最小值。

2.

我们证明只有一个局部最小值。

设 $x$ 和 $y$ 是两个局部最小值。我们证明 $y=x$，从而排除两个不同最小值存在的可能性。我们定义一个函数 $\mu :\mathbb {R} \to \mathbb {R}$ 如下所示

$\mu (\xi ):=f(\xi y+(1-\xi )x)$

让我们计算 $\mu$ 的一阶和二阶导数

${\begin{aligned}\mu '(\xi )&={\begin{pmatrix}\partial _{x_{1}}f(\xi y+(1-\xi )x)&\cdots &\partial _{x_{d}}f(\xi y+(1-\xi )x)\end{pmatrix}}(y-x)&{\text{ multi-dimensional chain rule}}\\&=\sum _{k=1}^{d}\partial _{x_{k}}f(\xi y+(1-\xi )x)(y_{k}-x_{k})&\\\mu ''(\xi )&=\sum _{k=1}^{d}{\begin{pmatrix}\partial _{x_{1}}\partial _{x_{k}}f(\xi y+(1-\xi )x)&\cdots &\partial _{x_{d}}\partial _{x_{k}}f(\xi y+(1-\xi )x)\end{pmatrix}}(y-x)&{\text{ multi-dimensional chain rule}}\\&=(y-x)^{T}H_{f}(\xi y+(1-\xi )x)(y-x)&\end{aligned}}$

由于 $x$ 和 $y$ 都是局部极小值，$\nabla f(x)=0$ 和 $\nabla f(y)=0$。因此，

$\mu '(0)=\nabla f(x)\cdot (y-x)=0$

以及

$\mu '(1)=\nabla f(y)\cdot (y-x)=0$

因此，根据中值定理，存在一个 $\lambda \in (0,1)$ 使得

$\mu ''(\lambda )=0$

但由于

$\mu ''(\lambda )=(y-x)^{T}H_{f}(\lambda y+(1-\lambda )x)(y-x){\overset {{\text{strong convexity of }}f}{\geq }}c\|y-x\|^{2}$

, $\mu ''(\lambda )=0$ 意味着 $x=y$.$\Box$

推论 13.3:

假设我们有一个方程组

$(*){\begin{cases}f_{1}(x)&=0\\f_{2}(x)&=0\\~~~~\vdots \\f_{d}(x)&=0\\\end{cases}}$

如果存在一个函数 $f\in {\mathcal {C}}^{2}(\mathbb {R} ^{d})$，它是强凸的，并且

$\nabla f={\begin{pmatrix}f_{1}\\f_{2}\\\vdots \\f_{d}\end{pmatrix}}$

，那么方程组 $(*)$ 恰好有一个解。

证明：参见练习 1。

示例 13.4:

另一个例子在练习 2 中给出。