微积分/链式法则与克莱罗定理

定理

令 $f:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 为一个函数，并令 $g:\mathbb {R} ^{n}\to \mathbb {R} ^{l}$ 为另一个函数。假设 $g$ 在 $x_{0}$ 处可微，且 $f$ 在 $g(x_{0})$ 处可微。

那么， $f\circ g$ 在 $x_{0}$ 处可微，并且

$(f\circ g)'(x_{0})=f'{\big (}g(x_{0}){\big )}\circ g'(x_{0})$

证明

我们证明 $f'(g(x_{0}))\circ g'(x_{0})$ 是 $f\circ g$ 的一个有效的微分，从而证明可微性。

我们首先注意到，根据三角不等式的第二个结论，有

$\left|{\frac {{\big \|}g(x_{0}+\mathbf {h} )-g(x_{0}){\big \|}}{\|\mathbf {h} \|}}-{\frac {\|g'(x_{0})\mathbf {h} \|}{\|\mathbf {h} \|}}\right|\leq {\frac {{\Big \|}g(x_{0}+\mathbf {h} )-{\big [}g(x_{0})+g'(x_{0})\mathbf {h} {\big ]}{\Big \|}}{\|\mathbf {h} \|}}\to 0,\mathbf {h} \to 0$

因此，

${\frac {\|g'(x_{0})\mathbf {h} \|}{\|\mathbf {h} \|}}\leq {\frac {mn\max \limits _{1\leq i\leq n \atop 1\leq j\leq m}|a_{i,j}|\|\mathbf {h} \|}{\|\mathbf {h} \|}}$

意味着

${\frac {{\big \|}g(x_{0}+\mathbf {h} )-g(x_{0}){\big \|}}{\|\mathbf {h} \|}}$

其中 $A=(a_{i,j})_{1\leq i\leq n \atop 1\leq j\leq m}$ 是 $g'(x_{0})$ 的矩阵。

现在，我们根据三角不等式注意到，

${\begin{aligned}&{\frac {{\Big \|}(f\circ g)(x_{0}+\mathbf {h} )-{\big [}(f\circ g)(x_{0})+f'{\big (}g(x_{0}){\big )}g'(x_{0})\mathbf {h} {\big ]}{\Big \|}}{\|\mathbf {h} \|}}\\&\leq {\frac {{\bigg \|}f{\big (}g(x_{0}+h){\big )}-{\Big [}f{\big (}g(x_{0}){\big )}+f'{\big (}g(x_{0}){\big )}{\big [}g(x_{0}+h)-g(x_{0}){\big ]}{\Big ]}{\bigg \|}}{\|\mathbf {h} \|}}\\&+{\frac {{\bigg \|}f{\big (}g(x_{0}){\big )}+f'{\big (}g(x_{0}){\big )}{\big [}g(x_{0}+h)-g(x_{0}){\big ]}-{\Big [}(f\circ g)(x_{0})+f'{\big (}g(x_{0}){\big )}g'(x_{0})\mathbf {h} {\Big ]}{\bigg \|}}{\|\mathbf {h} \|}}\end{aligned}}$

我们将首先处理第一个加数，它更难，但也不算太难。我们把它改写成

${\frac {{\bigg \|}f{\big (}g(x_{0}+h){\big )}-{\Big [}f{\big (}g(x_{0}){\big )}+f'{\big (}g(x_{0}){\big )}{\big [}g(x_{0}+h)-g(x_{0}){\big ]}{\Big ]}{\bigg \|}}{{\big \|}g(x_{0}+h)-g(x_{0}){\big \|}}}\cdot {\frac {{\big \|}g(x_{0}+h)-g(x_{0}){\big \|}}{\|\mathbf {h} \|}}$

后一个因子由于上述考虑是有界的，而第一个因子当 $h\to 0$（因此 $g(x_{0}+h)\to g(x_{0})$，由于相同的界限（乘以 $\|h\|$）；实际上，可微性意味着连续性）。

现在对于第二个加数，它通过简单的消去和微分的线性性，等于

${\frac {{\bigg \|}f'{\big (}g(x_{0}){\big )}{\Big [}{\big [}g(x_{0}+h)-g(x_{0}){\big ]}-g'(x_{0})\mathbf {h} {\Big ]}{\bigg \|}}{\|\mathbf {h} \|}}\leq mn\max _{1\leq i\leq l \atop 1\leq j\leq n}|b_{i,j}|{\frac {{\Big \|}{\big [}g(x_{0}+h)-g(x_{0}){\big ]}-g'(x_{0})\mathbf {h} {\Big \|}}{\|\mathbf {h} \|}}$

其中 $B=(b_{i,j})_{1\leq i\leq l \atop 1\leq j\leq n}$ 是 $f$ 微分的矩阵。由于 $f$ 微分的定义，当 $\mathbf {h} \to 0$ 时，它趋向于 0。$\Box$

梯度

我们将要介绍的链式法则的第一个应用与一个称为梯度的东西有关，它被定义为函数 $f:\mathbb {R} ^{n}\to \mathbb {R}$，即图像是一维的（在特殊情况下 $n=2$，这些函数看起来像平面上 $\mathbb {R} ^{2}$ 上的函数的“山脉”）。

定义

令 $f:\mathbb {R} ^{n}\to \mathbb {R}$ 是可微的。然后，列向量

$\nabla f(x):={\begin{pmatrix}{\dfrac {\partial f}{\partial x_{1}}}\\\vdots \\{\dfrac {\partial f}{\partial x_{n}}}\end{pmatrix}}$

称为梯度。

定理:

令 $f,g:\mathbb {R} ^{n}\to \mathbb {R}$ 是两个在 $x_{0}$ 处完全可微的函数。由于它们都映射到 $\mathbb {R}$，它们的乘积是定义的，我们有

$\nabla (fg)=f\nabla g+g\nabla f$

证明:

现在，人们可以直接从梯度的定义和通常的一维乘积规则（实际上它不需要完全可微性）来计算这一点，但有一个使用链式法则的巧妙技巧，我在 Terence Tao 的讲义中找到了它，我的数学部分的重复是基于它的。

我们简单定义 $h:\mathbb {R} ^{n}\to \mathbb {R} ^{2},h(x):={\big (}f(x),g(x){\big )}$ 和 $i:\mathbb {R} ^{2}\to \mathbb {R} ,i(x,y):=x\cdot y$。那么函数 $f\times g$ 等于 $i\circ h$。现在，$i$ 的微分由雅可比矩阵给出

$J_{i}(x,y)=(y\ x)$

而 $h$ 的微分由雅可比矩阵给出

$J_{h}(x)={\begin{pmatrix}{\dfrac {\partial f}{\partial x_{1}}}(x)&\cdots &{\dfrac {\partial f}{\partial x_{n}}}(x)\\{\dfrac {\partial g}{\partial x_{1}}}(x)&\cdots &{\dfrac {\partial g}{\partial x_{n}}}(x)\end{pmatrix}}$

因此，乘积法则意味着 $i\circ h$ 在 $x$ 处的微分由下式给出

${\begin{pmatrix}g(x)&f(x)\end{pmatrix}}{\begin{pmatrix}{\dfrac {\partial f}{\partial x_{1}}}(x)&\cdots &{\dfrac {\partial f}{\partial x_{n}}}(x)\\{\dfrac {\partial g}{\partial x_{1}}}(x)&\cdots &{\dfrac {\partial g}{\partial x_{n}}}(x)\end{pmatrix}}$

从梯度的定义我们可以看到，微分只不过是梯度的转置（反之亦然，因为转置是幂等的）。$\Box$

现在我们将使用链式法则将一维中的一个众所周知的定理，即中值定理，推广到多个维度。

定理:

设$f:\mathbb {R} ^{n}\to \mathbb {R}$ 在 $\mathbb {R} ^{n}$ 上可微，并设$a\neq b\in \mathbb {R} ^{n}$。则存在$t\in [0,1]$ 使得

$f(b)-f(a)={\bigl \langle }b-a,\nabla f{\bigl (}tb+(1-t)a{\bigr )}{\bigr \rangle }$

其中$\langle \cdot ,\cdot \rangle$ 是 $\mathbb {R} ^{n}$ 上的标准内积。

证明:

实际上，这是一个对链式法则的直接应用。

我们设定

$g(\lambda ):=f{\bigl (}(1-\lambda )a+\lambda b{\bigr )}$

因此$g(0)=f(a)$ 且 $g(1)=f(b)$。根据一维中值定理，

$g(1)-g(0)=g'(t)$

对于合适的$t\in [0,1]$。现在根据链式法则，

$g'(t)={\bigl \langle }b-a,\nabla f{\bigl (}tb+(1-t)a{\bigr )}{\bigr \rangle }$.$\Box$

克莱罗定理

下一个定理表明，只要所考虑的函数具有足够的可微性，那么微分的顺序就不重要。在证明过程中，我们不需要使用一般链式法则或其任何推论，但我们会使用一维中值定理。

定理（克莱罗定理）:

设$f:\mathbb {R} ^{n}\to \mathbb {R}$ 是一元函数，其偏导数直到二阶导数都存在且连续。则

$\partial _{i}\partial _{j}f=\partial _{j}\partial _{i}f$.

证明:

我们从以下引理开始

引理:

$\partial _{j}\partial _{i}f(x)=\lim _{\delta \to 0}{\frac {f(x)-f(x+\delta e_{i})-f(x+\delta e_{j})+f{\bigl (}x+\delta (e_{i}+e_{j}){\bigr )}}{\delta ^{2}}}$

证明: 我们首先应用微积分基本定理，得到上述极限等于

$\lim _{\delta \to 0}{\frac {1}{\delta ^{2}}}\left(\int \limits _{0}^{\delta }\partial _{i}f(x+se_{i})ds-\int \limits _{0}^{\delta }\partial _{i}f(x+\delta e_{j}+se_{i})ds\right)$

使用换元积分和积分的线性性，我们可以将其改写为

$\lim _{\delta \to 0}{\frac {1}{\delta }}\int \limits _{0}^{1}{\bigl (}\partial _{i}f(x+\delta se_{i})-\partial _{i}f(x+\delta e_{j}+\delta se_{i}){\bigr )}ds$

现在我们应用单变量中的中值定理得到

$\partial _{i}f(x+\delta se_{i})-\partial _{i}f(x+\delta e_{j}+\delta se_{i})=\delta \partial _{j}\partial _{i}f(x+\delta se_{i}+t_{\delta }e_{j})$

对于一个合适的 $t_{\delta }\in [0,\delta ]$。因此，上述极限等于

$\lim _{\delta \to 0}\int \limits _{0}^{1}\partial _{j}\partial _{i}f(x+\delta se_{i}+t_{\delta }e_{j})ds$

这是在 $B_{\delta }(x)$ 的某个子集上对 $\partial _{j}\partial _{i}f$ 的平均值，因此根据 $\partial _{j}\partial _{i}f$ 的连续性，它收敛于 $\partial _{j}\partial _{i}f(x)$（你可以用

$\partial _{j}\partial _{i}f(x)=\int \limits _{0}^{1}\partial _{j}\partial _{i}f(x)ds$

来严格证明这一点，并减去积分并应用积分的三角不等式）。$\Box$

现在引理的表达式在 $i$ 和 $j$ 中是完全对称的，这就是克莱罗定理成立的原因。$\Box$