微积分/多元函数的导数

线性变换的矩阵

定理

线性变换 $L:\mathbb {R} ^{n}\to \mathbb {R} ^{m}$ 等同于乘以一个唯一确定的矩阵；也就是说，存在一个唯一的矩阵 $A\in \mathbb {R} ^{m\times n}$ 使得

$\forall {\vec {v}}\in \mathbb {R} ^{n}:L({\vec {v}})=A{\vec {v}}$

证明

我们设定列向量

${\begin{pmatrix}a_{1,j}\\a_{2,j}\\\vdots \\a_{n,j}\end{pmatrix}}:=L({\vec {e}}_{j})$

其中 $\{{\vec {e}}_{1},\ldots ,{\vec {e}}_{n}\}$ 是 $\mathbb {R} ^{n}$ 的标准基。然后我们由此定义

$A:={\begin{pmatrix}a_{1,1}&\cdots &a_{1,n}\\\vdots &\ddots &\vdots \\a_{n,1}&\cdots &a_{n,n}\end{pmatrix}}$

并注意到对于任何向量 ${\vec {v}}=(v_{1},\ldots ,v_{n})^{t}$ of $\mathbb {R} ^{n}$ 我们得到

$A{\vec {v}}=A\left(\sum _{j=1}^{n}v_{j}{\vec {e}}_{j}\right)=\sum _{j=1}^{n}Av_{j}{\vec {e}}_{j}=\sum _{j=1}^{n}v_{j}L({\vec {e}}_{j})=L\left(\sum _{j=1}^{n}v_{j}{\vec {e}}_{j}\right)=L({\vec {v}})$

因此，我们已经证明了存在性。为了证明唯一性，假设存在另一个矩阵 $B\in \mathbb {R} ^{m\times n}$ 具有性质 $\forall {\vec {v}}\in \mathbb {R} ^{n}:L({\vec {v}})=B{\vec {v}}$ 。那么特别地，

$B{\vec {e}}_{j}=L({\vec {e}}_{j})$

这已经意味着 $A=B$ （因为两个矩阵的所有列都相同）。$\Box$

如何推广导数

如何将导数推广到更高维数，这不是直接就能明白的。因为，如果我们取一个点$x_{0}$处的导数定义

$\lim _{h\to 0}{\frac {f(x_{0}+h)-f(x_{0})}{h}}$

并插入向量来代替 $h$ 和 $x_{0}$，我们将把整个式子除以一个向量。但这没有定义。

因此，我们将重新表述导数的定义，并将其转化为可以推广到更高维数的形式。

定理

设$f:\mathbb {R} \to \mathbb {R}$是一个一维函数，设$x_{0}\in \mathbb {R}$。那么 $f$在 $x_{0}$处可微当且仅当存在一个线性函数$l:\mathbb {R} \to \mathbb {R}$ 使得

$\lim _{h\to 0}{\frac {{\Big |}f(x_{0}+h)-{\big (}f(x_{0})+l(h){\big )}{\Big |}}{|h|}}=0$

我们注意到，根据上述，线性函数 $l:\mathbb {R} \to \mathbb {R}$ 由一个 $1\times 1$-矩阵，即一个标量，进行乘法运算。

证明

首先假设 $f$ 在 $x_{0}$ 处可微。我们设置 $l(h):=f'(x_{0})\cdot h$ 并得到

${\frac {{\Big |}f(x_{0}+h)-{\big (}f(x_{0})+l(h){\big )}{\Big |}}{|h|}}=\left|{\frac {f(x_{0}+h)-f(x_{0})}{h}}-f'(x_{0})\right|$

根据 $f'(x_{0})$ 的定义，该式收敛到 0。

现在假设我们得到一个 $l:\mathbb {R} \to \mathbb {R}$，使得

$\lim _{h\to 0}{\frac {{\Big |}f(x_{0}+h)-{\big (}f(x_{0})+l(h){\big )}{\Big |}}{|h|}}=0$

令 $c$ 为与 $l$ 相关的标量。那么，通过类似的计算， $f'(x_{0})=c$ 。$\Box$

利用上述定理中关于可微性的后一种表述，我们可以很容易地将其推广到更高维度，因为向量欧几里得范数的除法是可以定义的，并且线性映射在更高维度也是可以定义的。

定义

如果一个函数 $f:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 在点 $x_{0}\in \mathbb {R} ^{m}$ 可 **微分** 或 **全微分**，当且仅当存在一个线性函数 $L:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 使得

$\lim _{{\vec {h}}\to 0}{\frac {{\Big \|}f(x_{0}+{\vec {h}})-{\big (}f(x_{0})+L({\vec {h}}){\big )}{\Big \|}}{\|{\vec {h}}\|}}=0$

我们已经证明，这个定义在单变量情况 ($m=n=1$) 与通常的定义一致。

我们有以下定理

定理

令 $S\subseteq \mathbb {R} ^{m}$ 为一个集合，令 $x_{0}\in {\overset {\circ }{S}}$ 为 $S$ 的一个内点，令 $f:S\to \mathbb {R} ^{m}$ 为在 $x_{0}$ 可微的函数。那么使得

$\lim _{{\vec {h}}\to 0}{\frac {{\Big \|}f(x_{0}+{\vec {h}})-{\big (}f(x_{0})+L({\vec {h}}){\big )}{\Big \|}}{\|{\vec {h}}\|}}=0$

的线性映射 $L$ 是唯一的，也就是说，只存在一个这样的映射 $L$ 。

证明

由于 $x_{0}$ 是 $S$ 的内部点，我们发现 $r>0$ 使得 $B_{r}(x_{0})\subseteq S$。现在令 $K:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 是任何具有以下性质的线性映射：

$\lim _{{\vec {h}}\to 0}{\frac {{\Big \|}f(x_{0}+{\vec {h}})-{\big (}f(x_{0})+K({\vec {h}}){\big )}{\Big \|}}{\|{\vec {h}}\|}}=0$

我们注意到，对于标准基的所有向量 $\{e_{1},\ldots ,e_{n}\}$，数字 $\lambda e_{j}$ 对于 $0\leq \lambda <r$ 都包含在 $S$ 中。因此，通过三角不等式，我们得到

${\Big \|}L({\vec {e}}_{j})-K({\vec {e}}_{j}){\Big \|}={\frac {{\bigl \|}L(\lambda {\vec {e}}_{j})-K(\lambda {\vec {e}}_{j}){\bigr \|}}{\|\lambda {\vec {e}}_{j}\|}}\leq {\frac {{\Big \|}f(x_{0}+\lambda {\vec {e}}_{j})-{\big (}f(x_{0})+L(\lambda {\vec {e}}_{j}){\big )}{\Big \|}}{\|\lambda {\vec {e}}_{j}\|}}+{\frac {{\Big \|}f(x_{0}+\lambda {\vec {e}}_{j})-{\big (}f(x_{0})+K(\lambda {\vec {e}}_{j}){\big )}{\Big \|}}{\|\lambda {\vec {e}}_{j}\|}}$

令 $\lambda \to 0$ ，我们可以看到 $L({\vec {e}}_{j})=K({\vec {e}}_{j})$ 。因此， $L$ 和 $K$ 在所有基向量上重合，并且由于所有其他向量都可以表示为这些向量的线性组合，根据 $L$ 和 $K$ 的线性，我们得到 $L=K$ 。$\Box$

因此，以下定义是合理的

定义

设 $f:S\to \mathbb {R} ^{n}$ 为一个函数（其中 $S\subseteq \mathbb {R} ^{m}$ 是 $\mathbb {R} ^{m}$ 的一个子集），并设 $x_{0}$ 是 $S$ 的一个内点，使得 $f$ 在 $x_{0}$ 处可微。那么，唯一的线性函数 $L$ 使得

$\lim _{{\vec {h}}\to 0}{\frac {{\Big \|}f(x_{0}+{\vec {h}})-{\big (}f(x_{0})+L({\vec {h}}){\big )}{\Big \|}}{\|{\vec {h}}\|}}=0$

被称为 $f$ 在 $x_{0}$ 处的 **微分**，记为 $f(x_{0}):=L$ 。

方向导数与偏导数

我们首先定义方向导数。

定义

设 $f:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 为一个函数，并设 ${\vec {v}}\in \mathbb {R} ^{m}$ 为一个向量。如果极限

$\lim _{h\to 0}{\frac {f(x_{0}+h{\vec {v}})-f(x_{0})}{h}}$

存在，则称其为 $f$ 在方向 ${\vec {v}}$ 上的 **方向导数**。我们记为 $D_{\vec {v}}f(x_{0})$ 。

以下定理将方向导数与全微分函数的微分联系起来

定理

令 $f:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 是在 $x_{0}$处完全可微的函数，并令 ${\vec {v}}\in \mathbb {R} ^{m}\setminus \{0\}$ 是一个非零向量。那么 $D_{\vec {v}}f(x_{0})$ 存在且等于 $f'(x_{0}){\vec {v}}$。

证明

根据完全可微性的定义，

$\lim _{h\to 0}\left\|{\frac {f(x_{0}+h{\vec {v}})-f(x_{0})}{|h|\cdot \|{\vec {v}}\|}}-{\frac {f'(x_{0}){\vec {v}}}{|h|\cdot \|{\vec {v}}\|}}\right\|=0$

因此，

$\lim _{h\to 0}\left\|{\frac {f(x_{0}+h{\vec {v}})-f(x_{0})}{|h|}}-{\frac {f'(x_{0}){\vec {v}}}{|h|}}\right\|=0$

通过将以上方程乘以 $\|{\vec {v}}\|$。注意到

$\left\|{\frac {f(x_{0}+h{\vec {v}})-f(x_{0})}{|h|}}-{\frac {f'(x_{0}){\vec {v}}}{|h|}}\right\|=\left\|{\frac {f(x_{0}+h{\vec {v}})-f(x_{0})}{h}}-{\frac {f'(x_{0}){\vec {v}}}{h}}\right\|$

定理得证。$\Box$

方向导数的一种特殊情况是偏导数。

定义

设 $\{{\vec {e}}_{1},\ldots ,{\vec {e}}_{m}\}$ 是 $\mathbb {R} ^{m}$ 的标准正交基，设 $x_{0}\in \mathbb {R} ^{m}$，设 $f:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 是一个函数，使得方向导数 $D_{{\vec {e}}_{j}}f(x_{0})$ 都存在。我们设置

${\frac {\partial f}{\partial x_{j}}}:=D_{{\vec {e}}_{j}}f(x_{0})$

并称之为 $x_{j}$ 方向上的 **偏导数**。

事实上，通过写下$D_{{\vec {e}}_{j}}f(x_{0})$ 的定义，我们可以看到，$x_{j}$ 方向上的偏导数，不过是函数$y\mapsto f(x_{0,1},\ldots ,x_{0,j-1},y,x_{0,j+1},\ldots ,x_{0,m})$ 在变量$y$ 处的导数。也就是说，例如，如果

$f(x,y,z)=x^{2}+4z^{3}+3xy$

那么

${\frac {\partial f}{\partial x}}=2x+3y\ ,\ {\frac {\partial f}{\partial y}}=3x\ ,\ {\frac {\partial f}{\partial z}}=12z^{2}$

也就是说，在求偏导数时，我们将其他变量视为常数，只对我们所考虑的变量进行求导。

雅可比矩阵

从上面我们知道，函数$f'(x_{0})$ 的微分有一个与之相关的矩阵，代表着由此定义的线性映射。在一定条件下，我们可以从分量函数的偏导数中确定这个矩阵。

定理

设 $f:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 是一个函数，其所有偏导数在 $x_{0}$ 处存在，并且在 $B_{r}(x_{0})$ 上的每个分量上连续，其中 $r>0$ 可能很小，但为正数。那么 $f$ 在 $x_{0}$ 处完全可微，$f$ 的微分由矩阵左乘给出

$J_{f}(x_{0}):={\begin{pmatrix}{\dfrac {\partial f_{1}}{\partial x_{1}}}&\cdots &{\dfrac {\partial f_{1}}{\partial x_{m}}}\\\vdots &\ddots &\vdots \\{\dfrac {\partial f_{n}}{\partial x_{1}}}&\cdots &{\dfrac {\partial f_{n}}{\partial x_{m}}}\end{pmatrix}}$

其中 $f=(f_{1},\ldots ,f_{n})$ 。

矩阵 $J_{f}(x_{0})$ 被称为雅可比矩阵。

证明

${\frac {{\Big \|}f(x_{0}+{\vec {h}})-(f(x_{0})+J_{f}(x_{0}){\vec {h}}){\Big \|}}{\|{\vec {h}}\|}}$	$={\frac {\left\|\displaystyle \sum _{j=1}^{n}f_{j}(x_{0}+{\vec {h}}){\vec {e}}_{j}-\sum _{j=1}^{n}\left(f_{j}(x_{0})+\sum _{k=1}^{m}h_{k}{\frac {\partial f_{j}}{\partial x_{m}}}(x_{0})\right){\vec {e}}_{j}\right\|}{\|{\vec {h}}\|}}$
	$\leq \sum _{j=1}^{n}{\frac {\left\|f_{j}(x_{0}+h)-\left(f_{j}(x_{0})+\displaystyle \sum _{k=1}^{m}h_{k}{\frac {\partial f_{j}}{\partial x_{m}}}(x_{0})\right)\right\|}{\|{\vec {h}}\|}}$

现在我们将证明最后一个和式中所有被加数都趋于 0。

实际上，令 $j\in \{1,\ldots ,n\}$ 。再次写成 ${\vec {h}}=(h_{1},\ldots ,h_{m})$ ，我们通过一维中值定理得到以下方程序列，首先应用于第一个变量，然后应用于第二个变量，依此类推：

$f_{j}(x_{0}+h_{1}{\vec {e}}_{1})-f_{j}(x_{0})=\overbrace {(x_{0,1}+h_{1}-x_{0,1})} ^{=h_{1}}{\frac {\partial f_{j}}{\partial x_{1}}}(x_{0}+t_{1}{\vec {e}}_{1})$

$f_{j}(x_{0}+h_{1}{\vec {e}}_{1}+h_{2}{\vec {e}}_{2})-f_{j}(x_{0}+h_{1}{\vec {e}}_{1})=\overbrace {(x_{0,2}+h_{2}-x_{0,2})} ^{=h_{2}}{\frac {\partial f_{j}}{\partial x_{2}}}(x_{0}+h_{1}{\vec {e}}_{1}+t_{2}{\vec {e}}_{2})$

$\vdots$

$f_{j}(x_{0}+h_{1}{\vec {e}}_{1}+\cdots +h_{m}{\vec {e}}_{m})-f_{j}(x_{0}+h_{1}{\vec {e}}_{1}+\cdots +h_{m-1}{\vec {e}}_{m-1})=\overbrace {(x_{0,m}+h_{m}-x_{0,m})} ^{=h_{m}}{\frac {\partial f_{j}}{\partial x_{m}}}(x_{0}+h_{1}{\vec {e}}_{1}+\cdots +h_{m-1}{\vec {e}}_{m-1}+t_{n}{\vec {e}}_{m})$

对于适当选择的 $t_{k}\in [x_{0,k},x_{0,k}+h_{k}]$ 。现在我们可以将所有这些方程加在一起，得到

$f_{j}(x_{0}+{\vec {h}})-f(x_{0})=\sum _{k=1}^{m}h_{k}{\frac {\partial f_{j}}{\partial x_{k}}}\left(x_{0}+\sum _{l=1}^{k-1}h_{l}{\vec {e}}_{l}+t_{k}{\vec {e}}_{k}\right)$

现在令 $\delta >0$ 。利用 ${\frac {\partial f_{j}}{\partial x_{k}}}$ 在 $B_{r}(x_{0})$ 上的连续性，我们可以选择 $\delta _{k}>0$ 使得

$\left|{\frac {\partial f_{j}}{\partial x_{k}}}\left(x_{0}+\sum _{l=1}^{k-1}h_{l}{\vec {e}}_{l}+t_{k}e_{k}\right)-{\frac {\partial f_{j}}{\partial x_{m}}}(x_{0})\right|<{\frac {\epsilon }{m}}$

对于 $|h_{k}|<\delta _{k}$ ，鉴于 ${\vec {h}}\in B_{r}(0)$ （我们可以假设为 ${\vec {h}}\to {\vec {0}}$）。因此，我们得到

${\frac {\left\|f_{j}(x_{0}+h)-\left(f_{j}(x_{0})+\displaystyle \sum _{k=1}^{m}h_{k}{\frac {\partial f_{j}}{\partial x_{m}}}(x_{0})\right)\right\|}{\|{\vec {h}}\|}}\leq {\frac {\|{\vec {h}}\|\cdot m\cdot {\frac {\epsilon }{m}}}{\|{\vec {h}}\|}}$

因此定理得证。$\Box$

推论

如果 $f:\mathbb {R} ^{m}\to \mathbb {R} ^{n}$ 在 $x_{0}\in \mathbb {R} ^{m}$ 处连续可微，且 ${\vec {v}}\in \mathbb {R} ^{m}\setminus \{0\}$ ，那么

$D_{\vec {v}}f(x_{0})=\sum _{j=1}^{m}v_{j}{\frac {\partial f}{\partial x_{j}}}(x_{0})$

证明

$D_{\vec {v}}f(x_{0})=f'(x_{0})({\vec {v}})=J_{f}(x_{0}){\vec {v}}=\sum _{j=1}^{m}v_{j}{\frac {\partial f}{\partial x_{j}}}(x_{0})$$\Box$