抽象代数/线性代数主题

Moore-Penrose 逆

逆矩阵在 线性代数 中，特别是在计算中起着关键作用。然而，只有方阵才有可能可逆。这促使我们引入了可能非方阵的实值或复值矩阵的 *Moore-Penrose 逆*，它满足逆矩阵的一些但不一定是全部性质。

定义。

令 $A$ 为在域 $\mathbb {K}$ 上的 *m*-by-*n* 矩阵，其中 $\mathbb {K}$ 是实数 $\mathbb {R}$ 或复数 $\mathbb {C}$。回想一下 $A^{*}$ 指的是 $A$ 的共轭转置。那么，以下四个标准被称为 *针对 $A$ 的 Moore–Penrose 条件*。

1. $AA^{+}A=A$,
2. $A^{+}AA^{+}=A^{+}$,
3. $\left(AA^{+}\right)^{*}=AA^{+}$,
4. $\left(A^{+}A\right)^{*}=A^{+}A$.

我们将在下面看到，给定矩阵 $A$，存在唯一的矩阵 $A^{+}$ 满足所有四个 Moore–Penrose 条件。它们推广了通常逆的性质。

备注。

如果 $A$ 是一个可逆方阵，那么普通逆矩阵 $A^{-1}$ 满足 $A$ 的 Moore-Penrose 条件。观察如果 $A^{+}$ 满足 $A$ 的 Moore-Penrose 条件，那么 $A$ 满足 $A^{+}$ 的 Moore-Penrose 条件。

Hermitian 共轭的基本性质

我们收集共轭转置的一些基本性质以备后用。在下面的引理中，$A$ 是一个具有复数元素的矩阵，它有 n 列，$B$ 是一个具有复数元素的矩阵，它有 n 行。

引理 (1)。

对于任何 $\mathbb {K}$-矩阵 $A$，$A^{*}A=0\Rightarrow A=0$

证明。 该假设表明 A*A 的所有元素均为零。因此，

$0=\operatorname {Tr} \left(A^{*}A\right)=\sum _{j=1}^{n}\left(A^{*}A\right)_{jj}=\sum _{j=1}^{n}\sum _{i=1}^{m}\left(A^{*}\right)_{ji}A_{ij}=\sum _{i=1}^{m}\sum _{j=1}^{n}\left|A_{ij}\right|^{2}.$

因此，所有 $A_{ij}$ 等于 0，即 $A=0$。 $\square$

引理 (2)。

对于任何 $\mathbb {K}$-矩阵 $A$，$A^{*}AB=0\Rightarrow AB=0$

证明。 : ${\begin{aligned}0&=A^{*}AB&\\\Rightarrow 0&=B^{*}A^{*}AB&\\\Rightarrow 0&=(AB)^{*}(AB)&\\\Rightarrow 0&=AB&({\text{by Lemma 1}})\end{aligned}}$ $\square$

引理 (3)。

对于任何 $\mathbb {K}$-矩阵 $A$，$ABB^{*}=0\Rightarrow AB=0$

证明。 这与引理 2 的证明方式类似（或者只需取厄米特共轭）。 $\square$

存在性和唯一性

我们证明了每个矩阵都存在且唯一地存在摩尔-彭罗斯逆。

定理。

如果 $A$ 是一个 $\mathbb {K}$-矩阵，并且 $A_{1}^{+}$ 和 $A_{2}^{+}$ 满足 $A$ 的摩尔-彭罗斯条件，那么 $A_{1}^{+}=A_{2}^{+}$.

证明。 令 $A$ 是 $\mathbb {R}$ 或 $\mathbb {C}$ 上的矩阵。假设 ${A_{1}^{+}}$ 和 ${A_{2}^{+}}$ 是 $A$ 的 Moore-Penrose 逆。观察到：

$A{A_{1}^{+}}{\overset {(1)}{{}={}}}(A{A_{2}^{+}}A){A_{1}^{+}}=(A{A_{2}^{+}})(A{A_{1}^{+}}){\overset {(3)}{{}={}}}(A{A_{2}^{+}})^{*}(A{A_{1}^{+}})^{*}={A_{2}^{+}}^{*}(A{A_{1}^{+}}A)^{*}{\overset {(1)}{{}={}}}{A_{2}^{+}}^{*}A^{*}=(A{A_{2}^{+}})^{*}{\overset {(3)}{{}={}}}A{A_{2}^{+}}.$

类似地，我们得出结论 ${A_{1}^{+}}A={A_{2}^{+}}A$。通过观察以下内容，完成证明：

${A_{1}^{+}}{\overset {(2)}{{}={}}}{A_{1}^{+}}A{A_{1}^{+}}={A_{1}^{+}}A{A_{2}^{+}}=A_{2}^{+}A{A_{2}^{+}}{\overset {(2)}{{}={}}}{A_{2}^{+}}.$ $\square$

定理。

对于每个$\mathbb {K}$-矩阵 $A$，都存在一个满足 Moore-Penrose 条件的矩阵 $A^{+}$。

证明. 证明分步骤进行。

$A$ 是一个 1x1 矩阵

对于任何 $x\in \mathbb {K}$，我们定义

$x^{+}:={\begin{cases}x^{-1},&{\mbox{if }}x\neq 0\\0,&{\mbox{if }}x=0\end{cases}}$

很容易看出 $x^{+}$ 是 $x$ （解释为一个 1x1 矩阵）的伪逆。

$A$ 是一个方对角矩阵

令 $D$ 是一个在 $\mathbb {K}$ 上的 nxn 矩阵，其非对角线元素为零。我们定义 $D^{+}$ 作为在 $\mathbb {K}$ 上的 nxn 矩阵，其中 $\left(D^{+}\right)_{ij}:=\left(D_{ij}\right)^{+}$ 如上所定义。我们简写为 $D_{ij}^{+}$ 代表 $\left(D^{+}\right)_{ij}=\left(D_{ij}\right)^{+}$.

请注意，$D^{+}$ 也是一个非对角线元素为零的矩阵。

我们现在证明 $D^{+}$ 是 $D$ 的伪逆。

1. $\left(DD^{+}D\right)_{ij}=D_{ij}D_{ij}^{+}D_{ij}=D_{ij}\Rightarrow DD^{+}D=D$
2. $\left(D^{+}DD^{+}\right)_{ij}=D_{ij}^{+}D_{ij}D_{ij}^{+}=D_{ij}^{+}\Rightarrow D^{+}DD^{+}=D^{+}$
3. $\left(DD^{+}\right)_{ij}^{*}={\overline {\left(DD^{+}\right)_{ji}}}={\overline {D_{ji}D_{ji}^{+}}}=\left(D_{ji}D_{ji}^{+}\right)^{*}=D_{ji}D_{ji}^{+}=D_{ij}D_{ij}^{+}\Rightarrow \left(DD^{+}\right)^{*}=DD^{+}$
4. $\left(D^{+}D\right)_{ij}^{*}={\overline {\left(D^{+}D\right)_{ji}}}={\overline {D_{ji}^{+}D_{ji}}}=\left(D_{ji}^{+}D_{ji}\right)^{*}=D_{ji}^{+}D_{ji}=D_{ij}^{+}D_{ij}\Rightarrow \left(D^{+}D\right)^{*}=D^{+}D$

$A$ 是一个通用的对角矩阵

设 $D$ 是一个在 $\mathbb {K}$ 上的 m 行 n 列矩阵，主对角线以外的元素均为零，其中 m 和 n 不相等。也就是说，当 $i=j$ 时，$D_{ij}=d_{i}$ ，对于某些 $d_{i}\in \mathbb {K}$ ；否则，$D_{ij}=0$。

考虑 $n>m$ 的情况。我们可以通过堆叠的方式将 $D$ 重写为 $D=\left[D_{0}\,\,\mathbf {0} _{m\times (n-m)}\right]$，其中 $D_{0}$ 是一个 m 行 m 列的对角方阵，$\mathbf {0} _{m\times (n-m)}$ 是一个 m 行 (n−m) 列的零矩阵。我们定义 $D^{+}\equiv {\begin{bmatrix}D_{0}^{+}\\\mathbf {0} _{(n-m)\times m}\end{bmatrix}}$ 为一个在 $\mathbb {K}$ 上的 n 行 m 列矩阵，其中 $D_{0}^{+}$ 是上面定义的 $D_{0}$ 的伪逆，$\mathbf {0} _{(n-m)\times m}$ 是一个 (n−m) 行 m 列的 零矩阵。我们现在证明 $D^{+}$ 是 $D$ 的伪逆。

1. 通过分块矩阵的乘法，$DD^{+}=D_{0}D_{0}^{+}+\mathbf {0} _{m\times (n-m)}\mathbf {0} _{(n-m)\times m}=D_{0}D_{0}^{+},$ 因此，根据上一节中证明的关于方阵对角矩阵的性质 1，$D_{0}$ 有$DD^{+}D=D_{0}D_{0}^{+}\left[D_{0}\,\,\mathbf {0} _{m\times (n-m)}\right]=\left[D_{0}D_{0}^{+}D_{0}\,\,\mathbf {0} _{m\times (n-m)}\right]=\left[D_{0}\,\,\mathbf {0} _{m\times (n-m)}\right]=D$.
2. 类似地，$D^{+}D={\begin{bmatrix}D_{0}^{+}D_{0}&\mathbf {0} _{m\times (n-m)}\\\mathbf {0} _{(n-m)\times m}&\mathbf {0} _{(n-m)\times (n-m)}\end{bmatrix}}$，因此$D^{+}DD^{+}={\begin{bmatrix}D_{0}^{+}D_{0}&\mathbf {0} _{m\times (n-m)}\\\mathbf {0} _{(n-m)\times m}&\mathbf {0} _{(n-m)\times (n-m)}\end{bmatrix}}{\begin{bmatrix}D_{0}^{+}\\\mathbf {0} _{(n-m)\times m}\end{bmatrix}}={\begin{bmatrix}D_{0}^{+}D_{0}D_{0}^{+}\\\mathbf {0} _{(n-m)\times m}\end{bmatrix}}=D^{+}.$
3. 根据 1 和关于方阵对角矩阵的性质 3，$\left(DD^{+}\right)^{*}=\left(D_{0}D_{0}^{+}\right)^{*}=D_{0}D_{0}^{+}=DD^{+}$.
4. 根据平方对角矩阵的性质 2 和 4，$\left(D^{+}D\right)^{*}={\begin{bmatrix}\left(D_{0}^{+}D_{0}\right)^{*}&\mathbf {0} _{m\times (n-m)}\\\mathbf {0} _{(n-m)\times m}&\mathbf {0} _{(n-m)\times (n-m)}\end{bmatrix}}={\begin{bmatrix}D_{0}^{+}D_{0}&\mathbf {0} _{m\times (n-m)}\\\mathbf {0} _{(n-m)\times m}&\mathbf {0} _{(n-m)\times (n-m)}\end{bmatrix}}=D^{+}D.$

当$m>n$时，$D$ 的存在性可以通过在 $n>m$ 情况下交换 $D$ 和 $D^{+}$ 的角色，并使用 $\left(D^{+}\right)^{+}=D$ 的事实得出。

$A$ 是一个任意矩阵

奇异值分解定理指出，存在以下形式的分解：

$A=U\Sigma V^{*}$

其中

$U$ 是一个 m 行 m 列的酉矩阵，其元素属于 $\mathbb {K}$。

$\Sigma$ 是一个 m 行 n 列的矩阵，其元素属于 $\mathbb {K}$，对角线上是大于等于零的实数，非对角线上是零。

$V$ 是一个 n 行 n 列的酉矩阵，其元素属于 $\mathbb {K}$。

将 $A^{+}$ 定义为 $V\Sigma ^{+}U^{*}$。

我们现在证明 $A^{+}$ 是 $A$ 的伪逆。

1. $AA^{+}A=U\Sigma V^{*}V\Sigma ^{+}U^{*}U\Sigma V^{*}=U\Sigma \Sigma ^{+}\Sigma V^{*}=U\Sigma V^{*}=A$
2. $A^{+}AA^{+}=V\Sigma ^{+}U^{*}U\Sigma V^{*}V\Sigma ^{+}U^{*}=V\Sigma ^{+}\Sigma \Sigma ^{+}U^{*}=V\Sigma ^{+}U^{*}=A^{+}$
3. $\left(AA^{+}\right)^{*}=\left(U\Sigma V^{*}V\Sigma ^{+}U^{*}\right)^{*}=\left(U\Sigma \Sigma ^{+}U^{*}\right)^{*}=U\left(\Sigma \Sigma ^{+}\right)^{*}U^{*}=U\left(\Sigma \Sigma ^{+}\right)U^{*}=U\Sigma V^{*}V\Sigma ^{+}U^{*}=AA^{+}$
4. $\left(A^{+}A\right)^{*}=\left(V\Sigma ^{+}U^{*}U\Sigma V^{*}\right)^{*}=\left(V\Sigma ^{+}\Sigma V^{*}\right)^{*}=V\left(\Sigma ^{+}\Sigma \right)^{*}V^{*}=V\left(\Sigma ^{+}\Sigma \right)V^{*}=V\Sigma ^{+}U^{*}U\Sigma V^{*}=A^{+}A$ $\square$

这将我们引向了自然定义：

定义（摩尔-彭罗斯逆）。

令 $A$ 为一个 $\mathbb {K}$-矩阵。那么满足 $A$ 的 Moore-Penrose 条件的唯一 $\mathbb {K}$-矩阵被称为 $A$ 的 *Moore-Penrose 逆* $A^{+}$。

基本性质

我们已经从上面看到 Moore-Penrose 逆将经典逆推广到了可能是非方阵的矩阵。我们现在将列出它与 Hermitian 共轭相互作用的一些基本性质，将大多数证明留给读者练习。

练习。

对于任何 $\mathbb {K}$-矩阵 $A$，${A^{*}}^{+}={A^{+}}^{*}$

以下恒等式成立

1. A⁺ = A⁺ A^+* A^*
2. A⁺ = A^* A^+* A⁺
3. A = A^+* A^* A
4. A = A A^* A^+*
5. A^* = A^* A A⁺
6. A^* = A⁺ A A^*

第一个的证明：$A^{+}=A^{+}AA^{+}$ 以及 $AA^{+}=\left(AA^{+}\right)^{*}$ 意味着 $A^{+}=A^{+}\left(AA^{+}\right)^{*}=A^{+}A^{+^{*}}A^{*}$。□

剩下的恒等式作为练习留给读者。

简化为 Hermitian 情况

本节的结果表明，伪逆的计算可以简化为它在 Hermitian 情况下的构造。只需证明假设的构造满足定义的标准即可。

命题。

对于每一个 $\mathbb {K}$-矩阵 $A$，$A^{+}=A^{*}(AA^{*})^{+}$

证明。 观察到

${\begin{aligned}&&AA^{*}&=AA^{*}\left(AA^{*}\right)^{+}AA^{*}&\\&\Leftrightarrow &AA^{*}&=ADAA^{*}&\\&\Leftrightarrow &0&=(AD-I)AA^{*}&\\&\Leftrightarrow &0&=ADA-A&({\text{by Lemma 3}})\\&\Leftrightarrow &A&=ADA&\end{aligned}}$

类似地，$\left(AA^{*}\right)^{+}AA^{*}\left(AA^{*}\right)^{+}=\left(AA^{*}\right)^{+}$ 意味着 $A^{*}\left(AA^{*}\right)^{+}AA^{*}\left(AA^{*}\right)^{+}=A^{*}\left(AA^{*}\right)^{+}$ 即 $DAD=D$.

此外，$AD=AA^{*}\left(AA^{*}\right)^{+}$ 所以 $AD=(AD)^{*}$.

最后，$DA=A^{*}\left(AA^{*}\right)^{+}A$ 意味着 $(DA)^{*}=A^{*}\left(\left(AA^{*}\right)^{+}\right)^{*}A=A^{*}\left(\left(AA^{*}\right)^{+}\right)A=DA$.

因此，$D=A^{+}$. $\square$

练习。

对于每个 $\mathbb {K}$-矩阵 $A$, $A^{+}=(A^{*}A)^{+}A^{*}$

乘积

我们现在来计算两个矩阵 $C=AB.$ 的 Moore-Penrose 逆。

命题。

如果 $A$ 的列是正交归一的，即 $A^{*}A=I$，那么对于任何 $\mathbb {K}$-矩阵 $B$（尺寸正确），$(AB)^{+}=B^{+}A^{+}$.

证明。由于 $A^{*}A=I$，$A^{+}=A^{*}$。写成 $C=AB$ 和 $D=B^{+}A^{+}=B^{+}A^{*}$。我们证明 $D$ 满足 $C$ 的 Moore–Penrose 准则。

${\begin{aligned}CDC&=ABB^{+}A^{*}AB=ABB^{+}B=AB=C,\\[4pt]DCD&=B^{+}A^{*}ABB^{+}A^{*}=B^{+}BB^{+}A^{*}=B^{+}A^{*}=D,\\[4pt](CD)^{*}&=D^{*}B^{*}A^{*}=A\left(B^{+}\right)^{*}B^{*}A^{*}=A\left(BB^{+}\right)^{*}A^{*}=ABB^{+}A^{*}=CD,\\[4pt](DC)^{*}&=B^{*}A^{*}D^{*}=B^{*}A^{*}A\left(B^{+}\right)^{*}=\left(B^{+}B\right)^{*}=B^{+}B=B^{+}A^{*}AB=DC.\end{aligned}}$

因此，$D=C^{+}$. $\square$

练习。

如果 $B$ 的行向量是正交归一的，那么对于任何 $\mathbb {K}$ 矩阵 $A$ （维度合适），$(AB)^{+}=B^{+}A^{+}$.

另一个重要的特例，它与可逆矩阵的情况非常接近，是当 $A$ 的列向量是线性无关的，而 $B$ 的行向量是线性无关的。

命题。

如果 $A$ 的列满秩，且 $B$ 的行满秩，则 $(AB)^{+}=B^{+}A^{+}$.

证明. 由于 $A$ 的列满秩，$A^{*}A$ 可逆，所以 $\left(A^{*}A\right)^{+}=\left(A^{*}A\right)^{-1}$。类似地，由于 $B$ 的行满秩，$BB^{*}$ 可逆，所以 $\left(BB^{*}\right)^{+}=\left(BB^{*}\right)^{-1}$.

令 $D=B^{+}A^{+}=B^{*}\left(BB^{*}\right)^{-1}\left(A^{*}A\right)^{-1}A^{*}$（使用埃尔米特矩阵的简化）。我们证明 $D$ 满足摩尔-彭罗斯准则。

${\begin{aligned}CDC&=ABB^{*}\left(BB^{*}\right)^{-1}\left(A^{*}A\right)^{-1}A^{*}AB=AB=C,\\[4pt]DCD&=B^{*}\left(BB^{*}\right)^{-1}\left(A^{*}A\right)^{-1}A^{*}ABB^{*}\left(BB^{*}\right)^{-1}\left(A^{*}A\right)^{-1}A^{*}=B^{*}\left(BB^{*}\right)^{-1}\left(A^{*}A\right)^{-1}A^{*}=D,\\[4pt]CD&=ABB^{*}\left(BB^{*}\right)^{-1}\left(A^{*}A\right)^{-1}A^{*}=A\left(A^{*}A\right)^{-1}A^{*}=\left(A\left(A^{*}A\right)^{-1}A^{*}\right)^{*},\\\Rightarrow (CD)^{*}&=CD,\\[4pt]DC&=B^{*}\left(BB^{*}\right)^{-1}\left(A^{*}A\right)^{-1}A^{*}AB=B^{*}\left(BB^{*}\right)^{-1}B=\left(B^{*}\left(BB^{*}\right)^{-1}B\right)^{*},\\\Rightarrow (DC)^{*}&=DC.\end{aligned}}$

因此，$D=C^{+}$. $\square$

最后，我们推导出计算 $AA^{*}$ 的摩尔-彭罗斯逆的公式。

命题。

如果 $B=A^{*}$，那么 $(AB)^{+}=A^{+*}A^{+}$。

证明。 这里，$B=A^{*}$，因此 $C=AA^{*}$ 且 $D=A^{+*}A^{+}$。我们证明 $D$ 确实满足摩尔-彭罗斯四个条件。

${\begin{aligned}CDC&=AA^{*}A^{+*}A^{+}AA^{*}=A\left(A^{+}A\right)^{*}A^{+}AA^{*}=AA^{+}AA^{+}AA^{*}=AA^{+}AA^{*}=AA^{*}=C\\[4pt]DCD&=A^{+*}A^{+}AA^{*}A^{+*}A^{+}=A^{+*}A^{+}A\left(A^{+}A\right)^{*}A^{+}=A^{+*}A^{+}AA^{+}AA^{+}=A^{+*}A^{+}AA^{+}=A^{+*}A^{+}=D\\[4pt](CD)^{*}&=\left(AA^{*}A^{+*}A^{+}\right)^{*}=A^{+*}A^{+}AA^{*}=A^{+*}\left(A^{+}A\right)^{*}A^{*}=A^{+*}A^{*}A^{+*}A^{*}\\&=\left(AA^{+}\right)^{*}\left(AA^{+}\right)^{*}=AA^{+}AA^{+}=A\left(A^{+}A\right)^{*}A^{+}=AA^{*}A^{+*}A^{+}=CD\\[4pt](DC)^{*}&=\left(A^{+*}A^{+}AA^{*}\right)^{*}=AA^{*}A^{+*}A^{+}=A\left(A^{+}A\right)^{*}A^{+}=AA^{+}AA^{+}\\&=\left(AA^{+}\right)^{*}\left(AA^{+}\right)^{*}=A^{+*}A^{*}A^{+*}A^{*}=A^{+*}\left(A^{+}A\right)^{*}A^{*}=A^{+*}A^{+}AA^{*}=DC\end{aligned}}$

因此，$D=C^{+}$. 换句话说

$\left(AA^{*}\right)^{+}=A^{+*}A^{+}$

并且，由于$\left(A^{*}\right)^{*}=A$

$\left(A^{*}A\right)^{+}=A^{+}A^{+*}$ $\square$

投影和子空间

经典逆矩阵的定义特征是$AA^{-1}=A^{-1}A=I.$ 我们可以对$AA^{+}$ 和 $A^{+}A$ 说些什么呢？

我们可以很容易地从上面的基本性质推导出一些性质

练习。

令$A$ 为一个$\mathbb {K}$-矩阵。那么$(AA^{+})^{2}=(AA^{+}),(A^{+}A)^{2}=(A^{+}A),(AA^{+})^{*}=(AA^{+})$ 以及$(A^{+}A)^{*}=(A^{+}A)$

我们可以得出结论，$P=AA^{+}$ 和 $Q=A^{+}A$ 是正交投影。

命题。

令$A$ 为一个$\mathbb {K}$-矩阵。那么$P=AA^{+}$ 和 $Q=A^{+}A$ 是正交投影

证明。 实际上，考虑算子$P$: 任何向量都可以分解为

$x=Px+(I-P)x$

对于所有满足 $Px=x$ 和 $(I-P)y=y$ 的向量 $x$ 和 $y$，我们有

$x^{*}y=(Px)^{*}(I-P)y=x^{*}P^{*}(I-P)y=x^{*}P(I-P)y=0$.

由此可知，$PA=AA^{+}A=A$ 和 $A^{+}P=A^{+}AA^{+}=A^{+}$。 同样地，$QA^{+}=A^{+}$ 和 $AQ=A$。 现在可以容易地识别出正交分量。 $\square$

最后，我们通过确定由摩尔-彭罗斯逆表示的映射的像和核来完成我们的分析。

命题。

设 $A$ 为一个 $\mathbb {K}$-矩阵。 那么，$\operatorname {Ker} \left(A^{+}\right)=\operatorname {Ker} \left(A^{*}\right)$ 且 $\operatorname {Im} \left(A^{+}\right)=\operatorname {Im} \left(A^{*}\right)$。

证明. 如果 $y$ 属于 $A$ 的值域，那么对于某些 $x$，$y=Ax$ 且 $Py=PAx=Ax=y$。反之，如果 $Py=y$，那么 $y=AA^{+}y$，因此 $y$ 属于 $A$ 的值域。由此可见，$P$ 是 $A$ 值域上的正交投影。$I-P$ 然后是 $A$ 值域的正交补上的正交投影，它等于 $A^{*}$ 的核。

使用关系 $QA^{*}=A^{*}$ 的类似论证表明，$Q$ 是 $A^{*}$ 值域上的正交投影，而 $(I-Q)$ 是 $A$ 核上的正交投影。

利用关系 $P\left(A^{+}\right)^{*}=P^{*}\left(A^{+}\right)^{*}=\left(A^{+}P\right)^{*}=\left(A^{+}\right)^{*}$ 和 $P=P^{*}=\left(A^{+}\right)^{*}A^{*}$，可知 P 的值域等于 $\left(A^{+}\right)^{*}$ 的值域，进而意味着 $I-P$ 的值域等于 $A^{+}$ 的核。类似地，$QA^{+}=A^{+}$ 意味着 $Q$ 的值域等于 $A^{+}$ 的值域。因此，我们发现：

${\begin{aligned}\operatorname {Ker} \left(A^{+}\right)&=\operatorname {Ker} \left(A^{*}\right).\\\operatorname {Im} \left(A^{+}\right)&=\operatorname {Im} \left(A^{*}\right).\\\end{aligned}}$ $\square$

应用

我们介绍了 Moore-Penrose 逆在求解线性方程组中的两种应用。

最小二乘最小化

Moore-Penrose 逆可用于最小二乘最小化可能没有精确解的方程组。

命题。

对于任何 $m\times n$ 矩阵 $A$，$\|Ax-b\|_{2}\geq \|Az-b\|_{2}$，其中 $z=A^{+}b$。

证明： 首先注意到（说明复杂情况），利用事实$P=AA^{+}$ 满足 $PA=A$ 和 $P=P^{*}$，我们有

${\begin{alignedat}{2}A^{*}(Az-b)&=A^{*}(AA^{+}b-b)\\&=A^{*}(Pb-b)\\&=A^{*}P^{*}b-A^{*}b\\&=(PA)^{*}b-A^{*}b\\&=0\end{alignedat}}$

因此（${\text{c.c.}}$ 代表以下项的厄米共轭）

${\begin{alignedat}{2}\|Ax-b\|_{2}^{2}&=\|Az-b\|_{2}^{2}+(A(x-z))^{*}(Az-b)+{\text{c.c.}}+\|A(x-z)\|_{2}^{2}\\&=\|Az-b\|_{2}^{2}+(x-z)^{*}A^{*}(Az-b)+{\text{c.c.}}+\|A(x-z)\|_{2}^{2}\\&=\|Az-b\|_{2}^{2}+\|A(x-z)\|_{2}^{2}\\&\geq \|Az-b\|_{2}^{2}\end{alignedat}}$

如所述。 $\square$

备注。

这个下界不一定是零，因为系统$Ax=b$ 可能没有解（例如，当矩阵A没有满秩或系统超定）。如果$A$ 是单射的，即一对一的（这意味着$m\geq n$），那么边界在$z$ 处唯一取得。

线性方程组的最小范数解

上面的证明也表明，如果方程组 $Ax=b$ 是可解的，即存在解，那么必然 $z=A^{+}b$ 是一个解（不一定唯一）。我们可以说更多

命题。

如果方程组 $Ax=b$ 是可解的，那么 $z=A^{+}b$ 是具有最小欧几里得范数的唯一解。

证明。首先注意，对于 $Q=A^{+}A$，有 $Qz=A^{+}AA^{+}b=A^{+}b=z$，并且有 $Q^{*}=Q$。因此，假设 $Ax=b$，我们有

${\begin{aligned}z^{*}(x-z)&=(Qz)^{*}(x-z)\\&=z^{*}Q(x-z)\\&=z^{*}\left(A^{+}Ax-z\right)\\&=z^{*}\left(A^{+}b-z\right)\\&=0.\end{aligned}}$

因此

${\begin{alignedat}{2}\|x\|_{2}^{2}&=\|z+(x-z)\|_{2}^{2}\\&=\|z\|_{2}^{2}+z^{*}(x-z)+{\overline {z^{*}(x-z)}}+\|x-z\|_{2}^{2}\\&=\|z\|_{2}^{2}+\|x-z\|_{2}^{2}\\&\geq \|z\|_{2}^{2}\end{alignedat}}$

当且仅当 $x=z$ 时等号成立，证毕。 $\square$

该结果的一个直接推论是 $z$ 也是所有 $Ax=b$ 的最小二乘最小化问题的唯一最小解，包括当 $A$ 既不是单射也不是满射时。可以证明最小二乘近似 $Az=y\approx b$ 是唯一的。因此，所有 $x$ 解决最小二乘最小化问题的必要条件和充分条件是满足 $Ax=y=Az=AA^{+}b$。由于 $Az$ 位于 $A$ 的列空间中，该系统始终存在解（不一定是唯一的）。从上面的结果来看，解决此系统的最小 $x$ 是 $A^{+}(AA^{+}b)=A^{+}b=z$。

参考文献

• Ben-Israel, Adi; Greville, Thomas N.E. (2003). 广义逆：理论与应用 (第二版). 纽约，纽约：施普林格。 doi:10.1007/b97366. ISBN 978-0-387-00293-4.
• Campbell, S. L.; Meyer, Jr., C. D. (1991). 线性变换的广义逆. 多佛。 ISBN 978-0-486-66693-8.
• 中村善彦 (1991)。高级机器人学：冗余和优化. 艾迪生-韦斯利。 ISBN 978-0201151985.
• Rao, C. Radhakrishna; Mitra, Sujit Kumar (1971). 矩阵的广义逆及其应用. 纽约：约翰·威利父子公司。 第 240 页。 ISBN 978-0-471-70821-6.