线性代数/投影到子空间

本小节，与本节中的其他小节一样，是可选的。它还要求来自先前可选小节中关于组合子空间的内容。

先前的小节将向量投影到直线上，方法是将其分解成两个部分：直线上的部分 ${\mbox{proj}}_{[{\vec {s}}\,]}({{\vec {v}}\,})$ 和剩下的部分 ${\vec {v}}-{\mbox{proj}}_{[{\vec {s}}\,]}({{\vec {v}}\,})$。为了将投影推广到任意子空间，我们遵循这个想法。

定义 3.1

对于任何直接和 $V=M\oplus N$ 和任何 ${\vec {v}}\in V$，${\vec {v}}$ **在 $M$ 上沿 $N$ 的**投影**是**

${\mbox{proj}}_{M,N}({{\vec {v}}\,})={\vec {m}}$

其中 ${\vec {v}}={\vec {m}}+{\vec {n}}$，其中 ${\vec {m}}\in M,\,{\vec {n}}\in N$。

这个定义不涉及“正交”的概念，因此我们可以将其应用于除 $\mathbb {R} ^{n}$ 的子空间以外的其他空间。（其他空间的正交性定义是完全可能的，但我们在这本书中还没有看到任何例子。）

示例 3.2

空间 ${\mathcal {M}}_{2\!\times \!2}$ 的 $2\!\times \!2$ 矩阵是这两个空间的直和。

$M=\{{\begin{pmatrix}a&b\\0&0\end{pmatrix}}\,{\big |}\,a,b\in \mathbb {R} \}\qquad N=\{{\begin{pmatrix}0&0\\c&d\end{pmatrix}}\,{\big |}\,c,d\in \mathbb {R} \}$

为了投影

$A={\begin{pmatrix}3&1\\0&4\end{pmatrix}}$

到 $M$ 沿着 $N$, 我们首先要为这两个子空间确定基。

$B_{M}=\langle {\begin{pmatrix}1&0\\0&0\end{pmatrix}},{\begin{pmatrix}0&1\\0&0\end{pmatrix}}\rangle \qquad B_{N}=\langle {\begin{pmatrix}0&0\\1&0\end{pmatrix}},{\begin{pmatrix}0&0\\0&1\end{pmatrix}}\rangle$

这些基的拼接

$B=B_{M}\!{\mathbin {{}^{\frown }}}\!B_{N}=\langle {\begin{pmatrix}1&0\\0&0\end{pmatrix}},{\begin{pmatrix}0&1\\0&0\end{pmatrix}},{\begin{pmatrix}0&0\\1&0\end{pmatrix}},{\begin{pmatrix}0&0\\0&1\end{pmatrix}}\rangle$

是整个空间的基，因为空间是直和，所以我们可以用它来表示 $A$.

${\begin{pmatrix}3&1\\0&4\end{pmatrix}}=3\cdot {\begin{pmatrix}1&0\\0&0\end{pmatrix}}+1\cdot {\begin{pmatrix}0&1\\0&0\end{pmatrix}}+0\cdot {\begin{pmatrix}0&0\\1&0\end{pmatrix}}+4\cdot {\begin{pmatrix}0&0\\0&1\end{pmatrix}}$

现在，将 $A$ 投影到 $M$ 上，沿着 $N$，可以通过保留上述和式中的 $M$ 部分，并删除 $N$ 部分来实现。

${\mbox{proj}}_{M,N}({\begin{pmatrix}3&1\\0&4\end{pmatrix}})=3\cdot {\begin{pmatrix}1&0\\0&0\end{pmatrix}}+1\cdot {\begin{pmatrix}0&1\\0&0\end{pmatrix}}={\begin{pmatrix}3&1\\0&0\end{pmatrix}}$

示例 3.3

${\mbox{proj}}_{M,N}({{\vec {v}}\,})$ 上的两个下标都很重要。第一个下标 $M$ 重要是因为投影结果是 ${\vec {m}}\in M$，改变这个子空间将改变投影结果。为了显示第二个下标的重要性，我们固定 $\mathbb {R} ^{3}$ 中的平面子空间及其基底

$M=\{{\begin{pmatrix}x\\y\\z\end{pmatrix}}\,{\big |}\,y-2z=0\}\qquad B_{M}=\langle {\begin{pmatrix}1\\0\\0\end{pmatrix}},{\begin{pmatrix}0\\2\\1\end{pmatrix}}\rangle$

并比较沿着两个不同子空间的投影。

$N=\{k{\begin{pmatrix}0\\0\\1\end{pmatrix}}\,{\big |}\,k\in \mathbb {R} \}\qquad {\hat {N}}=\{k{\begin{pmatrix}0\\1\\-2\end{pmatrix}}\,{\big |}\,k\in \mathbb {R} \}$

(验证$\mathbb {R} ^{3}=M\oplus N$ 和 $\mathbb {R} ^{3}=M\oplus {\hat {N}}$ 是常规的。) 我们将通过检查它们对该向量的不同作用来检查这些投影是否不同。

${\vec {v}}={\begin{pmatrix}2\\2\\5\end{pmatrix}}$

对于第一个，我们找到一个$N$ 的基。

$B_{N}=\langle {\begin{pmatrix}0\\0\\1\end{pmatrix}}\rangle$

并用$B_{M}\!{\mathbin {{}^{\frown }}}\!B_{N}$ 表示 ${\vec {v}}$。

${\begin{pmatrix}2\\2\\5\end{pmatrix}}=2\cdot {\begin{pmatrix}1\\0\\0\end{pmatrix}}+1\cdot {\begin{pmatrix}0\\2\\1\end{pmatrix}}+4\cdot {\begin{pmatrix}0\\0\\1\end{pmatrix}}$

沿着 $N$ 到 $M$ 的 ${\vec {v}}$ 的投影是通过保留 $M$ 部分并删除 $N$ 部分得到的。

${\mbox{proj}}_{M,N}({{\vec {v}}\,})=2\cdot {\begin{pmatrix}1\\0\\0\end{pmatrix}}+1\cdot {\begin{pmatrix}0\\2\\1\end{pmatrix}}={\begin{pmatrix}2\\2\\1\end{pmatrix}}$

对于另一个子空间 ${\hat {N}}$，这个基是自然的。

$B_{\hat {N}}=\langle {\begin{pmatrix}0\\1\\-2\end{pmatrix}}\rangle$

用串联表示 ${\vec {v}}$

${\begin{pmatrix}2\\2\\5\end{pmatrix}}=2\cdot {\begin{pmatrix}1\\0\\0\end{pmatrix}}+(9/5)\cdot {\begin{pmatrix}0\\2\\1\end{pmatrix}}-(8/5)\cdot {\begin{pmatrix}0\\1\\-2\end{pmatrix}}$

然后只保留 $M$ 部分，得到这个。

${\mbox{proj}}_{M,{\hat {N}}}({{\vec {v}}\,})=2\cdot {\begin{pmatrix}1\\0\\0\end{pmatrix}}+(9/5)\cdot {\begin{pmatrix}0\\2\\1\end{pmatrix}}={\begin{pmatrix}2\\18/5\\9/5\end{pmatrix}}$

因此，沿着不同子空间的投影可能产生不同的结果。

这些图片比较了两种映射。两者都表明投影实际上是“到”平面上和“沿着”直线。

注意，沿着 $N$ 的投影不是正交的——平面 $M$ 中有成员不与虚线正交。但沿着 ${\hat {N}}$ 的投影是正交的。

一个自然的问题是：上面定义的投影运算与直线上的正交投影运算之间有什么关系？上面的第二张图片暗示了答案——直线上的正交投影是上面定义的投影的特例；它只是沿着与直线垂直的子空间的投影。

除了指出沿子空间的投影是一个推广之外，这个方案还展示了如何定义对 $\mathbb {R} ^{n}$ 的任何子空间的正交投影，无论其维度如何。

定义 3.4

子空间 $M$ 的 $\mathbb {R} ^{n}$ 的 **正交补** 是

$M^{\perp }=\{{\vec {v}}\in \mathbb {R} ^{n}\,{\big |}\,{\vec {v}}{\text{ is perpendicular to all vectors in }}M\}$

(读作“$M$ perp”)。一个向量的 **正交投影** ${\mbox{proj}}_{M}({{\vec {v}}\,})$ 是其沿着 $M^{\perp }$ 到 $M$ 的投影。

示例 3.5

在 $\mathbb {R} ^{3}$ 中，要找到平面的正交补

$P=\{{\begin{pmatrix}x\\y\\z\end{pmatrix}}\,{\big |}\,3x+2y-z=0\}$

我们从 $P$ 的一个基开始。

$B=\langle {\begin{pmatrix}1\\0\\3\end{pmatrix}},{\begin{pmatrix}0\\1\\2\end{pmatrix}}\rangle$

任何 ${\vec {v}}$ 垂直于 $B$ 中的每个向量，也垂直于 $B$ 的跨度中的每个向量（此断言的证明见 问题 10）。因此，子空间 $P^{\perp }$ 由满足这两个条件的向量组成。

${\begin{pmatrix}1\\0\\3\end{pmatrix}}\cdot {\begin{pmatrix}v_{1}\\v_{2}\\v_{3}\end{pmatrix}}=0\qquad {\begin{pmatrix}0\\1\\2\end{pmatrix}}\cdot {\begin{pmatrix}v_{1}\\v_{2}\\v_{3}\end{pmatrix}}=0$

我们可以将这些条件更紧凑地表示为线性系统。

$P^{\perp }=\{{\begin{pmatrix}v_{1}\\v_{2}\\v_{3}\end{pmatrix}}\,{\big |}\,{\begin{pmatrix}1&0&3\\0&1&2\end{pmatrix}}{\begin{pmatrix}v_{1}\\v_{2}\\v_{3}\end{pmatrix}}={\begin{pmatrix}0\\0\end{pmatrix}}\}$

因此，我们剩下的是找到由矩阵表示的映射的零空间，即计算齐次线性系统的解集。

$P^{\perp }=\{{\begin{pmatrix}v_{1}\\v_{2}\\v_{3}\end{pmatrix}}\,{\big |}\,\;{\begin{array}{*{3}{rc}r}v_{1}&&&+&3v_{3}&=&0\\&&v_{2}&+&2v_{3}&=&0\end{array}}\;\}=\{k{\begin{pmatrix}-3\\-2\\1\end{pmatrix}}\,{\big |}\,k\in \mathbb {R} \}$

例 3.6

其中 $M$ 是 $xy$ 平面在 $\mathbb {R} ^{3}$ 中的子空间，什么是 $M^{\perp }$？一个常见的第一个反应是 $M^{\perp }$ 是 $yz$ 平面，但这并不正确。来自 $yz$ 平面的某些向量并不垂直于 $xy$ 平面中的每个向量。

${\begin{pmatrix}1\\1\\0\end{pmatrix}}\not \perp {\begin{pmatrix}0\\3\\2\end{pmatrix}}$

$\displaystyle \theta =\arccos({\frac {1\cdot 0+1\cdot 3+0\cdot 2}{{\sqrt {2}}\cdot {\sqrt {13}}}})\approx {\text{0.94 rad}}$

相反，$M^{\perp }$ 是 $z$ 轴，因为按照前面的例子，并取 $xy$ 平面的自然基底得到以下结果。

$M^{\perp }=\{{\begin{pmatrix}x\\y\\z\end{pmatrix}}\,{\big |}\,{\begin{pmatrix}1&0&0\\0&1&0\end{pmatrix}}{\begin{pmatrix}x\\y\\z\end{pmatrix}}={\begin{pmatrix}0\\0\end{pmatrix}}\;\}=\{{\begin{pmatrix}x\\y\\z\end{pmatrix}}\,{\big |}\,x=0{\text{ and }}y=0\}$

自从 定义 3.4 以来，我们已经看到了两个例子，它们说明了该定义的第一句话。下一个结果证明了第二句话。

引理 3.7

设 $M$ 是 $\mathbb {R} ^{n}$ 的子空间。 $M$ 的正交补也是一个子空间。该空间是这两个子空间的直和：$\mathbb {R} ^{n}=M\oplus M^{\perp }$。并且，对于任何 ${\vec {v}}\in \mathbb {R} ^{n}$，向量 ${\vec {v}}-{\mbox{proj}}_{M}({{\vec {v}}\,})$ 与 $M$ 中的每个向量都垂直。

证明

首先，正交补 $M^{\perp }$ 是 $\mathbb {R} ^{n}$ 的子空间，因为正如前两个例子中所指出的，它是零空间。

接下来，我们可以从 $M$ 的任何基 $B_{M}=\langle {\vec {\mu }}_{1},\dots ,{\vec {\mu }}_{k}\rangle$ 开始，将其扩展为一个基

对于整个空间。应用 Gram-Schmidt 过程得到一个正交基 $K=\langle {\vec {\kappa }}_{1},\dots ,{\vec {\kappa }}_{n}\rangle$ 对于 $\mathbb {R} ^{n}$。这个 $K$ 是两个基的串联 $\langle {\vec {\kappa }}_{1},\dots ,{\vec {\kappa }}_{k}\rangle$（与 $B_{M}$ 的成员数量相同）和 $\langle {\vec {\kappa }}_{k+1},\dots ,{\vec {\kappa }}_{n}\rangle$。第一个是 $M$ 的基，因此如果我们证明第二个是 $M^{\perp }$ 的基，那么我们将有整个空间是这两个子空间的直和。

问题 9 从上一小节证明了关于任何正交基的这一点：空间中的每个向量 ${\vec {v}}$ 是它在基向量所跨线的直线上正交投影的总和。

${\vec {v}}={\mbox{proj}}_{[{\vec {\kappa }}_{1}]}({{\vec {v}}\,})+\dots +{\mbox{proj}}_{[{\vec {\kappa }}_{n}]}({{\vec {v}}\,})\qquad \qquad (*)$

为了验证这一点，将向量 ${\vec {v}}=r_{1}{\vec {\kappa }}_{1}+\dots +r_{n}{\vec {\kappa }}_{n}$ 表示，在等式两边应用 ${\vec {\kappa }}_{i}$，得到 ${\vec {v}}\cdot {\vec {\kappa }}_{i}=\left(r_{1}{\vec {\kappa }}_{1}+\dots +r_{n}{\vec {\kappa }}_{n}\right)\cdot {\vec {\kappa }}_{i}=r_{1}\cdot 0+\dots +r_{i}\cdot ({\vec {\kappa }}_{i}\cdot {\vec {\kappa }}_{i})+\dots +r_{n}\cdot 0$，并求解得到 $r_{i}=({\vec {v}}\cdot {\vec {\kappa }}_{i})/({\vec {\kappa }}_{i}\cdot {\vec {\kappa }}_{i})$，如预期的那样。

很明显，$\langle {\vec {\kappa }}_{k+1},\dots ,{\vec {\kappa }}_{n}\rangle$ 的任何线性组合都与 $M$ 中的任何向量正交，为了证明这是一个$M^{\perp }$ 的基，我们只需要证明另一个包含关系——即任何${\vec {w}}\in M^{\perp }$ 都在这个基的线性组合中。上一段已经做到了这一点。在$M$ 中的基向量上的投影，任何${\vec {w}}\in M^{\perp }$ 都将得到${\mbox{proj}}_{[{\vec {\kappa }}_{1}]}({{\vec {w}}\,})={\vec {0}},\dots ,\,{\mbox{proj}}_{[{\vec {\kappa }}_{k}]}({{\vec {w}}\,})={\vec {0}}$，因此（$*$）表明${\vec {w}}$ 是${\vec {\kappa }}_{k+1},\dots ,{\vec {\kappa }}_{n}$ 的线性组合。因此，这是一个$M^{\perp }$ 的基，而$\mathbb {R} ^{n}$ 是这两个空间的直和。

最后的句子用几乎相同的方法证明。写下 ${\vec {v}}={\mbox{proj}}_{[{\vec {\kappa }}_{1}]}({{\vec {v}}\,})+\dots +{\mbox{proj}}_{[{\vec {\kappa }}_{n}]}({{\vec {v}}\,})$。然后 ${\mbox{proj}}_{M}({{\vec {v}}\,})$ 是通过保留 $M$ 部分并丢弃 $M^{\perp }$ 部分得到的 ${\mbox{proj}}_{M}({{\vec {v}}\,})={\mbox{proj}}_{[{\vec {\kappa }}_{k+1}]}({{\vec {v}}\,})+\dots +{\mbox{proj}}_{[{\vec {\kappa }}_{k}]}({{\vec {v}}\,})$。因此 ${\vec {v}}-{\mbox{proj}}_{M}({{\vec {v}}\,})$ 由 $M^{\perp }$ 的元素的线性组合构成，因此垂直于 $M$ 中的每个向量。

我们可以通过遵循证明步骤来找到子空间上的正交投影，但下一个结果给出了一个方便的公式。

定理 3.8

令 ${\vec {v}}$ 是 $\mathbb {R} ^{n}$ 中的一个向量，令 $M$ 是 $\mathbb {R} ^{n}$ 的一个子空间，其基底为 $\langle {\vec {\beta }}_{1},\dots ,{\vec {\beta }}_{k}\rangle$。如果 $A$ 是一个矩阵，它的列是 ${\vec {\beta }}$，那么 ${\mbox{proj}}_{M}({{\vec {v}}\,})=c_{1}{\vec {\beta }}_{1}+\dots +c_{k}{\vec {\beta }}_{k}$，其中系数 $c_{i}$ 是向量 $({{A}^{\rm {trans}}}A)^{-1}{{A}^{\rm {trans}}}\cdot {\vec {v}}$ 的元素。也就是说，${\mbox{proj}}_{M}({{\vec {v}}\,})=A({{A}^{\rm {trans}}}A)^{-1}{{A}^{\rm {trans}}}\cdot {\vec {v}}$.

证明

向量 ${\mbox{proj}}_{M}({\vec {v}})$ 是 $M$ 的一个成员，因此它是基向量 $c_{1}\cdot {\vec {\beta }}_{1}+\dots +c_{k}\cdot {\vec {\beta }}_{k}$ 的线性组合。由于 $A$ 的列是 ${\vec {\beta }}$，可以表示为：存在一个 ${\vec {c}}\in \mathbb {R} ^{k}$ 使得 ${\mbox{proj}}_{M}({{\vec {v}}\,})=A{\vec {c}}$（这在 示例 3.5 和 3.6 中用矩阵乘法简洁地表达）。因为 ${\vec {v}}-{\mbox{proj}}_{M}({{\vec {v}}\,})$ 与基中的每个成员垂直，我们有这个（再次，简洁地表达）。

${\vec {0}}={{A}^{\rm {trans}}}{\bigl (}{\vec {v}}-A{\vec {c}}{\bigr )}={{A}^{\rm {trans}}}{\vec {v}}-{{A}^{\rm {trans}}}A{\vec {c}}$

求解 ${\vec {c}}$（证明 ${{A}^{\rm {trans}}}A$ 可逆是一个练习）

${\vec {c}}={\bigl (}{{A}^{\rm {trans}}}A{\bigr )}^{-1}{{A}^{\rm {trans}}}\cdot {\vec {v}}$

给出了投影矩阵的公式，为 ${\mbox{proj}}_{M}({{\vec {v}}\,})=A\cdot {\vec {c}}$.

例 3.9

将此向量正交投影到此子空间上

${\vec {v}}={\begin{pmatrix}1\\-1\\1\end{pmatrix}}\qquad P=\{{\begin{pmatrix}x\\y\\z\end{pmatrix}}\,{\big |}\,x+z=0\}$

首先创建一个矩阵，其列是子空间的基

$A={\begin{pmatrix}0&1\\1&0\\0&-1\end{pmatrix}}$

然后计算。

${\begin{array}{rl}A{\bigl (}{{A}^{\rm {trans}}}A{\bigr )}^{-1}{{A}^{\rm {trans}}}&={\begin{pmatrix}0&1\\1&0\\0&-1\end{pmatrix}}{\begin{pmatrix}0&1\\1/2&0\end{pmatrix}}{\begin{pmatrix}1&0&-1\\0&1&0\end{pmatrix}}\\&={\begin{pmatrix}1/2&0&-1/2\\0&1&0\\-1/2&0&1/2\end{pmatrix}}\end{array}}$

有了这个矩阵，计算任何向量到 $P$ 的正交投影就很简单了。

${\mbox{proj}}_{P}({\vec {v}})={\begin{pmatrix}1/2&0&-1/2\\0&1&0\\-1/2&0&1/2\end{pmatrix}}{\begin{pmatrix}1\\-1\\1\end{pmatrix}}={\begin{pmatrix}0\\-1\\0\end{pmatrix}}$

练习

推荐所有读者做这道练习。

问题 1

将向量投影到 $M$ 上，方向为 $N$.

1. ${\begin{pmatrix}3\\-2\end{pmatrix}},\quad M=\{{\begin{pmatrix}x\\y\end{pmatrix}}\,{\big |}\,x+y=0\},\quad N=\{{\begin{pmatrix}x\\y\end{pmatrix}}\,{\big |}\,-x-2y=0\}$
2. ${\begin{pmatrix}3\\0\\1\end{pmatrix}},\quad M=\{{\begin{pmatrix}x\\y\\z\end{pmatrix}}\,{\big |}\,x+y=0\},\quad N=\{c\cdot {\begin{pmatrix}1\\0\\1\end{pmatrix}}\,{\big |}\,c\in \mathbb {R} \}$