线性代数/向量空间与线性系统

线性代数
← 维度	向量空间与线性系统	组合子空间 →

现在，我们将利用本章的工具和术语来重新考虑线性系统和高斯消元法。我们将阐述三个要点。

对于第一个要点，回顾第一章的线性组合引理及其推论：如果两个矩阵通过行操作相关联 $A\longrightarrow \cdots \longrightarrow B$ ，则 $B$ 的每一行都是 $A$ 行的线性组合。也就是说，高斯消元法通过对行进行线性组合来工作。因此，在一般情况下，研究行操作（特别是高斯消元法）的合适设置是以下向量空间。

定义 3.1

矩阵的 **行空间** 是其所有行向量组成的集合的生成空间。**行秩** 是行空间的维度，即线性无关行的数量。

示例 3.2

如果

A={\begin{pmatrix}2&3\\4&6\end{pmatrix}}

则 $\mathop {\mbox{Rowspace}} (A)$ 是二维行向量的以下子空间。

\{c_{1}\cdot {\begin{pmatrix}2&3\end{pmatrix}}+c_{2}\cdot {\begin{pmatrix}4&6\end{pmatrix}}\,{\big |}\,c_{1},c_{2}\in \mathbb {R} \}

第二行对第一行的线性依赖是显而易见的，因此我们可以将此描述简化为 $\{c\cdot {\begin{pmatrix}2&3\end{pmatrix}}\,{\big |}\,c\in \mathbb {R} \}$ .

引理 3.3

如果矩阵 $A$ 和 $B$ 通过行操作相关联

A{\xrightarrow[{}]{\rho _{i}\leftrightarrow \rho _{j}}}B\quad {\text{or}}\quad A{\xrightarrow[{}]{k\rho _{i}}}B\quad {\text{or}}\quad A{\xrightarrow[{}]{k\rho _{i}+\rho _{j}}}B

如果 ( $i\neq j$ 且 $k\neq 0$ )，那么它们的列空间相等。因此，行等价矩阵具有相同的行空间，因此也具有相同的行秩。

证明

根据线性组合引理的推论， $B$ 的每一行都在 $A$ 的行空间中。进一步， $\mathop {\mbox{Rowspace}} (B)\subseteq \mathop {\mbox{Rowspace}} (A)$ ，因为集合 $\mathop {\mbox{Rowspace}} (B)$ 中的成员是 $B$ 行的线性组合，这意味着它是 $A$ 行的组合的组合，因此，根据线性组合引理，它也是 $\mathop {\mbox{Rowspace}} (A)$ 的成员。

对于另一个包含关系，回想一下行操作是可逆的： $A\longrightarrow B$ 当且仅当 $B\longrightarrow A$ 。有了它， $\mathop {\mbox{Rowspace}} (A)\subseteq \mathop {\mbox{Rowspace}} (B)$ 也来自上一段，所以这两个集合是相等的。

因此，行操作不会改变行空间。但当然，高斯方法以特定的目标——阶梯形——有条理地执行行操作。

引理 3.4

阶梯形矩阵的非零行构成一个线性无关的集合。

证明

第一章的结果，引理一.III.2.5，指出在阶梯形矩阵中，任何非零行都不是其他行的线性组合。这是将该结果用新术语重新表述。

因此，用本章的语言来说，高斯消元法通过消除行之间的线性相关性，保持跨度不变，直到没有非平凡的线性关系（在非零行之间）为止。也就是说，高斯方法为行空间生成了一个基。

例 3.5

从任何矩阵，我们可以通过执行高斯方法并取结果阶梯形矩阵的非零行来生成行空间的一个基。例如，

{\begin{array}{rcl}{\begin{pmatrix}1&3&1\\1&4&1\\2&0&5\end{pmatrix}}&{\xrightarrow[{-2\rho _{1}+\rho _{3}}]{-\rho _{1}+\rho _{2}}}\;{\xrightarrow[{}]{6\rho _{2}+\rho _{3}}}&{\begin{pmatrix}1&3&1\\0&1&0\\0&0&3\end{pmatrix}}\end{array}}

产生了行空间的基底 $\langle {\begin{pmatrix}1&3&1\end{pmatrix}},{\begin{pmatrix}0&1&0\end{pmatrix}},{\begin{pmatrix}0&0&3\end{pmatrix}}\rangle$ 。由于两个行空间相等，所以这是起始矩阵和结束矩阵的行空间的基底。

使用这种技术，我们也可以找到不直接包含行向量的跨度的基底。

定义 3.6

矩阵的列空间是指其所有列向量所构成的跨度。列秩是指列空间的维数，即线性无关的列向量的数量。

我们对列空间的兴趣源于我们对线性系统的研究。例如，这个系统

{\begin{array}{*{3}{rc}r}c_{1}&+&3c_{2}&+&7c_{3}&=&d_{1}\\2c_{1}&+&3c_{2}&+&8c_{3}&=&d_{2}\\&&c_{2}&+&2c_{3}&=&d_{3}\\4c_{1}&&&+&4c_{3}&=&d_{4}\end{array}}

只有当 $d$ 的向量是其他列向量的线性组合时，它才有解，

c_{1}{\begin{pmatrix}1\\2\\0\\4\end{pmatrix}}+c_{2}{\begin{pmatrix}3\\3\\1\\0\end{pmatrix}}+c_{3}{\begin{pmatrix}7\\8\\2\\4\end{pmatrix}}={\begin{pmatrix}d_{1}\\d_{2}\\d_{3}\\d_{4}\end{pmatrix}}

这意味着 $d$ 的向量在系数矩阵的列空间中。

示例 3.7

给定这个矩阵，

{\begin{pmatrix}1&3&7\\2&3&8\\0&1&2\\4&0&4\end{pmatrix}}

为了得到列空间的基底，暂时将列转换为行并进行简化。

{\begin{array}{rcl}{\begin{pmatrix}1&2&0&4\\3&3&1&0\\7&8&2&4\end{pmatrix}}&{\xrightarrow[{-7\rho _{1}+\rho _{3}}]{-3\rho _{1}+\rho _{2}}}\;{\xrightarrow[{}]{-2\rho _{2}+\rho _{3}}}&{\begin{pmatrix}1&2&0&4\\0&-3&1&-12\\0&0&0&0\end{pmatrix}}\end{array}}

现在将行再转换回列。

\langle {\begin{pmatrix}1\\2\\0\\4\end{pmatrix}},{\begin{pmatrix}0\\-3\\1\\-12\end{pmatrix}}\rangle

结果是给定矩阵的列空间的基。

定义 3.8

矩阵的 **转置** 是通过互换矩阵的行和列得到的矩阵。也就是说，矩阵 $A$ 的第 $j$ 列是 ${{A}^{\rm {trans}}}$ 的第 $j$ 行，反之亦然。

因此，前面例子的步骤是“转置、化简、再转置回来”。

我们甚至可以，在容忍向量空间“相同”这一模糊概念的情况下，使用高斯消元法来寻找其他类型向量空间中跨度的基。

例 3.9

为了得到 $\{x^{2}+x^{4},2x^{2}+3x^{4},-x^{2}-3x^{4}\}$ 在空间 ${\mathcal {P}}_{4}$ 中的跨度的基，将这三个多项式视为与行向量 ${\begin{pmatrix}0&0&1&0&1\end{pmatrix}}$ 、 ${\begin{pmatrix}0&0&2&0&3\end{pmatrix}}$ 和 ${\begin{pmatrix}0&0&-1&0&-3\end{pmatrix}}$ “相同”，应用高斯消元法

{\begin{array}{rcl}{\begin{pmatrix}0&0&1&0&1\\0&0&2&0&3\\0&0&-1&0&-3\end{pmatrix}}&{\xrightarrow[{\rho _{1}+\rho _{3}}]{-2\rho _{1}+\rho _{2}}}\;{\xrightarrow[{}]{2\rho _{2}+\rho _{3}}}&{\begin{pmatrix}0&0&1&0&1\\0&0&0&0&1\\0&0&0&0&0\end{pmatrix}}\end{array}}

并将结果转换回多项式，得到基 $\langle x^{2}+x^{4},x^{4}\rangle$ 。（如前所述，我们将在下一章开始时对“相同”这一短语给出精确的定义。）

因此，我们本小节的第一个观点是，本章的工具使我们对高斯消元法有了更深刻的理解。

对于本小节的第二个观点，考虑该行化简对列空间的影响。

{\begin{array}{rcl}{\begin{pmatrix}1&2\\2&4\end{pmatrix}}&{\xrightarrow[{}]{-2\rho _{1}+\rho _{2}}}&{\begin{pmatrix}1&2\\0&0\end{pmatrix}}\end{array}}

左边矩阵的列空间包含第二项非零的向量。但右边矩阵的列空间不同，因为它只包含第二项为零的向量。正是这种行操作可以改变列空间的知识，使得下一个结果令人惊讶。

引理 3.10

行操作不改变列秩。

证明

换句话说，如果 $A$ 约化为 $B$ 那么 $B$ 的列秩等于 $A$ 的列秩。

如果我们能证明行操作不会影响列之间的线性关系（例如，如果第五列在行操作之前是第二列的两倍加上第四列，那么这种关系在之后仍然保持），那么我们就完成了，因为列秩只是最大的无关列集的大小。但这正是本书的第一定理：在一个列之间的关系中，

c_{1}\cdot {\begin{pmatrix}a_{1,1}\\a_{2,1}\\\vdots \\a_{m,1}\end{pmatrix}}+\dots +c_{n}\cdot {\begin{pmatrix}a_{1,n}\\a_{2,n}\\\vdots \\a_{m,n}\end{pmatrix}}={\begin{pmatrix}0\\0\\\vdots \\0\end{pmatrix}}

行操作不会改变解集 $(c_{1},\ldots ,c_{n})$ .

除了先前的结果之外，另一种说明高斯消元法对列空间和行空间都有意义的方法是再次考虑高斯-约旦消元法。回想一下，它以矩阵的简化行阶梯形式结束，如下所示。

{\begin{array}{rcl}{\begin{pmatrix}1&3&1&6\\2&6&3&16\\1&3&1&6\end{pmatrix}}&{\xrightarrow[{}]{}}\;\cdots \;{\xrightarrow[{}]{}}&{\begin{pmatrix}1&3&0&2\\0&0&1&4\\0&0&0&0\end{pmatrix}}\end{array}}

考虑这个结果的行空间和列空间。我们上面提到的第一点表明，行空间的基很容易得到：只需将所有具有主元元素的行收集在一起即可。然而，因为这是一个简化阶梯形矩阵，列空间的基同样容易得到：取包含主元元素的列，即 $\langle {\vec {e}}_{1},{\vec {e}}_{2}\rangle$ 。（线性无关性是显而易见的。其他列都在这个集合的线性组合中，因为它们的所有第三个分量都是零。）因此，对于一个简化阶梯形矩阵，行空间和列空间的基可以以本质上相同的方式找到——通过取包含主元元素的矩阵部分，即行或列。

定理 3.11

矩阵的行秩和列秩相等。

证明

首先将矩阵化为简化阶梯形。此时，行秩等于主元元素的数量，因为这等于非零行数。同时，主元元素的数量等于列秩，因为包含主元元素的列集由标准基中的某些 ${\vec {e}}_{i}$ 组成，而这个集合是线性无关的并且跨越了列集。因此，在简化阶梯形矩阵中，行秩等于列秩，因为它们都等于主元元素的数量。

但是引理 3.3 和引理 3.10 表明，行秩和列秩不会因为使用行操作将矩阵化为简化阶梯形而改变。因此，原始矩阵的行秩和列秩也相等。

定义 3.12

矩阵的秩是它的行秩或列秩。

因此，我们在本小节中提到的第二点是，矩阵的列空间和行空间具有相同的维数。我们第三点也是最后一点是，我们从向量空间研究中自然产生的概念正是我们在线性系统中研究过的那些概念。

定理 3.13

对于具有 $n$ 个未知数且系数矩阵为 $A$ 的线性系统，以下陈述

$A$ 的秩是 $r$
关联的齐次系统的解空间的维数是 $n-r$

是等价的。

因此，如果系统至少有一个特解，那么对于解集，参数的数量等于 $n-r$ ，即变量数量减去系数矩阵的秩。

证明

$A$ 的秩是 $r$ 当且仅当 $A$ 上的高斯消元以 $r$ 行非零行结束。这与 $A$ 行等价的阶梯形矩阵具有 $r$ 个主变量是等价的。这反过来又等价于存在 $n-r$ 个自由变量。

注 3.14: (Munkres 1964)

有时，人们会错误地记住，一个 $n$ 元未知数的 $m$ 方程组的通解使用了 $n-m$ 个参数。方程的个数并不重要，真正重要的是独立方程的个数（最大独立集中的方程个数）。当存在 $r$ 个独立方程时，通解包含 $n-r$ 个参数。

推论 3.15

当矩阵 $A$ 是 $n\!\times \!n$ 矩阵时，下列语句

$A$ 的秩为 $n$
$A$ 是非奇异的
$A$ 的行向量构成一个线性无关集
$A$ 的列向量构成一个线性无关集
任何以 $A$ 为系数矩阵的线性方程组只有一个解

是等价的。

证明

显然 ${\text{(1)}}\iff {\text{(2)}}\iff {\text{(3)}}\iff {\text{(4)}}$ 。最后一个， ${\text{(4)}}\iff {\text{(5)}}$ ，成立的原因是： $n$ 个具有 $n$ 个分量的列向量线性无关，当且仅当它们是 $\mathbb {R} ^{n}$ 的基，但该方程组

c_{1}{\begin{pmatrix}a_{1,1}\\a_{2,1}\\\vdots \\a_{m,1}\end{pmatrix}}+\dots +c_{n}{\begin{pmatrix}a_{1,n}\\a_{2,n}\\\vdots \\a_{m,n}\end{pmatrix}}={\begin{pmatrix}d_{1}\\d_{2}\\\vdots \\d_{m}\end{pmatrix}}

对于所有选择 $d_{1},\dots ,d_{n}\in \mathbb {R}$ ，此方程只有唯一解，当且仅当 $a$ 的向量构成一个基。

练习

问题 1

对每个矩阵进行转置。

${\begin{pmatrix}2&1\\3&1\end{pmatrix}}$
${\begin{pmatrix}2&1\\1&3\end{pmatrix}}$
${\begin{pmatrix}1&4&3\\6&7&8\end{pmatrix}}$
${\begin{pmatrix}0\\0\\0\end{pmatrix}}$
${\begin{pmatrix}-1&-2\end{pmatrix}}$

此练习推荐给所有读者。

问题 2

判断向量是否在矩阵的行空间中。

${\begin{pmatrix}2&1\\3&1\end{pmatrix}}$ , ${\begin{pmatrix}1&0\end{pmatrix}}$
${\begin{pmatrix}0&1&3\\-1&0&1\\-1&2&7\end{pmatrix}}$ , ${\begin{pmatrix}1&1&1\end{pmatrix}}$

此练习推荐给所有读者。

问题 3

判断向量是否在列空间中。

${\begin{pmatrix}1&1\\1&1\end{pmatrix}}$ , ${\begin{pmatrix}1\\3\end{pmatrix}}$
${\begin{pmatrix}1&3&1\\2&0&4\\1&-3&-3\end{pmatrix}}$ , ${\begin{pmatrix}1\\0\\0\end{pmatrix}}$

此练习推荐给所有读者。

问题 4

求此矩阵的行空间的基。

{\begin{pmatrix}2&0&3&4\\0&1&1&-1\\3&1&0&2\\1&0&-4&-1\end{pmatrix}}

此练习推荐给所有读者。

问题 5

求每个矩阵的秩。

${\begin{pmatrix}2&1&3\\1&-1&2\\1&0&3\end{pmatrix}}$
${\begin{pmatrix}1&-1&2\\3&-3&6\\-2&2&-4\end{pmatrix}}$
${\begin{pmatrix}1&3&2\\5&1&1\\6&4&3\end{pmatrix}}$
${\begin{pmatrix}0&0&0\\0&0&0\\0&0&0\end{pmatrix}}$

此练习推荐给所有读者。

问题 6

求每个集合的生成空间的基。

$\{{\begin{pmatrix}1&3\end{pmatrix}},{\begin{pmatrix}-1&3\end{pmatrix}},{\begin{pmatrix}1&4\end{pmatrix}},{\begin{pmatrix}2&1\end{pmatrix}}\}\subseteq {\mathcal {M}}_{1\!\times \!2}$
$\{{\begin{pmatrix}1\\2\\1\end{pmatrix}},{\begin{pmatrix}3\\1\\-1\end{pmatrix}},{\begin{pmatrix}1\\-3\\-3\end{pmatrix}}\}\subseteq \mathbb {R} ^{3}$
$\{1+x,1-x^{2},3+2x-x^{2}\}\subseteq {\mathcal {P}}_{3}$
$\{{\begin{pmatrix}1&0&1\\3&1&-1\end{pmatrix}},{\begin{pmatrix}1&0&3\\2&1&4\end{pmatrix}},{\begin{pmatrix}-1&0&-5\\-1&-1&-9\end{pmatrix}}\}\subseteq {\mathcal {M}}_{2\!\times \!3}$

问题 7

哪些矩阵的秩为零？秩为一？

此练习推荐给所有读者。

问题 8

给定 $a,b,c\in \mathbb {R}$ ，如何选择 $d$ 使这个矩阵的秩为一？

{\begin{pmatrix}a&b\\c&d\end{pmatrix}}

问题 9

求这个矩阵的列秩。

{\begin{pmatrix}1&3&-1&5&0&4\\2&0&1&0&4&1\end{pmatrix}}

问题 10

证明：一个至少有一个解的线性方程组，当且仅当系数矩阵的秩等于其列数时，该方程组至多只有一个解。

此练习推荐给所有读者。

问题 11

如果一个矩阵是 $5\!\times \!9$ ，那么哪一组必须是线性相关的，它的行向量组还是列向量组？

问题 12

举一个例子说明，尽管矩阵的行空间和列空间具有相同的维数，但它们并不一定相等。它们什么时候相等？

问题 13

证明集合 $\{(1,-1,2,-3),(1,1,2,0),(3,-1,6,-6)\}$ 的生成空间与 $\{(1,0,1,0),(0,2,0,3)\}$ 的生成空间不同。顺便问一下，向量空间是什么？

此练习推荐给所有读者。

问题 14

证明这组列向量

\left\{{\begin{pmatrix}d_{1}\\d_{2}\\d_{3}\end{pmatrix}}\,{\big |}\,{\text{there are }}x,y,{\text{ and }}z{\text{ such that }}{\begin{array}{*{3}{rc}r}3x&+&2y&+&4z&=&d_{1}\\x&&&-&z&=&d_{2}\\2x&+&2y&+&5z&=&d_{3}\end{array}}\right\}

是 $\mathbb {R} ^{3}$ 的一个子空间。求基。

问题 15

证明转置运算是线性的

{{(rA+sB)}^{\rm {trans}}}=r{{A}^{\rm {trans}}}+s{{B}^{\rm {trans}}}

对于 $r,s\in \mathbb {R}$ 和 $A,B\in {\mathcal {M}}_{m\!\times \!n}$ 。

此练习推荐给所有读者。

问题 16

在本节中，我们已经证明高斯消元法可以找到行空间的基。

证明这个基不唯一——不同的消元步骤可能会得到不同的基。
给出行空间相同但行数不同的矩阵。
证明两个矩阵的行空间相等当且仅当它们经过高斯-若尔当消元后，非零行相同。

问题 17

当 $r$ 大于 $n$ 时，为什么注 3.14 不会出现问题？

问题 18

证明一个 $m\!\times \!n$ 矩阵的行秩最多为 $m$ 。是否有更好的界？

此练习推荐给所有读者。

问题 19

证明一个矩阵的秩等于其转置的秩。

问题 20

判断真假：矩阵的列空间等于其转置的行空间。

此练习推荐给所有读者。

问题 21

我们已经看到行运算可能会改变列空间。它一定改变吗？

问题 22

证明一个线性系统有解当且仅当该系统的系数矩阵的秩与其增广矩阵的秩相同。

问题 23

一个 $m\!\times \!n$ 矩阵具有满行秩，如果其行秩为 $m$ ，并且它具有满列秩，如果其列秩为 $n$ 。

证明一个矩阵只有在它是方阵的情况下，才能同时具有满行秩和满列秩。
证明具有系数矩阵 $A$ 的线性系统对于任何 $d_{1}$ , ..., $d_{m}$ 的右侧都有解，当且仅当 $A$ 满秩。
证明一个齐次线性方程组有唯一解，当且仅当它的系数矩阵 $A$ 列满秩。
证明命题“如果具有系数矩阵 $A$ 的线性方程组有解，那么它就有唯一解”成立，当且仅当 $A$ 列满秩。

习题 24

如果将高斯消元法改为允许将一行乘以零，引理 3.3 的结论将如何变化？

此练习推荐给所有读者。

习题 25

$\mathop {\mbox{rank}} (A)$ 和 $\mathop {\mbox{rank}} (-A)$ 之间的关系是什么？ $\mathop {\mbox{rank}} (A)$ 和 $\mathop {\mbox{rank}} (kA)$ 之间的关系是什么？ $\mathop {\mbox{rank}} (A)$ 、 $\mathop {\mbox{rank}} (B)$ 和 $\mathop {\mbox{rank}} (A+B)$ 之间的关系是什么？

解答

参考文献

Munkres, James R. (1964), Elementary Linear Algebra, Addison-Wesley.

线性代数
← 维度	向量空间与线性系统	组合子空间 →