线性代数/内积空间

回想一下，在你学习向量的过程中，我们研究了一个称为点积的运算，并且如果我们有两个向量在 $\mathbb {R} ^{n}$ 中，我们只需要将对应分量相乘，然后将结果相加。有了点积，我们就可以引入长度和角度等重要的新概念。向量 $\mathbf {a}$ 的长度就是 $\|\mathbf {a} \|={\sqrt {\mathbf {a} \cdot \mathbf {a} }}$。两个向量 $\mathbf {a}$ 和 $\mathbf {b}$ 之间的夹角与点积的关系为

$\cos {\theta }={\frac {\mathbf {a} \cdot \mathbf {b} }{\|\mathbf {a} \|\cdot \|\mathbf {b} \|}}$

事实证明，点积只有少数几个性质是必要的，这些性质可以在其他向量空间中定义类似的概念，例如 $\mathbb {R} ^{n}$ 以外的空间，例如 $m\times n$ 矩阵空间，或者多项式空间。在这些其他空间中，取代点积的更普遍的运算被称为“内积”。

内积

假设我们有两个向量

$\mathbf {a} ={\begin{pmatrix}2\\1\\4\end{pmatrix}},\mathbf {b} ={\begin{pmatrix}6\\3\\0\end{pmatrix}}$

如果我们要计算它们的点积，我们会按如下步骤进行

$\mathbf {a} \cdot \mathbf {b} =a_{1}b_{1}+a_{2}b_{2}+a_{3}b_{3}=(2)(6)+(1)(3)+(4)(0)=15$

因为在这种情况下乘法是可交换的，所以我们有 $\mathbf {a} \cdot \mathbf {b} =\mathbf {b} \cdot \mathbf {a}$。

然后，我们观察到

$\mathbf {v} \cdot (\alpha \mathbf {a} +\beta \mathbf {b} )=\alpha \mathbf {v} \cdot \mathbf {a} +\beta \mathbf {v} \cdot \mathbf {b}$

就像普通的代数等式 $v(aA+bB)=avA+bvB$。对于普通的点积，这是成立的，因为对于 $\mathbb {R} ^{3}$ 例如，可以将两边展开得到

${\begin{matrix}(\alpha v_{1}a_{1}+\beta v_{1}b_{1})+(\alpha v_{2}a_{2}+\beta v_{2}b_{2})+(\alpha v_{3}a_{3}+\beta v_{3}b_{3})=\\(\alpha v_{1}a_{1}+\alpha v_{2}a_{2}+\alpha v_{3}a_{3})+(\beta v_{1}b_{1}+\beta v_{2}b_{2}+\beta v_{3}b_{3})\end{matrix}}$

最后，我们可以注意到 $\mathbf {v} \cdot \mathbf {v}$ 总是正的或大于零 - 检查 $\mathbb {R} ^{3}$ 给出如下结果

$\mathbf {v} \cdot \mathbf {v} =v_{1}^{2}+v_{2}^{2}+v_{3}^{2}$

由于实数的平方总是正的，因此它永远不会小于零。注意 $\mathbf {v} \cdot \mathbf {v} =0$ 当且仅当 $\mathbf {v} =0$。

在概括这种行为时，我们希望保留这三种行为。然后我们可以继续定义点积的推广，我们称之为 *内积*。某个向量空间 $V$ 中两个向量的内积，记为 $\langle \mathbf {x} ,\mathbf {y} \rangle$ 是一个函数 $V\times V\to \mathbb {R}$，它满足以下性质

• $\langle \mathbf {x} ,\mathbf {y} \rangle =\langle \mathbf {y} ,\mathbf {x} \rangle$
• $\langle \mathbf {v} ,\alpha \mathbf {a} +\beta \mathbf {b} \rangle =\alpha \langle \mathbf {v} ,\mathbf {a} \rangle +\beta \langle \mathbf {v} ,\mathbf {b} \rangle$
• $\langle \mathbf {a} ,\mathbf {a} \rangle \geq 0$ 当且仅当 $\mathbf {a} =0$ 时等式成立。

向量空间 $V$ 和某些内积一起被称为内积空间。

在 $\mathbb {C} ^{n}$ 中的点积

给定两个向量 $\mathbf {a} =a_{1}{\vec {e}}_{1}+a_{2}{\vec {e}}_{2}+\dots +a_{n}{\vec {e}}_{n}\in \mathbb {C} ^{n}$ 和 $\mathbf {b} =b_{1}{\vec {e}}_{1}+b_{2}{\vec {e}}_{2}+\dots +b_{n}{\vec {e}}_{n}\in \mathbb {C} ^{n}$，点积推广到复数是

$\mathbf {a} \cdot \mathbf {b} =\sum _{i=1}^{n}a_{i}^{*}b_{i}=a_{1}^{*}b_{1}+a_{2}^{*}b_{2}+\dots +a_{n}^{*}b_{n}$

其中对于任意复数 $z=c+di$，$z^{*}$ 是共轭复数：$z^{*}=c-di$。

点积是“共轭交换”的：$\mathbf {a} \cdot \mathbf {b} =(\mathbf {b} \cdot \mathbf {a} )^{*}$. 点积定义的一个直接推论是，一个向量与其自身的点积始终是一个非负实数：$\mathbf {a} \cdot \mathbf {a} \geq 0$.

$\mathbf {a} \cdot \mathbf {a} =0$当且仅当$\mathbf {a} ={\vec {0}}$

柯西-施瓦茨不等式适用于$\mathbb {C} ^{n}$

柯西-施瓦茨不等式

给定两个向量$\mathbf {a} ,\mathbf {b} \in \mathbb {C} ^{n}$，则有$|\mathbf {a} \cdot \mathbf {b} |\leq |\mathbf {a} ||\mathbf {b} |$

在$\mathbb {R} ^{n}$中，柯西-施瓦茨不等式可以通过三角不等式证明。在这里，柯西-施瓦茨不等式将通过代数方法证明。

为了使证明更直观，我们将首先给出$\mathbf {a} ,\mathbf {b} \in \mathbb {R} ^{n}$的代数证明。

适用于$\mathbf {a} ,\mathbf {b} \in \mathbb {R} ^{n}$的证明

$|\mathbf {a} \cdot \mathbf {b} |\leq |\mathbf {a} ||\mathbf {b} |$ 来源于 $|\mathbf {a} \cdot \mathbf {b} |^{2}\leq |\mathbf {a} |^{2}|\mathbf {b} |^{2}$，它等价于

展开两边得到

$\sum _{i=1}^{n}\sum _{j=1}^{n}a_{i}b_{i}a_{j}b_{j}\leq \sum _{i=1}^{n}\sum _{j=1}^{n}a_{i}^{2}b_{j}^{2}$

$\iff \sum _{i=1}^{n}\sum _{j=1}^{n}(a_{i}b_{j})(a_{j}b_{i})\leq \sum _{i=1}^{n}\sum _{j=1}^{n}(a_{i}b_{j})^{2}$

沿对角线“折叠”双重求和，并将两边等价的对角线项抵消，得到

$\iff \sum _{i=2}^{n}\sum _{j=1}^{i-1}2(a_{i}b_{j})(a_{j}b_{i})\leq \sum _{i=2}^{n}\sum _{j=1}^{i-1}((a_{i}b_{j})^{2}+(a_{j}b_{i})^{2})$

$\iff 0\leq \sum _{i=2}^{n}\sum _{j=1}^{i-1}(a_{i}b_{j}-a_{j}b_{i})^{2}$

以上不等式显然成立，因此 Cauchy-Schwarz 不等式对于 $\mathbf {a} ,\mathbf {b} \in \mathbb {R} ^{n}$ 成立。

对于 $\mathbf {a} ,\mathbf {b} \in \mathbb {C} ^{n}$ 的证明。

注意 $|\mathbf {a} \cdot \mathbf {b} |\leq |\mathbf {a} ||\mathbf {b} |$ 来自于 $|\mathbf {a} \cdot \mathbf {b} |^{2}\leq |\mathbf {a} |^{2}|\mathbf {b} |^{2}$ ，它等价于 $(\mathbf {a} \cdot \mathbf {b} )^{*}(\mathbf {a} \cdot \mathbf {b} )\leq (\mathbf {a} \cdot \mathbf {a} )(\mathbf {b} \cdot \mathbf {b} )$ 。两边展开得到

$\left(\sum _{i=1}^{n}a_{i}^{*}b_{i}\right)^{*}\left(\sum _{i=1}^{n}a_{i}^{*}b_{i}\right)\leq \left(\sum _{i=1}^{n}|a_{i}|^{2}\right)\left(\sum _{i=1}^{n}|b_{i}|^{2}\right)$

$\iff \sum _{i=1}^{n}\sum _{j=1}^{n}(a_{i}^{*}b_{i})^{*}(a_{j}^{*}b_{j})\leq \sum _{i=1}^{n}\sum _{j=1}^{n}|a_{i}|^{2}|b_{j}|^{2}$

$\iff \sum _{i=1}^{n}\sum _{j=1}^{n}(a_{j}b_{i})^{*}(a_{i}b_{j})\leq \sum _{i=1}^{n}\sum _{j=1}^{n}|a_{i}b_{j}|^{2}$

沿对角线“折叠”双重求和，并将两边等价的对角线项抵消，得到

$\iff \sum _{i=2}^{n}\sum _{j=1}^{i-1}((a_{j}b_{i})^{*}(a_{i}b_{j})+(a_{i}b_{j})^{*}(a_{j}b_{i}))\leq \sum _{i=2}^{n}\sum _{j=1}^{i-1}(|a_{i}b_{j}|^{2}+|a_{j}b_{i}|^{2})$

$\iff \sum _{i=2}^{n}\sum _{j=1}^{i-1}2\Re ((a_{i}b_{j})^{*}(a_{j}b_{i}))\leq \sum _{i=2}^{n}\sum _{j=1}^{i-1}(|a_{i}b_{j}|^{2}+|a_{j}b_{i}|^{2})$

给定复数$z$ 和 $w$，可以证明$2\Re (z^{*}w)\leq |z|^{2}+|w|^{2}$（这类似于实数的$2xy\leq x^{2}+y^{2}$）。上述不等式成立，因此 Cauchy-Schwarz 不等式对复数也成立。