统计学/多元数据分析

分布

多元正态分布

多元正态分布只是将正态分布扩展到多元情况。多元正态分布的最简单定义如下

定义（多元正态分布）:

如果 $\forall \mathbf {a} \in \mathbb {R} ^{p},\ \mathbf {a} ^{T}\mathbf {X} \sim {\mathcal {N}}(\mathbf {a} ^{T}\mu ,\mathbf {a} ^{T}\Sigma \mathbf {a} )$ ，那么维度为 $p$ 的随机向量 $\mathbf {X}$ 被认为服从均值为 $\mu$ 、协方差矩阵为 $\Sigma$ 的多元正态分布。它表示为 $\mathbf {X} \sim {\mathcal {N}}_{p}(\mu ,\Sigma )$ .

乍一看，这个定义似乎相当抽象和深奥。毕竟，单变量正态分布具有特定的密度形式和特定的特征函数，两者都是对任何概率分布的数学上有效的刻画。但是，这种定义对于处理 $\Sigma$ 不是严格正定的时候是必要的。当 $\Sigma$ 为正定时，可以通过 Gauss-Markov 定理证明 $\mathbf {X} ,\ f_{\mathbf {X} }(\mathbf {x} )={\frac {1}{{\sqrt {2\pi }}|\Sigma |^{\frac {1}{2}}}}e^{-{\frac {1}{2}}(\mathbf {x} -\mu )^{T}\Sigma ^{-1}(\mathbf {x} -\mu )}$ 的密度函数。但是，当 $\Sigma$ 为奇异矩阵时，情况并非如此，因为在这种情况下，密度函数将不存在。但是，基于特征函数的定义仍然有效。仍然可以根据 $\Sigma$ 的特征值推导出分段密度函数，但它不是真正的密度函数。

矩阵多元正态分布

我们首先需要建立一些符号。令 $X_{m\times n}$ 为一个具有列向量 $c_{(1)},c_{(2)},\ldots ,c_{(n)}$ 的矩阵。然后我们定义列向量 ${\textstyle vec(X):={\begin{bmatrix}c_{(1)}\\c_{(2)}\\\vdots \\c_{(n)}\end{bmatrix}}}$ ，我们称之为 $X$ 的向量化。

定义（矩阵多元正态分布）:

我们说 $X_{m\times n}$ 服从均值矩阵为 $\mu _{m\times n}$ 、协方差矩阵为 $\Sigma _{mn\times mn}$ 的矩阵多元正态分布，如果 $vec(X)\sim {\mathcal {N}}_{mn}(vec(\mu ),\Sigma )$

读者应该注意到，这仅仅是将正态分布强加于 $X$ 的向量化。因此，许多对多元正态随机向量成立的结果，对于矩阵多元正态随机变量的向量化也同样成立。

现在我们已经定义了多元正态分布和矩阵正态分布，下一步的目标应该是找到类似于一元 $\chi _{(p)}^{2}$ 分布的类似物，该分布具有 $p$ 个自由度，以及学生t分布，这两个分布与一元正态分布密切相关。我们知道，如果 $X_{i}\sim {\mathcal {N}}(\mu _{i},\sigma _{i}^{2})\ \forall i\in \{1,2,\ldots n\}$ ，则 $\sum _{i=1}^{n}{\frac {(X_{i}-\mu _{i})^{2}}{\sigma _{i}^{2}}}\sim \chi _{(n)}^{2}$ 。多元情况下类似的分布是什么？

威沙特分布

定义（威沙特分布）:

如果 $\mathbf {X} _{i}{\overset {iid}{\sim }}{\mathcal {N}}_{p}(\mu ,\Sigma )$ 对于 $i\in \{1,2,\ldots n\}$ ，则 $S=\sum _{i=1}^{n}(\mathbf {X_{i}} -\mu )(\mathbf {X_{i}} -\mu )^{T}$ 被称为具有 $n$ 个自由度和关联矩阵 $\Sigma$ 的威沙特分布。它表示为 $S\sim W_{p}(n,\Sigma )$ 。

虽然 Wishart 分布确实存在一种密度形式，但证明我们所需的大多数结果并不需要它。然而，需要注意的是，如果 $S$ 遵循 Wishart 分布，则 ${\frac {\mathbf {a} ^{T}S\mathbf {a} }{\mathbf {a} ^{T}\Sigma \mathbf {a} }}\sim \chi _{(n)}^{2}$ 。这个结果可以通过在 $S$ 的左边和右边分别乘以 $\mathbf {a} ^{T}$ 和 $\mathbf {a}$ ，然后利用 $\mathbf {a} ^{T}\mathbf {X} \sim {\mathcal {N}}(\mathbf {a} ^{T}\mu ,\mathbf {a} ^{T}\Sigma \mathbf {a} )$ 的事实。

方法