工程分析/随机向量

我们迄今为止学到的许多概念都与随机变量有关。但是，所有这些概念都可以被转化来处理随机数的向量。随机向量 X 包含 N 个元素，X_i，它们中的每一个都是一个不同的随机变量。随机向量中的单个元素可能相互关联或相互依赖，也可能不相关或不相互依赖。

$X={\begin{bmatrix}X_{1}\\X_{2}\\\vdots \\X_{N}\end{bmatrix}}$

期望

随机向量的期望是向量中每个元素的期望值的向量。例如

$E[X]={\begin{bmatrix}E[X_{1}]\\E[X_{2}]\\\vdots \\E[X_{N}]\end{bmatrix}}$

使用这个定义，随机向量 X 的均值向量，表示为 μ_X，是由 X 的所有单个元素的均值组成的向量

$\mu _{X}={\begin{bmatrix}\mu _{X_{1}}\\\mu _{X_{2}}\\\vdots \\\mu _{X_{N}}\end{bmatrix}}$

相关矩阵

随机向量 X 的相关矩阵定义为

$R_{X}=E[XX^{T}]$

其中相关矩阵的每个元素对应于 X 的行元素与 X^T 的列元素之间的相关性。相关矩阵是一个实对称矩阵。如果相关矩阵的非对角元素都为零，则称该随机向量是**不相关的**。如果 R 矩阵是单位矩阵，则称该随机向量是“白”的。例如，“白噪声”是不相关的，并且向量的每个元素具有相等的相关值。

矩阵对角化

如前所述，我们可以通过从矩阵的特征向量构建 V 矩阵来对角化矩阵。如果 X 是我们的非对角矩阵，我们可以通过以下方法创建一个对角矩阵 D

$D=V^{-1}XV$

如果 X 矩阵是实对称的（像相关矩阵一样），我们可以将其简化为

$D=V^{T}XV$

白化

可以通过构建一个矩阵 W 来使矩阵白化，该矩阵在对角线上包含 X 的特征值的平方根的倒数

$W={\begin{bmatrix}{\frac {1}{\sqrt {\lambda _{1}}}}&\cdots \\0&{\frac {1}{\sqrt {\lambda _{2}}}}\cdots \\\vdots &\vdots &\ddots \end{bmatrix}}$

使用这个 W 矩阵，我们可以将 X 转换为单位矩阵

$I=W^{T}V^{T}XVW$

同时对角化

如果我们有两个矩阵X和Y，我们可以构造一个矩阵A，它将满足以下关系

$A^{T}XA=I$

$A^{T}YA=D$

其中I是一个单位矩阵，D是一个对角矩阵。这个过程被称为同时对角化。如果我们有上面描述的V和W矩阵，使得

$I=W^{T}V^{T}XVW$,

然后我们可以通过对Y矩阵应用相同的变换来构造B矩阵

$W^{T}V^{T}YVW=B$

我们可以将B的特征值组合成一个变换矩阵Z，使得

$Z^{T}BZ=D$

然后我们可以将我们的A矩阵定义为

$A=VWZ$

$A^{T}=Z^{T}W^{T}V^{T}$

这个A矩阵将满足上面概述的同步对角化过程。

协方差矩阵

两个随机向量X和Y的协方差矩阵定义为

$Q_{X}=E[(X-\mu _{X})(Y-\mu _{Y})^{T}]=E[(Y-\mu _{Y})(X-\mu _{X})^{T}]$

其中协方差矩阵的每个元素表示X的行元素与Y的列元素之间的方差关系。协方差矩阵是实对称的。

我们可以通过以下公式将相关矩阵与协方差矩阵联系起来

$R=Q+\mu _{X}\mu _{X}^{T}$

累积分布函数

N向量X具有定义为N个变量的累积分布函数F_x

$F_{X}(X)=P[X\leq x]=P[X_{1}\leq x_{1},X_{2}\leq x_{2},\cdots ,X_{N}\leq x_{N}]$

概率密度函数

随机向量的概率密度函数可以用累积分布函数的N^th偏导数来定义

$f_{X}(X)={\frac {\partial ^{N}F_{X}(X)}{\partial X_{1}\partial X_{2}\cdots \partial X_{N}}}$

如果我们知道密度函数，我们可以使用N-1次积分求出X的第i个元素的均值

$\mu _{X_{i}}=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }\cdots \int _{-\infty }^{\infty }x_{i}f_{X}(x)dx_{1}dx_{2}\cdots dx_{n}$