信号与系统/概率基础

信号与系统

概率

这本书要求您首先阅读概率。

《信号与系统》这本书的这一部分将讨论概率、随机信号和噪声。然而，本书不会试图教授概率的基础知识，因为互联网上有大量资源（包括维基百科数学书架）可以学习概率和统计。本书将假设您已经掌握了概率的基础知识，并努力在信号处理的电子工程书籍的背景下解释随机现象。

随机变量是指其值不固定，而是以某种方式取决于机会的量。通常，随机变量的值可能由一个固定部分和一个由于不确定性或扰动而产生的随机部分组成。其他类型的随机变量则根据随机实验的结果获得其值。

随机变量通常用大写字母表示。例如，我们将经常使用一个通用的随机变量 X。大写字母代表随机变量本身，而相应的小写字母（在本例中为 "x"）将用于表示 X 的观测值。x 是过程 X 的一个特定值。

随机变量的平均值或更准确的期望值是随机值的中心值，或者从长远来看观测值的平均值。我们将信号 x 的平均值表示为 μ_x。我们将在下一章讨论平均值的精确定义。

信号 x 的标准差，用符号 σ_x 表示，用于衡量信号与平均值的偏差程度。例如，如果标准差很小，则 x 的大多数值都接近平均值。如果标准差很大，则这些值会更加分散。

标准差的概念很容易理解，但在实践中，它不是一个易于直接计算的量，也不利于计算。然而，标准差与一个更有用的量——方差有关。

方差是标准差的平方，它更具有理论意义。我们将信号 x 的方差表示为 σ_x²。我们将在下一章讨论方差及其计算方法。

概率函数 P 是指某事件发生的概率。它是根据下面描述的概率密度函数和累积分布函数计算出来的。

我们可以用 P 运算符来进行多种操作

P[{\mbox{A coin is heads}}]={\frac {1}{2}}

P[{\mbox{A dice shows a 3}}]={\frac {1}{6}}

随机变量的概率密度函数 (PDF) 描述了随机变量值的分布。通过对该函数在一个特定范围内的积分，我们可以找到随机变量取值位于该区间内的概率。该函数在所有可能值上的积分等于1。

我们将信号 x 的密度函数表示为 f_x。事件 x_i 发生的概率表示为

P[x_{i}]=f_{x}(x_{i})

随机变量的累积分布函数 (CDF) 描述了观测到低于或等于某个阈值的概率。CDF 函数将是非递减的，且具有以下特性：CDF 在负无穷大处的值为零，而 CDF 在正无穷大处的值为1。

我们将函数的 CDF 表示为大写字母 F。信号 x 的 CDF 将带有下标 f_x。

我们可以说，事件发生小于或等于 x_i 的概率用 CDF 定义为

P[x\leq x_{i}]=F_{x}(x_{i})

同样，我们可以将事件发生大于 x_i 的概率定义为

P[x>x_{i}]=1-F_{x}(x_{i})

或者，事件发生的概率大于或等于 *x_i*

P[x\geq x_{i}]=1-F_{x}(x_{i})+f_{x}(x_{i})

CDF 和 PDF 之间存在一个简单的积分关系

F_{x}(x)=\int _{-\infty }^{x}f_{x}(\tau )d\tau

f_{x}(x)={\frac {d}{dx}}F_{x}(x)

一些书籍将 CDF 称为“概率分布函数”，并用缩写 PDF 表示。为了避免分布函数和密度函数使用相同缩写 (PDF) 造成歧义，一些书籍会将密度函数称为“pdf” (小写)，而将分布函数称为“PDF” (大写)。为了避免这种歧义，本书将分布函数称为 CDF，密度函数称为 PDF。