概率论/条件概率

基础和乘法公式

定义 3.1（条件概率）:

令 $(\Omega ,{\mathcal {F}},P)$ 为一个概率空间，并令 $A\in {\mathcal {F}}$ 为一个固定集合，使得 $P(A)>0$。如果 $B\in {\mathcal {F}}$ 是另一个集合，则事件 $B$ 在事件 $A$ 已经发生（或必然发生）时的条件概率定义为

$P_{A}(B):={\frac {P(B\cap A)}{P(A)}}$.

使用乘法符号，我们可以写成

$P_{A}(B):={\frac {P(BA)}{P(A)}}$

代替。

这个定义很直观，因为以下引理成立

引理 3.2:

$A\subseteq B\Rightarrow P_{A}(B)=1$

引理 3.3:

$P_{A}(B+C)=P_{A}(B)+P_{A}(C)$

每个引理都直接来自于定义和对 $P$ 的公理（定义 2.1）。

从这些引理中，我们得到对于每个 $A\in {\mathcal {F}}$，$(\Omega ,{\mathcal {F}},P_{A})$ 满足概率空间的定义公理（定义 2.1）。

有了这个定义，我们有以下定理

定理 3.4（乘法公式）:

$P(A_{1}A_{2}\cdots A_{n})=P_{A_{1}\cdots A_{n-1}}(A_{n})P_{A_{1}\cdots A_{n-2}}(A_{n-1})\cdots P_{A_{1}}(A_{2})P(A_{1})$,

其中 $(\Omega ,{\mathcal {F}},P)$ 是一个概率空间，并且 $A_{1},\ldots ,A_{n}$ 都属于 ${\mathcal {F}}$.

证明:

根据定义，我们有

$P_{A}(B)P(A)=P(AB)$

对于所有 $A,B\in {\mathcal {F}}$。 因此，由于 ${\mathcal {F}}$ 是一个代数，我们可以通过归纳法得到

${\begin{aligned}P(A_{1}A_{2}\cdots A_{n})&=P((A_{1}A_{2}\cdots A_{n-1})A_{n})\\&=P_{A_{1}\cdots A_{n-1}}(A_{n})P(A_{1}\cdots A_{n-1})\\&=P_{A_{1}\cdots A_{n-1}}(A_{n})P_{A_{1}\cdots A_{n-2}}(A_{n-1})\cdots P_{A_{1}}(A_{2})P(A_{1}).\end{aligned}}$$\Box$

贝叶斯定理

定理 3.5 (全概率公式):

令 $(\Omega ,{\mathcal {F}},P)$ 是一个概率空间，并假设

$\Omega =A_{1}+\cdots +A_{n}$

(注意，通过使用 $+$-符号，我们假设并集是不相交的)，其中 $A_{1},\ldots ,A_{n}$ 都包含在 ${\mathcal {F}}$ 中。那么

$\forall B\in {\mathcal {F}}:P(B)=\sum _{j=1}^{n}P(A_{j})P_{A_{j}}(B)$.

证明:

${\begin{aligned}\sum _{j=1}^{n}P(A_{j})P_{A_{j}}(B)&=\sum _{j=1}^{n}P(A_{j}){\frac {P(A_{j}\cap B)}{P(A_{j})}}\\&=\sum _{j=1}^{n}P(A_{j}B)\\&=P\left(\sum _{j=1}^{n}A_{j}B\right)\\&=P\left(\left(\sum _{j=1}^{n}A_{j}\right)B\right)\\&=P(\Omega B)\\&=P(B),\end{aligned}}$

这里我们使用了集合 $A_{1}B,\ldots ,A_{n}B$ 都是不相交的，代数 ${\mathcal {F}}$ 和 $\Omega \cap B=B$ 的分配律。$\Box$

定理 3.6 (延迟贝叶斯定理):

令 $(\Omega ,{\mathcal {F}},P)$ 是一个概率空间，且 $A,B\in {\mathcal {F}}$。那么

$P_{B}(A)={\frac {P(A)P_{A}(B)}{P(B)}}$.

证明:

${\frac {P(A)P_{A}(B)}{P(B)}}={\frac {P(A){\frac {P(A\cap B)}{P(A)}}}{P(B)}}=P_{B}(A)$.$\Box$

这个公式可能看起来有点抽象，但它实际上有一个很好的几何意义。假设我们有两个集合 $A,B\in {\mathcal {F}}$，已经知道 $P(A)$，$P(B)$ 和 $P_{A}(B)$，并希望计算 $P_{B}(A)$。这种情况在下面的图片中描绘：

我们知道 $A\cap B$ 与 $A$ 的大小比率，但我们真正想知道的是 $A\cap B$ 与 $B$ 的比较情况。因此，我们通过乘以 $P(A)$（旧的参考量级）并除以 $P(B)$（新的参考量级）来改变“比较对象”。

定理 3.7（贝叶斯定理）:

令 $(\Omega ,{\mathcal {F}},P)$ 是一个概率空间，并假设

$\Omega =A_{1}+\cdots +A_{n}$,

其中 $A_{1},\ldots ,A_{n}$ 都在 ${\mathcal {F}}$ 中。那么对于所有 $B\in {\mathcal {F}}$

$\forall j\in \{1,\ldots ,n\}:P_{B}(A_{j})={\frac {P_{A_{j}}(B)P(A_{j})}{\sum _{k=1}^{n}P(A_{k})P_{A_{k}}(B)}}}$.

证明:

根据定理的基本形式，我们得到

$P_{B}(A_{j})={\frac {P_{A_{j}}(B)P(A_{j})}{P(B)}}$.

利用全概率公式，我们得到

$P_{B}(A_{j})={\frac {P_{A_{j}}(B)P(A_{j})}{\sum _{k=1}^{n}P(A_{k})P_{A_{k}}(B)}}$.$\Box$