概率/条件分布

分布的属性

概率
条件分布

随机变量的变换

动机

假设发生了一场地震。令 $X$ 为伤亡人数， $Y$ 为地震的里氏震级。

(a) 在没有给定任何信息的情况下， $X$ 的分布是什么？

(b) 假设 $Y=1$ ， $X$ 的分布是什么？

(c) 假设 $Y=9$ ， $X$ 的分布是什么？

备注。

$Y=1$ 表示地震微弱， $Y=9$ 表示地震强烈。

你对 (a)、(b)、(c) 的答案是否不同？

在 (b) 和 (c) 中，我们分别有条件分布 $X$ 在给定 $Y=1$ 时的分布，以及条件分布 $X$ 在给定 $Y=9$ 时的分布。

一般情况下，我们有给定 $Y$ 的 条件分布 $X$ (在观察 $Y$ 的值之前 )，或者给定 $Y=y$ 的 $X$ (在观察 $Y$ 的值之后 )。

条件分布

回顾条件概率的定义： $\mathbb {P} (A|B)={\frac {\mathbb {P} (A\cap B)}{\mathbb {P} (B)}},$ 其中 $A,B$ 是事件，且 $\mathbb {P} (B)>0$ 。将此定义应用于离散随机变量 $X,Y$ ，我们有 $\mathbb {P} (X=x|Y=y)={\frac {\mathbb {P} (X=x\cap Y=y)}{\mathbb {P} (Y=y)}}={\frac {f(x,y)}{f_{Y}(y)}},$ 其中 $f(x,y)$ 是 $X$ 和 $Y$ 的联合 pmf，而 $f_{Y}(y)$ 是 $Y$ 的边际 pmf。很自然地，我们将这种条件概率称为条件 pmf，对吧？我们将这种条件概率记为 $f_{X|Y}(x|y)$ 。那么，这基本上就是条件 pmf 的定义： $X$ 在给定 $Y=y$ 条件下的条件 pmf 是条件概率 $\mathbb {P} (X=x|Y=y)$ 。自然地，我们希望条件 pdf 的定义也类似。事实确实如此。

定义。（条件概率函数）设 $X,Y$ 是两个随机变量，它们都是离散的或都是连续的。条件概率（质量或密度）函数为 $X$ 在给定 $Y=y$ 的情况下，其中 $y$ 是一个实数，是 $\underbrace {f_{X|Y}({\color {darkgreen}x}|y)} _{{\text{function of }}{\color {darkgreen}x}}={\frac {\overbrace {f({\color {darkgreen}x},y)} ^{\text{joint probability function}}}{\underbrace {f_{Y}(y)} _{\text{marginal pdf}}}}\propto \underbrace {f({\color {darkgreen}x},y)} _{{\text{function of }}{\color {darkgreen}x}}$

备注。

边缘 pdf 可以被解释为 归一化 常数，它使积分 $\int _{-\infty }^{\infty }f_{X|Y}({\color {darkgreen}x},y)\,d{\color {darkgreen}x}=1$ ，因为 $\int _{-\infty }^{\infty }f({\color {darkgreen}x},y)\,d{\color {darkgreen}x}=\underbrace {f_{Y}(y)} _{\text{marginal pdf}}$ （在 $Y$ 固定为 $y$ 的区域上积分（满足条件的区域），因此我们只在 $x$ 的对应区间上积分 ( $x$ 仍然是一个变量））。

这类似于条件概率定义中的分母，它使整个样本空间的条件概率等于 1，以满足概率公理。

为了更直观地理解连续情况下的定义，请考虑以下图表。

Top view:
     
        |
        |
        *---------------* 
        |               |
        |               |
fixed y *===============* <--- corresponding interval
        |               |
        |               |
        *---------------*
        |
        *---------------- x

Side view:

          *  
         / \ 
        *\  *  /                                           
       /|#\   \
   |  / |##\ / *---------*
   | *  |###\            /\
   | |\ |##/#\----------/--\     
   | | \|#/###*--------*   /                             
   | |  \/############/#\ /                              
   | |y *\===========/===*                               
   | | /  *---------*   /                                
   | |/              \ /                                 
   | *----------------*                                  
   |/                                                    
   *------------------------- x                          


Front view:
             
    |
    |
    |               
    *\     
    |#\    
    |##\   
    |###\             
    |####\   <------ Area: f_Y(y)
    |#####*--------*  
    |###############\ 
    *================*-------------- x

*---*
|###| : corresponding cross section from joint pdf
*---*

我们可以看到，当我们对 $Y=y$ 进行条件化时，我们从联合概率密度函数下的区域中“切”出一片，这片“切片”的面积就是 单变量 联合概率密度函数 $f(x,y)$ 在固定 $y$ 且变量 $x$ 时，与 $x$ 轴之间的面积。由于面积由 $\int _{-\infty }^{\infty }f({\color {darkgreen}x},y)\,d{\color {darkgreen}x}=f_{Y}(y)$ 给出，而根据概率公理，面积应该等于 1。因此，我们通过将单变量联合概率密度函数 $f(x,y)$ 除以 $f_{Y}(y)$ 来缩小“切片”面积的 $f_{Y}(y)$ 倍。之后，缩小“切片”顶部的那条曲线就是条件概率密度函数 ${\frac {f(x,y)}{f_{Y}(y)}}$ 的图像。

现在，我们已经讨论了两个随机变量都是离散或连续的情况。那么其中一个变量是离散，另一个是连续的情况呢？在这种情况下，这两个随机变量没有“联合概率函数”，因为一个是离散的，另一个是连续的！但是，我们仍然可以通过其他方式定义条件概率函数。为了引出下面的定义，设 $F_{X|Y}(x|y)$ 是条件概率 $\mathbb {P} (X\leq x|Y=y)$ 。然后，对 $F_{X|Y}(x|y)$ 关于 $x$ 求导应该得到条件pdf $f_{X|Y}(x|y)$ 。所以，我们有 ${\begin{aligned}f_{X|Y}(x|y)={\frac {d}{dx}}F_{X|Y}(x|y)&=\lim _{h\to 0}{\frac {\mathbb {P} (X\leq x+h|Y=y)-\mathbb {P} (X\leq x|Y=y)}{h}}\\&=\lim _{h\to 0}{\frac {\mathbb {P} (x<X\leq x+h|Y=y)}{h}}\\&=\lim _{h\to 0}{\frac {\mathbb {P} (Y=y|x<X\leq x+h)\mathbb {P} (x<X\leq x+h)}{h\mathbb {P} (Y=y)}}\\&=\lim _{h\to 0}{\frac {\mathbb {P} (Y=y|x<X\leq x+h)\mathbb {P} (x<X\leq x+h)}{h\mathbb {P} (Y=y)}}\\&=\lim _{h\to 0}{\frac {\mathbb {P} (Y=y|x\leq X\leq x+h)}{\mathbb {P} (Y=y)}}\lim _{h\to 0}{\frac {\mathbb {P} (x<X\leq x+h)}{h}}\\&={\frac {\mathbb {P} (Y=y|X=x){\frac {d}{dx}}F_{X}(x)}{\mathbb {P} (Y=y)}}\\&={\frac {\mathbb {P} (Y=y|X=x)f_{X}(x)}{\mathbb {P} (Y=y)}}.\\\end{aligned}}$ 因此，自然地给出以下定义。

定义。（当 $X$ 是连续的，而 $Y$ 是离散的）条件概率密度函数）令 $X$ 为一个连续随机变量，而 $Y$ 为一个离散随机变量。条件概率密度函数 $X$ 给定 $Y=y$ ，其中 $y$ 是一个实数，是 $f_{X|Y}(x|y)={\frac {\mathbb {P} (Y=y|X=x)f_{X}(x)}{\mathbb {P} (Y=y)}}.$

现在，我们来讨论一下当 $X$ 是离散的而 $Y$ 是连续的情况。在这种情况下，我们使用上述定义作为定义的动机。然而，我们应该交换 $X$ 和 $Y$ 的位置，以确保假设仍然成立。然后，我们得到 $f_{Y|X}(y|x)={\frac {\mathbb {P} (X=x|Y=y)f_{Y}(y)}{\mathbb {P} (X=x)}}.$ 在这种情况下， $X$ 是离散的，因此很自然地将给定 $Y=y$ 的 $X$ 的条件概率质量函数定义为 $\mathbb {P} (X=x|Y=y)$ 在表达式中。现在，在重新排列项之后，我们得到 $\mathbb {P} (X=x|Y=y)={\frac {f_{Y|X}(y|x)\mathbb {P} (X=x)}{f_{Y}(y)}}.$ 因此，我们有以下定义。

定义。（当 $X$ 为离散且 $Y$ 为连续时的条件概率质量函数）令 $X$ 为一个离散随机变量，而 $Y$ 为一个连续随机变量。 $X$ 在给定 $Y=y$ （其中 $y$ 为实数）的条件概率密度函数为 $f_{X|Y}(x|y)={\frac {f_{Y|X}(y|x)\mathbb {P} (X=x)}{f_{Y}(y)}}.$

基于条件概率函数的定义，我们可以自然地定义条件累积分布函数如下。

定义。（条件累积分布函数）令 $X,Y$ 为离散或连续随机变量。 $X$ 在给定 $Y=y$ 的条件累积分布函数 (cdf)，其中 $y$ 为实数，为 $F_{X|Y}({\color {darkgreen}x}|y){\overset {\text{ def }}{=}}\mathbb {P} (X\leq {\color {darkgreen}x}|Y=y)={\begin{cases}\displaystyle \sum _{{\color {red}u}:{\color {red}u}\leq {\color {darkgreen}x}}^{}f_{X|Y}({\color {red}u}|y),&X{\text{ is discrete}};\\\displaystyle \int _{-\infty }^{\color {darkgreen}x}f_{X|Y}({\color {red}u}|y)\,d{\color {red}u},&X{\text{ is continuous}}.\end{cases}}$

备注。

需要注意的是，当 $Y$ 是连续的，事件 $\{Y=y\}$ 的概率为零。因此，根据条件概率的定义，在这种情况下，条件累积分布函数应该是 未定义 的。然而，在这种情况下，我们仍然将条件概率定义为一个有意义且已定义的表达式。

定义的图形说明（连续随机变量）

Top view:
     
        |
        |
        *---------------* 
        |               |
        |               |
fixed y *=========@=====* <--- corresponding interval
        |         x     |
        |               |
        *---------------*
        |
        *---------------- 

Side view:

          *  
         / \ 
        *\  *  /                                           
       /|#\   \
   |  / |##\ / *---------*
   | *  |###\            /\
   | |\ |##/#\----------/--\     
   | | \|#/###*--------*   /                             
   | |  \/#########   / \ /                              
   | |y *\========@==/===*                               
   | | /  *-------x-*   /                                
   | |/              \ /                                 
   | *----------------*                                  
   |/                                                    
   *------------------------- x                          


Front view:

    |
    |
    |
    *\      
    |#\    
    |##\              
    |###\             
    |####\   <------------- Area: f_Y(y)         
    |#####*--------*  
    |###########    \ 
    *==========@=====*--------------  
               x
*---*
|###| : the desired region from the cross section from joint pdf, whose area is the probability from the cdf
*---*

如果 $Y=\mathbf {1} \{A\}$ 对于某个事件 $A$ ，为了简化，我们有一些特殊的记号

给定 $Y=y$ 的 $X$ 的条件概率函数变为

$f_{X|Y}({\color {darkgreen}x}|y)={\begin{cases}f({\color {darkgreen}x}|A),&y=1;\\f({\color {darkgreen}x}|A^{c}),&y=0.\end{cases}}$

给定 $Y=y$ 的 $X$ 的条件累积分布函数变为

$F_{X|Y}({\color {darkgreen}x}|y)=\mathbb {P} (X\leq {\color {darkgreen}x}|Y=y)={\begin{cases}F({\color {darkgreen}x}|A),&y=1;\\F({\color {darkgreen}x}|A^{c}),&y=0.\end{cases}}$

命题。 （确定两个随机变量的独立性）随机变量 $X,Y$ 是 独立的 当且仅当 $f_{X|Y}(x|y)=f_{X}(x){\text{ or }}f_{Y|X}(y|x)=f_{Y}(y)$ 对于每个 $x,y$ 成立。

证明。 回想一下两个随机变量之间独立性的定义

X,Y

是独立的，如果

$f(x,y)=f_{X}(x)f_{Y}(y)$

对于每个

x,y

.

由于 $f_{X|Y}({\color {darkgreen}x}|y)={\frac {\overbrace {f({\color {darkgreen}x},y)} ^{f_{X}({\color {darkgreen}x})f_{Y}(y)}}{f_{Y}(y)}}=f_{X}(x){\text{ and }}f_{Y|X}({\color {darkgreen}y}|x)={\frac {\overbrace {f({\color {darkgreen}y},x)} ^{f_{Y}({\color {darkgreen}y})f_{X}(x)}}{f_{X}(x)}}=f_{Y}(y)$ 对于每个 $x,y$ ，我们得到了所需的结果。

$\Box$

备注。

这是意料之中的，因为对独立事件的条件化不应该影响另一个独立事件的发生。

我们可以将条件概率函数和cdf的定义扩展到随机变量组，对于联合cdf和联合概率函数，如下所示

定义。 （条件联合概率函数）令 $\mathbf {X} =(X_{1},\dotsc ,X_{r})^{T}$ 和 $\mathbf {Y} =(Y_{1},\dotsc ,Y_{s})^{T}$ 为两个随机向量。给定 $\mathbf {Y} =(y_{1},\dotsc ,y_{s})$ 时， $\mathbf {X} =(x_{1},\dotsc ,x_{r})$ 的条件联合概率函数为 $f_{\mathbf {X} |\mathbf {Y} }({\color {darkgreen}x_{1},\dotsc ,x_{r}}|y_{1},\dotsc ,y_{s}){\overset {\text{ def }}{=}}\mathbb {P} (X_{1}={\color {darkgreen}x_{1}}\cap \dotsb \cap X_{r}={\color {darkgreen}x_{r}}|Y_{1}=y_{1}\cap \dotsb \cap Y_{s}=y_{s})={\frac {f({\color {darkgreen}x_{1},\dotsc ,x_{r}},y_{1},\dotsc ,y_{s})}{f_{\mathbf {Y} }(y_{1},\dotsc ,y_{s})}}$

然后，我们也有类似的命题来判断两个随机向量的独立性。

命题。 （确定两个随机向量的独立性）随机向量 $\mathbf {X} =(X_{1},\dotsc ,X_{r})^{T},\mathbf {Y} =(Y_{1},\dotsc ,Y_{s})^{T}$ 当且仅当 $f_{\mathbf {X} |\mathbf {Y} }(x_{1},\dotsc ,x_{r}|y_{1},\dotsc ,y_{s})=f_{\mathbf {X} }(x_{1},\dotsc ,x_{r}){\text{ or }}f_{\mathbf {Y} |\mathbf {X} }(y_{1},\dotsc ,y_{s}|x_{1},\dotsc ,x_{r})=f_{\mathbf {Y} }(y_{1},\dotsc ,y_{s})$ 对于每个 $x_{1},\dotsc ,x_{r},y_{1},\dotsc ,y_{s}$ 。

证明。 两个随机向量之间独立性的定义是

$\mathbf {X} =(X_{1},\dotsc ,X_{r})^{T},\mathbf {Y} =(Y_{1},\dotsc ,Y_{s})^{T}$ 是独立的，如果

$f(x_{1},\dotsc ,x_{r},y_{1},\dotsc ,y_{s})=f_{\mathbf {X} }(x_{1},\dotsc ,x_{r})f_{\mathbf {Y} }(y_{1},\dotsc ,y_{s})$

对于每个

x_{1},\dotsc ,x_{r},y_{1},\dotsc ,y_{s}

。

由于对于每个 $x_{1},\dotsc ,x_{r},y_{1},\dotsc ,y_{s}$ ，我们有期望的结果。

$\Box$

双变量正态分布的条件分布

回想一下概率/重要分布一章， ${\mathcal {N}}_{2}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})$ 的联合概率密度函数为 $f(x,y)={\frac {1}{2\pi \sigma _{X}\sigma _{Y}{\sqrt {1-\rho ^{2}}}}}\exp \left(-{\frac {1}{2(1-\rho ^{2})}}\left(\left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)^{2}-2\rho \left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)+\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)^{2}\right)\right),\quad (x,y)\in \mathbb {R} ^{2}$ ，并且在本例中 $X\sim {\mathcal {N}}(\mu _{X},\sigma _{X}^{2})$ 和 $Y\sim {\mathcal {N}}(\mu _{Y},\sigma _{Y}^{2})$ 。其中 $\rho =\rho (X,Y)$ 且 $\sigma _{X},\sigma _{Y}$ 为正数。

命题。（二元正态分布的条件分布）设 $(X,Y)^{T}\sim {\mathcal {N}}_{2}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})$ . 那么， $X|(Y=y)\sim {\mathcal {N}}\left(\mu _{X}+\rho \cdot {\frac {\sigma _{X}}{\sigma _{Y}}}(y-\mu _{Y}),\sigma _{X}^{2}(1-\rho ^{2})\right),{\text{ and }}Y|(X=x)\sim {\mathcal {N}}\left(\mu _{Y}+\rho \cdot {\frac {\sigma _{Y}}{\sigma _{X}}}(x-\mu _{X}),\sigma _{Y}^{2}(1-\rho ^{2})\right)$ （符号滥用：当我们说“ $X|(Y=y)$ ”的分布时，我们的意思是条件分布 $X$ 在给定 $Y=y$ 下的分布）。

证明。

首先，条件概率密度函数

${\begin{aligned}f_{X|Y}(x|y)&{\overset {\text{ def }}{=}}{\frac {f(x,y)}{f_{Y}(y)}}\\&=\left.{\frac {1}{{\color {darkgreen}2\pi }\sigma _{X}{\cancel {\sigma _{Y}}}{\sqrt {1-\rho ^{2}}}}}\exp \left(-{\frac {1}{2(1-\rho ^{2})}}\left(\left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)^{2}-2\rho \left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)+\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)^{2}\right)\right)\right/{\frac {1}{\sqrt {{\color {darkgreen}2\pi }{\cancel {\sigma _{Y}^{2}}}}}}\exp {\big (}{\color {blue}-(y-\mu _{Y})^{2}/2\sigma _{Y}^{2}}{\big )}\\&={\frac {1}{\sqrt {2\pi \sigma _{X}^{2}(1-\rho ^{2})}}}\exp \left(-{\frac {1}{2(1-\rho ^{2})}}\left(\left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)^{2}-2\rho \left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)+\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)^{2}\right){\color {blue}+(y-\mu _{Y})^{2}/2\sigma _{Y}^{2}}\right)\\&={\frac {1}{\sqrt {2\pi \sigma _{X}^{2}(1-\rho ^{2})}}}\exp \left(-{\frac {1}{2(1-\rho ^{2})}}\left(\left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)^{2}-2\rho \left({\frac {x-\mu _{X}}{\sigma _{X}}}\right)\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)+{\cancel {\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)^{2}}}{\color {purple}-({\cancel {1}}-\rho ^{2})}\left({\frac {y-\mu _{Y}}{\sigma _{Y}}}\right)^{2}\right)\right)\\&={\frac {1}{\sqrt {2\pi \sigma _{X}^{2}(1-\rho ^{2})}}}\exp \left(-{\frac {1}{2{\color {blue}\sigma _{X}^{2}}(1-\rho ^{2})}}\left(\left(x-\mu _{X}\right)^{2}-2\rho \cdot {\frac {\color {blue}\sigma _{X}}{\sigma _{Y}}}(x-\mu _{X})(y-\mu _{Y})+\left({\color {purple}\rho }\cdot {\frac {\color {blue}\sigma _{X}}{\sigma _{Y}}}(y-\mu _{Y})\right)^{2}\right)\right)\\&={\frac {1}{\sqrt {2\pi \sigma _{X}^{2}(1-\rho ^{2})}}}\exp \left(-{\frac {1}{2\sigma _{X}^{2}(1-\rho ^{2})}}\left((x-\mu _{X})-\left(\rho \cdot {\frac {\sigma _{X}}{\sigma _{Y}}}(y-\mu _{Y})\right)\right)^{2}\right)\\&={\frac {1}{\sqrt {2\pi \sigma _{X}^{2}(1-\rho ^{2})}}}\exp \left(-{\frac {1}{2\sigma _{X}^{2}(1-\rho ^{2})}}\left(x-\mu _{X}-\rho \cdot {\frac {\sigma _{X}}{\sigma _{Y}}}(y-\mu _{Y})\right)^{2}\right)\end{aligned}}$

然后，我们可以看到 $X|(Y=y)\sim {\mathcal {N}}\left(\mu _{X}+\rho \cdot {\frac {\sigma _{X}}{\sigma _{Y}}}(y-\mu _{Y}),\sigma _{X}^{2}(1-\rho ^{2})\right)$ ,
并且，通过对称性（互换 $X$ 和 $Y$ ，以及互换 $x$ 和 $y$ ）， $Y|(X=x)\sim {\mathcal {N}}\left(\mu _{Y}+\rho \cdot {\frac {\sigma _{Y}}{\sigma _{X}}}(x-\mu _{X}),\sigma _{Y}^{2}(1-\rho ^{2})\right)$ .

$\Box$

概念的条件版本

我们可以通过将先前为“无条件”分布建立的概念的条件版本类推地应用于条件分布，方法是将“无条件”的累积分布函数 (cdf)、概率密度函数 (pdf) 或概率质量函数 (pmf)（即 $F(\cdot )$ 或 $f(\cdot )$ ）替换为它们的条件对应部分，即 $F(\cdot {\color {darkgreen}|\cdot })$ 或 $f(\cdot {\color {darkgreen}|\cdot })$ 。

条件独立性

定义. 随机变量 $X_{1},X_{2},\dotsc ,X_{n}$ 在给定 $Y=y$ 的情况下，条件独立，当且仅当 $F_{X_{1},\dotsc ,X_{n}{\color {darkgreen}|Y}}(x_{1},\dotsc ,x_{n}{\color {darkgreen}|y})=F_{X_{1}{\color {darkgreen}|Y}}(x_{1}{\color {darkgreen}|y})\dotsb F_{X_{n}{\color {darkgreen}|Y}}(x_{n}{\color {darkgreen}|y})$ 或者 $f_{X_{1},\dotsc ,X_{n}{\color {darkgreen}|Y}}(x_{1},\dotsc ,x_{n}{\color {darkgreen}|y})=f_{X_{1}{\color {darkgreen}|Y}}(x_{1}{\color {darkgreen}|y})\dotsb f_{X_{n}{\color {darkgreen}|Y}}(x_{n}{\color {darkgreen}|y})$ 。对于每个实数 $x_{1},\dotsc ,x_{n},{\color {darkgreen}y}$ 以及每个正整数 $n$ ，其中 $F_{X_{1},\dotsc ,X_{n}{\color {darkgreen}|Y}}$ 和 $f_{X_{1},\dotsc ,X_{n}{\color {darkgreen}|Y}}$ 分别表示 $(X_{1},\dotsc ,X_{n})$ 在给定 $Y=y$ 的条件下的联合累积分布函数和概率函数。

备注。

对于随机变量，条件独立和独立之间没有关系，也就是说其中一个不意味着另一个。

示例. （条件独立不意味着独立）TODO

示例. （独立不意味着条件独立）TODO

条件期望

定义。 （条件期望）设 $f_{X|Y}(x|y)$ 是 $X$ 在给定 $Y=y$ 时的条件概率函数。则， $\mathbb {E} [X{\color {darkgreen}|Y=y}]={\begin{cases}\displaystyle \sum _{x}^{}xf_{X{\color {darkgreen}|Y}}(x{\color {darkgreen}|y}),&X{\text{ is discrete}};\\\displaystyle \int _{-\infty }^{\infty }xf_{X{\color {darkgreen}|Y}}(x{\color {darkgreen}|y})\,dx,&X{\text{ is continuous}}.\end{cases}}$

备注。

$\mathbb {E} [X{\color {darkgreen}|Y=y}]$ 是 $y$ 的函数。
这个 随机变量 $\mathbb {E} [*{\color {darkgreen}|Y=Y}]$ ，在计算期望后成为了 $Y$ 的函数，简写为 $\mathbb {E} [*{\color {darkgreen}|Y}]$ ，其中 $*$ 代表相同项。
$\mathbb {E} [*{\color {darkgreen}|Y=y}]$ 是实现 $\mathbb {E} [*|Y]$ 当 $Y$ 被观察到为 $y$ ，其中 $*$ 指的是相同的项。

类似地，我们有无意识统计学家定律的条件版本。

命题。 (无意识统计学家定律 (条件版本)) 令 $f_{X|Y}(x|y)$ 为 $X$ 在给定 $Y=y$ 下的条件概率函数。那么，对于每个函数 $g(x)$ ， $\mathbb {E} [g(X){\color {darkgreen}|Y=y}]={\begin{cases}\displaystyle \sum _{x}^{}g(x)f_{X{\color {darkgreen}|Y}}(x{\color {darkgreen}|y}),&X{\text{ is discrete}};\\\displaystyle \int _{-\infty }^{\infty }g(x)f_{X{\color {darkgreen}|Y}}(x{\color {darkgreen}|y})\,dx,&X{\text{ is continuous}}.\end{cases}}$

命题。 (独立性下的条件期望) 如果随机变量 $X,Y$ 是独立的， $\mathbb {E} [g(X)|Y]=\mathbb {E} [g(X)]$ 对于每个函数 $g$ 。

证明： $\mathbb {E} [g(X)|Y]={\begin{cases}\displaystyle \sum _{x}^{}g(x)f_{X|Y}(x|Y)=\sum _{x}^{}g(x)f_{X}(x)=\mathbb {E} [g(X)],&X{\text{ is discrete}};\\\displaystyle \int _{-\infty }^{\infty }g(x)f_{X|Y}(x|Y)\,dx=\int _{-\infty }^{\infty }g(x)f_{X}(x)\,dx=\mathbb {E} [g(X)],&X{\text{ is continuous}}.\end{cases}}$

$\Box$

备注。

如果 $X,Y$ 不独立，则该等式可能不成立。

示例： 假设随机向量 $\mathbf {X} =(Y,Z)^{T}$ 其中 $Y,Z$ 是独立的随机变量，且 $g(\mathbf {x} )=y+z$ 。那么， $\mathbb {E} [g(\mathbf {X} )|Y]=\mathbb {E} [\underbrace {Y} _{{\text{constant given }}Y}+Z|Y]=Y+\mathbb {E} [Z],$ ( $Y$ 被视为常数，因为它是条件化的：在实现 $\mathbb {E} [Y+Z|Y]$ 后它就变成了常数）但 $\mathbb {E} [g(\mathbf {X} )]=\mathbb {E} [Y+Z]=\mathbb {E} [Y]+\mathbb {E} [Z]\neq \mathbb {E} [g(\mathbf {X} )|Y].$

$\mathbb {E} [\cdot ]$ 的性质仍然适用于条件期望 $\mathbb {E} [\cdot {\color {darkgreen}|Y}]$ ，其中所有“无条件”期望都被替换为“条件”期望，并进行了一些适当的修改，如下所示

命题. （条件期望的性质）对于每个随机变量 $Y$ ,

(线性) $\mathbb {E} [\underbrace {\alpha {\color {darkgreen}(Y)}} _{{\text{constant given }}Y}X_{1}+\underbrace {\beta {\color {darkgreen}(Y)}} _{{\text{constant given }}Y}X_{2}+\underbrace {\gamma {\color {darkgreen}(Y)}} _{{\text{constant given }}Y}{\color {darkgreen}|Y}]=\alpha {\color {darkgreen}(Y)}\mathbb {E} [X_{1}{\color {darkgreen}|Y}]+\beta {\color {darkgreen}(Y)}\mathbb {E} [X_{2}{\color {darkgreen}|Y}]+\gamma {\color {darkgreen}(Y)}$

对于每个函数

\alpha (Y),\beta (Y),\gamma (Y)

是

Y

的函数，以及每个随机变量

X_{1},X_{2}

(非负性) 如果 $X{\color {darkgreen}|Y}\geq 0$ , 那么 $\mathbb {E} [X{\color {darkgreen}|Y}]\geq 0$
(单调性) 如果 $X_{1}\geq X_{2}$ , 那么 $\mathbb {E} [X_{1}{\color {darkgreen}|Y}]\geq \mathbb {E} [X_{2}{\color {darkgreen}|Y}]$ 对于每个随机变量 $X_{1},X_{2}$
(三角不等式)

$|\mathbb {E} [X{\color {darkgreen}|Y}]|\leq \mathbb {E} [|X|{\color {darkgreen}|Y}]$

(在独立性下的乘法性) 如果 $X_{1},X_{2}$ 在给定 $Y$ 时条件独立，

$\mathbb {E} [X_{1}X_{2}{\color {darkgreen}|Y}]=\mathbb {E} [X_{1}{\color {darkgreen}|Y}]\mathbb {E} [X_{2}{\color {darkgreen}|Y}]$

证明。 证明与“无条件”期望的证明类似。

$\Box$

备注。

$\alpha (Y),\beta (Y),\gamma (Y)$ 在给定 $Y$ 时被视为常数给定，因为在观察到 $Y$ 的值后，它们不能被改变。
每个结果在用随机向量 $(Y_{1},\dotsc ,Y_{s})^{T}$ 替换 $Y$ 时仍然成立。

关于条件期望的以下定理非常重要。

定理。 (全期望定律) 对于每个函数 $g(x)$ 和每个随机变量 $X,Y$ ， $\mathbb {E} {\big [}\underbrace {\mathbb {E} [g(X)|Y]} _{{\text{function of }}y}{\big ]}=\mathbb {E} [g(X)].$

证明。 $\mathbb {E} [\mathbb {E} [g(X)|Y]]={\begin{cases}\displaystyle \sum _{y}^{}\mathbb {E} [g(X)|Y=y]f_{Y}(y)=\sum _{x}^{}{\bigg (}\sum _{y}^{}g(x)\overbrace {f_{X|Y}(x|y)} ^{f(x,y){\cancel {/f_{Y}(y)}}}{\cancel {f_{Y}(y)}}{\bigg )}=\sum _{x}^{}g(x){\bigg (}\overbrace {\sum _{y}^{}f(x,y)} ^{f_{X}(x)}{\bigg )}=\mathbb {E} [g(X)],&X{\text{ is discrete}};\\\displaystyle \int _{-\infty }^{\infty }\mathbb {E} [g(X)|Y=y]f_{Y}(y)\,dy=\int _{-\infty }^{\infty }{\bigg (}\int _{-\infty }^{\infty }g(x)\underbrace {f_{X|Y}(x|y)} _{f(x,y){\cancel {/f_{Y}(y)}}}\,dx{\bigg )}{\cancel {f_{Y}(y)}}\,dy=\int _{-\infty }^{\infty }g(x){\bigg (}\underbrace {\int _{-\infty }^{\infty }f(x,y)\,dy} _{f_{X}(x)}{\bigg )}\,dx=\mathbb {E} [g(X)],&X{\text{ is continuous}}.\end{cases}}$

$\Box$

备注。

我们可以用 $g(X,Y,Z,\dotsc )$ 代替 $g(X)$ ，得到

$\mathbb {E} [g(X,Y,Z,\dotsc )]=\mathbb {E} [\mathbb {E} [g(X,{\color {darkgreen}Y},Z,\dotsc ){\color {darkgreen}|Y}]]=\mathbb {E} [\mathbb {E} [g(X,{\color {darkgreen}Y,Z,\dotsc |Y,Z,\dotsc }]]=\dotsb$

推论. （全概率公式的推广）对于每一个事件 $A$ ， $\mathbb {E} _{Y}[\mathbb {P} (A|{\color {darkgreen}Y})]=\mathbb {P} (A).$

证明。

首先，

$\mathbb {E} [\mathbf {1} \{A\}|Y]=1(\mathbb {P} (\mathbf {1} \{A\}=1|Y)+0(\mathbb {P} (\mathbf {1} \{A\}=0|Y)=\mathbb {P} (A|Y).$

然后，根据全期望公式，

$\mathbb {E} _{Y}[\mathbb {P} (A|{\color {darkgreen}Y})]{\overset {\text{ above }}{=}}\mathbb {E} _{Y}[\mathbb {E} [\mathbf {1} \{A\}|{\color {darkgreen}Y}]]=\mathbb {E} [\mathbf {1} \{A\}]=\mathbb {P} (A).$

$\Box$

备注。

期望是针对 $Y$ 计算的，所以我们使用 $\mathbb {E} _{Y}[\cdot ]$ 符号。如果需要，我们会使用类似的符号来表示期望计算所针对的随机变量。
我们可以用 $(Y_{1},\dotsc ,Y_{s})$ 替换 $Y$ ，它是一个随机向量。
如果 $Y$ 是 离散的，则结果的展开形式是 $\sum _{i}^{}\mathbb {P} (A|{\color {darkgreen}Y=i})\mathbb {P} ({\color {darkgreen}Y=i})=\mathbb {P} (A)$ （全概率公式的离散情况）。
如果 $Y$ 是连续的，那么结果的展开形式为 $\int _{\operatorname {supp} (Y)}\mathbb {P} (A|{\color {darkgreen}Y=y})f_{Y}(y)\,dy=\mathbb {P} (A)$ （全概率公式的连续情况）。

推论。（全概率公式的期望版本）假设样本空间 $\Omega =A_{1}\cup A_{2}\cup \dotsb$ ，其中 $A_{i}$ 是互斥的。那么， $\mathbb {E} [X]=\mathbb {E} [X|A_{1}]\mathbb {P} (A_{1})+\mathbb {E} [X|A_{2}]\mathbb {P} (A_{2})+\dotsb .$

证明。 定义 $Y=i$ 如果 $A_{i}$ 发生，其中 $i$ 是一个正整数。那么， $\mathbb {E} [X]=\mathbb {E} _{Y}[\mathbb {E} _{X}[X|Y]]=\sum _{i=1}^{\infty }\mathbb {E} _{X}[X|Y=i]\mathbb {P} (Y=i)=\sum _{i=1}^{\infty }\mathbb {E} [X|A_{i}]\mathbb {P} (A_{i})$

$\Box$

备注。

事件的数量可以是有限的，只要它们是互斥的，并且它们的并集是整个样本空间
如果 $X=\mathbf {1} \{B\}$ ，它简化为 全概率公式

示例。 令 $X$ 是人类身高（单位：米）。从一个由 相同数量 的男性和女性组成的群体中随机选择一个人。假设男性的平均身高是 1.8 米，女性的平均身高是 1.7 米，那么整个人口的平均身高是 $\mathbb {E} [X]=\mathbb {E} [X|\{{\text{man selected}}\}]\mathbb {P} ({\text{man selected}})+\mathbb {E} [X|\{{\text{woman selected}}\}]\mathbb {P} ({\text{woman selected}})=1.8(1/2)+1.7(1/2)=1.75$

推论。 (条件期望公式) 对于每个随机变量 $X$ 和事件 $A$ ，其中 $\mathbb {P} (A)>0$ ， $\mathbb {E} [X|A]={\frac {\mathbb {E} [X\mathbf {1} \{A\}]}{\mathbb {P} (A)}}.$

证明。 根据条件期望加权平均计算期望的公式， $\mathbb {E} [X\mathbf {1} \{A\}]=\mathbb {E} [X\underbrace {\mathbf {1} \{A\}} _{1}|A]\mathbb {P} (A)+\mathbb {E} [X\underbrace {\mathbf {1} \{A\}} _{0}|A^{c}]\mathbb {P} (A^{c})=\mathbb {E} [X|A]\mathbb {P} (A),$ ，如果 $\mathbb {P} (A)>0$ ，则结果成立。

$\Box$

备注。

如果 $X=\mathbf {1} \{B\}$ ，它将简化为条件概率 $\mathbb {P} (B|A)$ 的定义，这是概率和期望之间的基本桥梁。

定义了条件期望后，我们也可以有条件方差、协方差和相关系数，因为方差、协方差和相关系数都是基于期望构建的。

双变量正态分布的条件期望

命题。 （双变量正态分布的条件期望）令 $(X,Y)^{T}\sim {\mathcal {N}}_{2}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})$ . 那么， $\mathbb {E} [X|Y=y]=\mathbb {E} [X]+\rho (X,Y)\cdot {\frac {\sqrt {\operatorname {Var} (X)}}{\sqrt {\operatorname {Var} (Y)}}}(y-\mathbb {E} [Y]),{\text{ and }}\mathbb {E} [Y|X=x]=\mathbb {E} [Y]+\rho (X,Y)\cdot {\frac {\sqrt {\operatorname {Var} (Y)}}{\sqrt {\operatorname {Var} (X)}}}(x-\mathbb {E} [X]).$

证明。

该结果直接从关于双变量正态分布的条件分布的命题得出。

$\Box$

条件方差

定义。 （条件方差）随机变量 $X$ 在给定 $Y=y$ 的条件下的条件方差是 $\operatorname {Var} (X{\color {darkgreen}|Y=y})=\mathbb {E} [(X-\mathbb {E} [X{\color {darkgreen}|Y=y}])^{2}{\color {darkgreen}|Y=y}].$

类似地，我们有条件方差的性质，它们与方差的性质类似。

命题。 （条件方差的性质）对于每个随机变量 $X,Y$ ，

（条件方差的替代公式） $\operatorname {Var} (X{\color {darkgreen}|Y})=\mathbb {E} [X^{2}{\color {darkgreen}|Y}]-(\mathbb {E} [X{\color {darkgreen}|Y}])^{2}$
（在位置参数变化下不变） $\operatorname {Var} (X+a{\color {darkgreen}(Y)}{\color {darkgreen}|Y})=\operatorname {Var} (X{\color {darkgreen}|Y})$
（二阶齐次性） $\operatorname {Var} (b{\color {darkgreen}(Y)}X{\color {darkgreen}|Y})=\left(b{\color {darkgreen}(Y)}\right)^{2}\operatorname {Var} (X{\color {darkgreen}|Y})$
(非负性) $\operatorname {Var} (X{\color {darkgreen}|Y})\geq 0$
(零方差意味着非随机性) $\operatorname {Var} (X{\color {darkgreen}|Y})=0\Leftrightarrow \mathbb {P} (X=c{\color {darkgreen}(Y)|Y})=1$ 对于某个 $c(Y)$ 函数的 $Y$
(独立性下的可加性) 如果 $X_{1},\dotsc ,X_{n}$ 在给定 $Y$ 条件下是独立的， $\operatorname {Var} (X_{1}+\dotsb +X_{n}{\color {darkgreen}|Y})=\operatorname {Var} (X_{1}{\color {darkgreen}|Y})+\dotsb +\operatorname {Var} (X_{n}{\color {darkgreen}|Y})$

证明. 证明类似于方差性质的证明。

$\Box$

除了全期望公式，我们还有全方差公式，如下

命题. (全方差公式) 对于每个随机变量 $X,Y$ ， $\operatorname {Var} (X)=\mathbb {E} [\operatorname {Var} (X|Y)]+\operatorname {Var} (\mathbb {E} [X|Y]).$

证明。 ${\begin{aligned}\mathbb {E} [\operatorname {Var} (X|Y)]+\operatorname {Var} (\mathbb {E} [X|Y])&=\mathbb {E} \left[\mathbb {E} [X^{2}|Y]-(\mathbb {E} [X|Y])^{2}\right]+\mathbb {E} \left[(\mathbb {E} [X|Y])^{2}\right]-(\mathbb {E} [\mathbb {E} [X|Y]])^{2}\\&=\mathbb {E} [\mathbb {E} [X^{2}|Y]]{\cancel {+\mathbb {E} \left[(\mathbb {E} [X|Y])^{2}\right]}}+\mathbb {E} \left[(\mathbb {E} [X|Y])^{2}\right]{\cancel {-(\mathbb {E} [\mathbb {E} [X|Y]])^{2}}}\\&=\mathbb {E} [X^{2}]-(\mathbb {E} [X])^{2}\qquad {\text{by law of total expectation}}\\&=\operatorname {Var} (X)\end{aligned}}$

$\Box$

备注。

我们可以用 $(Y_{1},\dotsc ,Y_{s})^{T}$ ，一个随机向量，来替换 $Y$ 。

二元正态分布的条件方差

命题。 （二元正态分布的条件方差）令 $(X,Y)^{T}\sim {\mathcal {N}}_{2}({\boldsymbol {\mu }},{\boldsymbol {\Sigma }})$ 。那么， $\operatorname {Var} (X|Y=y)={\big (}1-(\rho (X,Y))^{2}{\big )}\operatorname {Var} (X),{\text{ and }}\operatorname {Var} (Y|X=x)={\big (}1-(\rho (X,Y)^{2}{\big )}\operatorname {Var} (Y)$

证明。

这个结果可以直接从关于二元正态分布条件分布的命题中得出。

$\Box$

备注。

可以观察到，条件中的 $x$ 和 $y$ 的精确值并不重要。对于不同的值，结果是相同的。

条件协方差

定义。（条件协方差） $X$ 和 $Y$ 在给定 $Z=z$ 的条件协方差为 $\operatorname {Cov} (X,Y{\color {darkgreen}|Z=z})=\mathbb {E} [(X-\mathbb {E} [X{\color {darkgreen}|Z=z}])(Y-\mathbb {E} [Y{\color {darkgreen}|Z=z}]){\color {darkgreen}|Z=z}]$

命题。（条件协方差的性质）

(i) (symmetry) for each random variable $X,Y$ , $\operatorname {Cov} (X,Y{\color {darkgreen}|Z})=\operatorname {Cov} (Y,X{\color {darkgreen}|Z})$ (ii) for each random variable $X$ , $\operatorname {Cov} (X,X{\color {darkgreen}|Z})=\operatorname {Var} (X{\color {darkgreen}|Z})$ (iii) (alternative formula of covariance) $\operatorname {Cov} (X,Y{\color {darkgreen}|Z})=\mathbb {E} [XY{\color {darkgreen}|Z}]-\mathbb {E} [X{\color {darkgreen}|Z}]\mathbb {E} [Y{\color {darkgreen}|Z}]$ (iv) for each constant $a_{1},\dotsc ,a_{n},b_{1},\dotsc ,b_{m},c,d$ , and for each random variables $X_{1},\dotsc ,X_{n},Y_{1},\dotsc ,Y_{m}$ , $\operatorname {Cov} \left(\sum _{i=1}^{n}(a_{i}X_{i}+c),\sum _{j=1}^{m}(b_{j}Y_{j}+d){\color {darkgreen}|Z}\right)=\sum _{i=1}^{n}\sum _{j=1}^{m}a_{i}b_{j}\operatorname {Cov} (X_{1},Y_{j}{\color {darkgreen}|Z})$ (v) for each random variable $X_{1},\dotsc ,X_{n}$ , $\operatorname {Var} (X_{1}+\dotsb +X_{n}{\color {darkgreen}|Z})=\sum _{i=1}^{n}\operatorname {Var} (X_{i}{\color {darkgreen}|Z})+2\sum _{1\leq i<j\leq n}^{}\operatorname {Cov} (X_{i},Y_{j}{\color {darkgreen}|Z})$

条件相关系数

定义。（条件相关系数）随机变量 $X$ 和 $Y$ 在给定 $Z=z$ 的条件相关系数为 $\rho (X,Y{\color {darkgreen}|Z=z})={\frac {\operatorname {Cov} (X,Y{\color {darkgreen}|Z=z})}{\sqrt {\operatorname {Var} (X{\color {darkgreen}|Z=z})\operatorname {Var} (Y{\color {darkgreen}|Z=z})}}}.$