概率/分布的性质

引言

回想一下，pdf（或 cdf）描述了随机变量完全的随机行为。然而，我们有时会发现 pdf（或 cdf）过于复杂，只想知道关于随机变量的一些部分信息。鉴于此，我们在本章中研究了一些分布的性质，这些性质提供了随机变量随机行为的部分描述。

此类部分描述的一些示例包括

• 位置（例如，pdf 位于左侧还是右侧？），
• 分散度（例如，pdf 是“尖锐”还是“扁平”？），
• 偏度（例如，pdf 是对称的，向左偏斜还是向右偏斜？），以及
• 尾部性质（例如，pdf 具有“轻”尾部还是“重”尾部？）。

我们可以定性地描述它们，但此类描述非常主观且不准确。为了给出这些描述更客观和准确的度量，我们使用从随机变量的 pdf（或 cdf）中推导出的某些定量度量定量地评估它们。

我们将在本章中讨论一些此类定量度量。其中，期望是最重要的一个，因为许多其他性质都基于期望的概念。

期望

期望有不同的替代名称，例如预期值和均值。

定义。（期望）随机变量$X$的期望是

(i) (如果$X$是离散的)$$\mathbb {E} [X]=\sum _{x\in \operatorname {supp} (X)}^{}x\mathbb {P} (X=x)=\sum _{x\in \operatorname {supp} (X)}^{}x\underbrace {f(x)} _{\text{pmf}}$$，其中$f$ 是$X$ 的 pmf；

(ii) (如果$X$ 是连续的)$$\mathbb {E} [X]=\int _{-\infty }^{\infty }x\underbrace {f(x)} _{\text{pdf}}\,dx$$，其中$f$ 是$X$ 的 pdf；

(iii) (如果 $X$ 是混合的) 如果 $$X={\begin{cases}{\text{discrete random variable}}\;V\;{\text{with probability}}\;\alpha ,\\{\text{continuous random variable}}\;W\;{\text{with probability}}\;1-\alpha ,\end{cases}}$$ $$\mathbb {E} [X]=\alpha \mathbb {E} [V]+(1-\alpha )\mathbb {E} [W]=\alpha \sum _{u\in \operatorname {supp} (X)}^{}v\underbrace {f_{V}(v)} _{\text{pmf}}+(1-\alpha )\int _{-\infty }^{\infty }w\underbrace {f_{W}(w)} _{\text{pdf}}\,dw,$$ 其中 $f_{V}$ 是 $V$ 的 pmf，而 $f_{W}$ 是 $W$ 的 pdf。

备注。

• $X$ 的期望是我们对 $X$ 值的 预期，如果我们要对 $X$ 进行观测。
• 它实际上是 $X$ 所有可能取值（即 $\operatorname {supp} (X)$）的 加权平均，其中对 pmf 或 pdf 值更高 的点赋予 更重的 权重。
• 期望告诉我们 $X$ 分布的“中心”，以及 $X$ 在 长期 生成时的“平均”位置。
• 实际上，“$\in \operatorname {supp} (X)$” 是不需要的，因为对于不在其支持范围内的输入，pmf 或 pdf 将为零。

示例： 假设 $X$ 是掷一次公平的六面骰子后朝上的数字。那么，$X$ 的期望值为 $$\mathbb {E} [X]=1[\underbrace {\mathbb {P} (X=1)} _{1/6}]+2[\underbrace {\mathbb {P} (X=2)} _{1/6}]+\cdots +6[\underbrace {\mathbb {P} (X=6)} _{1/6}]=3.5.$$ 如果骰子是不公平的，并且数字“6”朝上的概率变成 0.5，而其他五个数字朝上的概率相等，那么 $X$ 的期望值将变成 $$\mathbb {E} [X]=1[\underbrace {\mathbb {P} (X=1)} _{0.1}]+2[\underbrace {\mathbb {P} (X=2)} _{0.1}]+\cdots +5[\underbrace {\mathbb {P} (X=5)} _{0.1}]+6[\underbrace {\mathbb {P} (X=6)} _{0.5}]=4.5.$$

示例。 （均匀分布的期望）设 $X\sim {\mathcal {U}}[a,b]$，为参数为 $a$ 和 $b$ 的均匀分布。那么，$X$ 的概率密度函数为 $$f(x)={\frac {\mathbf {1} \{x\in [a,b]\}}{b-a}},$$，$X$ 的期望为 $$\mathbb {E} [X]=\int _{-\infty }^{\infty }x{\frac {\mathbf {1} \{x\in [a,b]\}}{b-a}}\,dx={\frac {1}{b-a}}\underbrace {\int _{a}^{b}x\,dx} _{b^{2}/2-a^{2}/2}={\frac {b^{2}-a^{2}}{2(b-a)}}={\frac {{\cancel {(b-a)}}(b+a)}{2{\cancel {(b-a)}}}}={\frac {a+b}{2}}.$$

练习。 在一个过程中，我们首先抛一次 不公平 的硬币，正面朝上的概率为 $p$。如果第一次抛掷正面朝上，我们再抛一次 另一个不公平 的硬币，正面朝上的概率为 $q$。如果第一次抛掷反面朝上，我们向地面抛射一支箭。设 $X$ 为所有抛掷中 正面 的次数，$Y$ 为箭头的方向与正北方向之间的 角度，以弧度逆时针测量，$Z$ 为该过程最终得到的数字。假设 $Y\sim {\mathcal {U}}[0,2\pi )$。

1 选择 $\mathbb {E} [X]$ 的正确表达式。

	$p$
	$q$
	$p+q$
	$(1-p)(1-q)+p(1-q)+q(1-p)+2pq$
	$2p(1-q)+2pq$

2 选择 $\mathbb {E} [Y]$ 的正确表达式。

	$\pi$
	$p\pi$
	$q\pi$
	$(1-p)\pi$
	$(1-q)\pi$

3 选择 $\mathbb {E} [Z]$ 的正确表达式。

	$pq+(1-p)\pi$
	$p(p+q)+(1-p)\pi$
	$pq+(1-p)q\pi$
	$p(p+q)+(1-p)p\pi$

4 如果两枚硬币是 公平的，选择正确的陈述。

	$\mathbb {E} [Z]$ 增加。
	$\mathbb {E} [Z]$ 减少。
	的变化$\mathbb {E} [Z]$取决于$p$和$q$的值。
	$\mathbb {E} [Y]$保持不变。
	$\mathbb {E} [Z]$增加如果$p=q=1/3$.

接下来，我们将介绍一个有用的结果，它给出了期望和概率之间的关系。我们可以利用这个结果，用期望来简化概率的计算。

命题. (概率和期望之间的基本桥梁) 对于每个事件$E\subseteq \Omega$, $$\mathbb {E} [\mathbf {1} \{E\}]=\mathbb {P} (E).$$

证明. 令$X=\mathbf {1} \{E\}$。因为$X=\mathbf {1} \{E\}\sim \operatorname {Ber} (\mathbb {P} (E))$ (这是一个离散随机变量)，$$\mathbb {E} [X]=0[\mathbb {P} (X=0)]+1[\mathbb {P} (X=1)]=\mathbb {P} (\mathbf {1} \{E\}=1)=\mathbb {P} (E).$$

$\Box$

当涉及多个随机变量时，我们可以先推导出联合pmf或pdf来计算期望，但这可能非常困难和复杂。实际上，我们更常使用以下定理。

定理. (无意识统计学家法则(LOTUS)) 令$X_{1},\ldots ,X_{n}$为随机变量。定义$Y=g(X_{1},\ldots ,X_{n})$ 对于一个函数$g$。那么，

(i) (如果 $Y$ 是离散的) $$\mathbb {E} [Y]=\sum _{x_{1}}^{}\cdots \sum _{x_{n}}^{}g(x_{1},\ldots ,x_{n})\underbrace {f(x_{1},\ldots ,x_{n})} _{\text{joint pmf}},$$ 其中 $f$ 是 $(X_{1},\ldots ,X_{n})$ 的联合概率质量函数；

(ii) (如果 $Y$ 是连续的) $$\mathbb {E} [Y]=\int _{-\infty }^{\infty }\cdots \int _{-\infty }^{\infty }g(x_{1},\ldots ,x_{n})\underbrace {f(x_{1},\ldots ,x_{n})} _{\text{joint pdf}}\,dx_{1}\cdots \,dx_{n},$$ 其中 $f$ 是 $(X_{1},\ldots ,X_{n})$ 的联合概率密度函数。

备注。

• 如果 $Y$ 是混合的，我们可以应用期望的定义，并使用上面两个关于离散和连续随机变量的期望的结果。
• 这个定理被称为 无意识统计学家定律，因为我们经常倾向于使用这个等式而不意识到它是一个定理的结果，而不是一个定义。
• 这个定理也适用于只有一个随机变量的情况（联合概率质量函数和概率密度函数变成普通概率质量函数和概率密度函数），例如：

$$\mathbb {E} [g(X)]=\int _{-\infty }^{\infty }g(x)f(x)\,dx$$

证明相当复杂，因此我们跳过它。接下来，我们将介绍期望的几个性质，这些性质可以帮助我们简化期望的计算。

命题。 (期望的性质) 对于每个常数 $\alpha ,\beta ,\gamma$ 和随机变量 $X,Y$,

• (线性) $\mathbb {E} [\alpha X+\beta Y+\gamma ]=\alpha \mathbb {E} [X]+\beta \mathbb {E} [Y]+\gamma$;
• (非负性) 如果 $X\geq 0$, $\mathbb {E} [X]\geq 0$;
• (单调性) 如果 $X\geq Y$, $\mathbb {E} [X]\geq \mathbb {E} [Y]$;
• (三角不等式) $|\mathbb {E} [X]|\leq \mathbb {E} [|X|]$;
• (独立性下的乘法性) 如果 $X,Y$ 是独立的, $\mathbb {E} [XY]=\mathbb {E} [X]\mathbb {E} [Y]$.

证明。

线性:

对于连续随机变量 $X,Y$，$${\begin{aligned}\mathbb {E} [\alpha X+\beta Y+\gamma ]=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }(\alpha x+\beta y+\gamma )\underbrace {f(x,y)} _{\text{joint pdf}}\,dx\,dy&=\alpha \int _{-\infty }^{\infty }x\underbrace {\int _{-\infty }^{\infty }f(x,y)\,dy} _{{\text{marginal pdf of }}X}\,dx+\beta \int _{-\infty }^{\infty }y\underbrace {\int _{-\infty }^{\infty }f(x,y)\,dx} _{{\text{margianl pdf of }}Y}\,dy+\gamma \underbrace {\int _{-\infty }^{\infty }f(x,y)\,dx\,dy} _{1}\\&=\alpha \underbrace {\int _{-\infty }^{\infty }xf_{X}(x)\,dx} _{\mathbb {E} [X]}+\beta \underbrace {\int _{-\infty }^{\infty }yf_{Y}(y)\,dy} _{\mathbb {E} [Y]}+\gamma \\&=\alpha \mathbb {E} [X]+\beta \mathbb {E} [Y]+\gamma .\end{aligned}}$$ 类似地，对于离散随机变量 $X,Y$，$${\begin{aligned}\mathbb {E} [\alpha X+\beta Y+\gamma ]&=\sum _{x}^{}\sum _{y}^{}(\alpha x+\beta y+\gamma )f(x,y)\\&=\alpha \sum _{x}^{}x\sum _{y}^{}f(x,y)+\beta \sum _{y}^{}y\sum _{x}^{}f(x,y)+\gamma \sum _{x}^{}\sum _{y}^{}f(x,y)\\&=\alpha \sum _{x}^{}f_{X}(x)+\beta \sum _{y}^{}f_{Y}(y)+\gamma (1)\\&=\alpha \mathbb {E} [X]+\beta \mathbb {E} [Y]+\gamma .\end{aligned}}$$

非负性:

对于连续随机变量$X$，$$\underbrace {\int _{0}^{\infty }} _{\because X\geq 0}xf_{X}(x)\geq 0.$$类似地，对于离散随机变量$X$，$$\underbrace {\sum _{x\geq 0}^{}} _{\because X\geq 0}xf_{X}(x)\geq 0.$$

单调性:

对于随机变量$X,Y$，它们要么都是离散的，要么都是连续的，$$X\geq Y\Rightarrow X-Y\geq 0\Rightarrow \mathbb {E} [X]-\mathbb {E} [Y]{\overset {\text{linearity}}{=}}\mathbb {E} [X-Y]{\overset {\text{nonnegativity}}{\geq }}0.$$

三角不等式:

$$-|X|\leq X\leq |X|{\overset {\text{monotonicity}}{\Rightarrow }}-{\color {green}\mathbb {E} [}|X|{\color {green}]}\leq {\color {green}\mathbb {E} [}X{\color {green}]}\leq {\color {green}\mathbb {E} [}|X|{\color {green}]}$$

独立性下的乘法性:

对于连续随机变量 $X,Y$，$$\mathbb {E} [XY]=\int _{-\infty }^{\infty }\int _{-\infty }^{\infty }xy\underbrace {f(x,y)} _{\text{joint pdf}}\,dx\,dy={\color {red}\int _{-\infty }^{\infty }}{\color {blue}\int _{-\infty }^{\infty }x}{\color {red}y}\underbrace {{\color {blue}f_{X}(x)}{\color {red}f_{Y}(y)}} _{\text{marginal pdf's}}{\color {blue}\,dx}{\color {red}\,dy}={\color {red}\int _{-\infty }^{\infty }yf_{Y}(y)}\underbrace {\color {blue}\int _{-\infty }^{\infty }xf_{X}(x)\,dx} _{{\text{independent from }}y}{\color {red}\,dy}={\color {blue}\int _{-\infty }^{\infty }xf_{X}(x)\,dx}{\color {red}\int _{-\infty }^{\infty }yf_{Y}(y)\,dy}=\mathbb {E} [X]\mathbb {E} [Y].$$ 同样地，对于离散随机变量 $X,Y$，$$\mathbb {E} [XY]=\sum _{x}^{}\sum _{y}^{}xy\underbrace {f(x,y)} _{\text{joint pmf}}={\color {red}\sum _{y}^{}}{\color {blue}\sum _{x}^{}x}{\color {red}y}\underbrace {{\color {blue}f_{X}(x)}{\color {red}f_{Y}(y)}} _{\text{marginal pmf's}}=\left({\color {blue}\sum _{x}^{}xf_{X}(x)}\right)\left({\color {red}\sum _{y}^{}yf_{Y}(y)}\right)=\mathbb {E} [X]\mathbb {E} [Y].$$

$\Box$

备注。

• (非乘法性) $\mathbb {E} [XY]\neq \mathbb {E} [X]\mathbb {E} [Y]$ 一般情况下.
• 当期望内部的函数为非线性函数时，我们不能类似地应用线性性质。例如，$\mathbb {E} [2^{X}]\neq 2^{\mathbb {E} [X]}$ 一般情况下。
• 从线性性质，我们可以看到常数的期望值就是常数本身。这是直观的，因为我们对常数的期望值就是常数本身。
• 独立性下乘法性的逆命题在一般情况下是正确的，但并不总是成立。对于某些特殊的相关随机变量，逆命题不成立。

离散随机变量某些分布的均值

命题. (伯努利和二项式随机变量的均值) 设 $X\sim \operatorname {Ber} (p)$ 且 $Y\sim \operatorname {Binom} (n,p)$. 那么，$\mathbb {E} [X]=p$，且 $\mathbb {E} [Y]=np$.

证明。

• $\mathbb {E} [X]=\underbrace {0\cdot \mathbb {P} (X=0)} _{=0}+1\cdot \underbrace {\mathbb {P} (X=1)} _{=p}=p$.
• 因为 $Y=X_{1}+\dotsb +X_{n}$，其中 $X_{1},\dotsc ,X_{n}$ 是独立同分布的，服从 $\operatorname {Ber} (p)$ ,
• $\mathbb {E} [Y]=\mathbb {E} [X_{1}+\dotsb +X_{n}]{\overset {\text{ linearity }}{=}}\mathbb {E} [X_{1}]+\dotsb +\mathbb {E} [X_{n}]=\underbrace {p+\dotsb +p} _{n{\text{ times}}}=np$.

$\Box$

命题。 (泊松随机变量的均值) 令 $X\sim \operatorname {Pois} (\lambda )$. 则 $\mathbb {E} [X]=\lambda .$

证明。 $$\mathbb {E} [X]=\sum _{k=0}^{\infty }k\underbrace {\left({\frac {\lambda ^{k}e^{-\lambda }}{k!}}\right)} _{\mathbb {P} (X=k)}=\lambda \left(0+\sum _{\underbrace {\color {blue}k=1} _{k-1=0}}^{\infty }\underbrace {{\cancel {k}}\left({\frac {\lambda ^{k-1}e^{-\lambda }}{{\cancel {k}}(k-1)!}}\right)} _{\mathbb {P} (X=k-1)}\right)=\lambda (0+1)=\lambda .$$

$\Box$

命题。 (几何随机变量和负二项式随机变量的均值) 令 $X\sim \operatorname {Geo} (p)$ 和 $Y\sim \operatorname {NB} (k,p)$ . 则 $\mathbb {E} [X]={\frac {1-p}{p}}$, 以及 $\mathbb {E} [Y]={\frac {k(1-p)}{p}}$.

证明。

• 由于

$${\begin{aligned}\mathbb {E} [X]&=\sum _{k=0}^{\infty }k\underbrace {(1-p)^{k}p} _{\mathbb {P} (X=k)}\\&=\sum _{k=0}^{\infty }(k-1)(1-p)^{k}p+\overbrace {\sum _{k=0}^{\infty }\underbrace {(1-p)^{k}p} _{\mathbb {P} (X=k)}} ^{=1}\\&=\underbrace {\color {blue}(0-1)(1-p)^{0}p} _{=-p}+\left((1-p)\sum _{\color {blue}k-1=0}^{\infty }(k-1)(1-p)^{k-1}p\right)+1\\&=-p+(1-p)\mathbb {E} [X]+1,\\\end{aligned}}$$

• 因此，$\;p\mathbb {E} [X]=1-p\Rightarrow \mathbb {E} [X]={\frac {1-p}{p}}.$.
• 由于$Y=X_{1}+\dotsb +X_{k}$，其中$X_{1},\dotsc ,X_{k}$ 是 i.i.d.，并服从$\operatorname {Geo} (p)$ ,
• $\mathbb {E} [Y]=\mathbb {E} [X_{1}]+\dotsb +\mathbb {E} [X_{k}]=\underbrace {{\frac {1-p}{p}}+\dotsb +{\frac {1-p}{p}}} _{k{\text{ times}}}={\frac {k(1-p)}{p}}.$

$\Box$

命题. （超几何随机变量的均值）设$X\sim \operatorname {HypGeo} (N,K,n)$。那么，$\mathbb {E} [X]=nK/N$.

证明。

• 由于$X=X_{1}+\dotsb +X_{n}$，其中$X_{1},\dotsc ,X_{n}\sim \operatorname {Ber} (K/N)$ （每个伯努利随机变量指示相应的球是否为类型 1，概率为 $K/N$，而不知道其他抽取的结果 ，因为每次抽取都等可能地是 $N$ 个球中的任何一个） ，
• 因此，$\mathbb {E} [X]=\mathbb {E} [X_{1}]+\dotsb +\mathbb {E} [X_{n}]=\underbrace {{\frac {K}{N}}+\dotsb +{\frac {K}{N}}} _{n{\text{ times}}}={\frac {nK}{N}}.$

$\Box$

连续随机变量的一些分布的均值

我们将介绍一些连续随机变量分布的均值公式，这些公式相对简单。

命题.（均匀随机变量的均值）设 $X\sim {\mathcal {U}}[a,b]$（$a<b$）。则，$\mathbb {E} [X]={\frac {a+b}{2}}$.

证明. $$\mathbb {E} [X]=\int _{a}^{b}{\frac {x}{b-a}}\,dx={\frac {1}{2(b-a)}}(b^{2}-a^{2})={\frac {{\cancel {(b-a)}}(b+a)}{2{\cancel {(b-a)}}}}.$$

$\Box$

命题.（伽马、指数和卡方随机变量的均值）设 $X\sim \operatorname {Gamma} (\alpha ,\lambda )$，$Y\sim \operatorname {Exp} (\lambda )$，以及 $Z\sim \chi _{\nu }^{2}$。则，$\mathbb {E} [X]=\alpha /\lambda$，$\mathbb {E} [Y]=1/\lambda$，以及 $\mathbb {E} [Z]=\nu$.

证明。

• 证明伽马随机变量均值公式就足够了，因为指数和卡方随机变量本质上是伽马随机变量的特例，因此我们可以简单地将一些值代入伽马随机变量均值公式中，得到它们的公式。
• $${\begin{aligned}\mathbb {E} [X]&=\int _{0}^{\infty }{\color {red}x}\cdot {\frac {\lambda ^{\alpha }x^{\alpha -1}e^{-\lambda x}}{\Gamma (\alpha )}}\,dx\\&={\frac {\color {purple}\alpha }{\color {blue}\lambda }}\underbrace {\int _{0}^{\infty }{\frac {\lambda ^{\alpha {\color {blue}+1}}x^{\alpha {\color {red}+1}-1}e^{-\lambda x}}{\Gamma (\alpha {\color {purple}+1})}}\,dx} _{=F(\infty )=1},&F{\text{ is the cdf of }}\operatorname {Gamma} (\alpha +1,\lambda ),\\&={\frac {\alpha }{\lambda }}.\\\end{aligned}}$$
• 由于 $\operatorname {Exp} (\lambda )\equiv \operatorname {Gamma} (1,\lambda )$，将 $\alpha =1$ 代入，则 $\mathbb {E} [Y]=1/\lambda$。
• 由于 $\chi _{\nu }^{2}\equiv \operatorname {Gamma} (\nu /2,1/2)$，将 $\alpha =\nu /2$ 和 $\lambda =1/2$ 代入，则 $\mathbb {E} [Z]=(\nu {\cancel {/2}})/{\cancel {(1/2)}}=\nu$。

$\Box$

命题. （贝塔随机变量的均值）令 $X\sim \operatorname {Beta} (\alpha ,\beta )$。那么，$\mathbb {E} [X]={\frac {\alpha }{\alpha +\beta }}$。

证明。

• 我们使用与之前证明类似的方法。

$${\begin{aligned}\mathbb {E} [X]&=\int _{0}^{1}{\color {red}x}\cdot {\frac {\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}}x^{\alpha -1}(1-x)^{\beta -1}\,dx\\&={\frac {\color {purple}\alpha }{\color {blue}\alpha +\beta }}\underbrace {\int _{0}^{1}{\frac {\Gamma (\alpha +\beta {\color {blue}+1})}{\Gamma (\alpha {\color {purple}+1})\Gamma (\beta )}}x^{\alpha {\color {red}+1}-1}(1-x)^{\beta -1}\,dx} _{F(1)=1},&F{\text{ is the cdf of }}\operatorname {Beta} (\alpha +1,\beta ),\\&={\frac {\alpha }{\alpha +\beta }}.\end{aligned}}$$

$\Box$

命题。 (柯西随机变量的未定义均值) 令 $X\sim \operatorname {Cauchy} (\theta )$. 那么，$\mathbb {E} [X]$ 是 未定义.

证明. $${\begin{aligned}\mathbb {E} [X]&=\mathbb {E} [X{\color {blue}-\theta }]{\color {blue}+\theta }&{\text{by linearity}},\\&=\theta +{\frac {1}{\pi }}\int _{-\infty }^{\infty }(x-\theta )\cdot {\frac {1}{1+(x-\theta )^{2}}}\,dx\\&=\theta +{\frac {1}{\pi }}\int _{-\infty }^{\infty }{\frac {u}{1+u^{2}}}\,du,&{\text{let }}u=x-\theta \Rightarrow du=dx,\\&=\theta +{\frac {1}{\pi }}\left(\int _{-\infty }^{0}{\frac {u}{1+u^{2}}}\,du+\int _{0}^{\infty }{\frac {u}{1+u^{2}}}\,du\right)\\&=\theta +{\frac {1}{\pi }}\left({\frac {1}{2}}[\ln(1+u^{2})]_{u=-\infty }^{u=0}+{\frac {1}{2}}[\ln(1+u^{2})]_{u=0}^{u=\infty }\right)\\&=\theta +{\frac {1}{\pi }}(\underbrace {-\infty +\infty } _{\text{undefined}}).\end{aligned}}$$

$\Box$

命题. (正态随机变量的均值) 假设 $X\sim {\mathcal {N}}(\mu ,\sigma ^{2})$. 那么，$\mathbb {E} [X]=\mu$.

证明。

• 设 $Z={\frac {X-\mu }{\sigma }}\sim {\mathcal {N}}(0,1)$.
• $${\begin{aligned}\mathbb {E} [Z]&=\int _{-\infty }^{\infty }x\varphi (x)\,dx\\&={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{\infty }xe^{-x^{2}/2}\,dx\\&=-{\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{-\infty }e^{u}\,du,&{\text{let }}u=-{\frac {x^{2}}{2}}\Rightarrow du=-dx\\&=-{\frac {1}{\sqrt {2\pi }}}(\underbrace {e^{-\infty }} _{=0}-\underbrace {e^{-\infty }} _{=0})\\&=0.\end{aligned}}$$
• 因此，$\mathbb {E} [X]=\mathbb {E} [\sigma Z+\mu ]=\sigma \underbrace {\mathbb {E} [Z]} _{=0}+\mu =\mu$.

$\Box$

例子

例子. （圣彼得堡悖论）考虑一个游戏，玩家掷一枚公平的硬币 $X$ 次，直到出现正面。由于 $X-1\sim \operatorname {Geo} (1/2)$，期望值 of $X-1$ 是 $$\underbrace {\mathbb {E} [X-1]} _{\mathbb {E} [X]-1}={\frac {1-1/2}{1/2}}\Rightarrow \mathbb {E} [X]=1+1={\color {green}2}.$$ 也就是说，玩家平均需要两次投掷才能出现正面。

游戏奖励玩家 $\$8$ 来玩这个游戏，但玩家必须在出现正面后偿还 $\$2^{X}$。

有些人可能认为玩家的预期净收益是 $$\$8-\$2^{\color {green}2}=\$4,$$ 所以玩家在这个游戏中占有优势。

然而，这是 错误的，因为正确预期的净收益应该是 $$\mathbb {E} \left[8-2^{X}\right]{\overset {\text{linearity}}{=}}8-\mathbb {E} \left[2^{X}\right]=8-\sum _{x=1}^{\infty }[2^{x}\cdot \underbrace {(1/2)^{x-1}(1/2)} _{{\text{pdf of }}X}]=8-\sum _{x=1}^{\infty }1=-\infty ,$$ 也就是说，平均来说，玩家将 无限亏损!

练习。

1 选择正确的陈述。

	$\mathbb {E} [X]\geq 0$ 对于每个随机变量 $X$.
	$\mathbb {E} [|X|]\geq 0$ 对于每个随机变量 $X$.
	$|\mathbb {E} [X]|\geq 0$ 对于每个随机变量 $X$.
	$\mathbb {E} [XYZ]=\mathbb {E} [X]\mathbb {E} [Y]\mathbb {E} [Z]$ 如果随机变量 $X,Y$ 和 $Z$ 是成对独立的。

2 给定 $\mathbb {E} [X]=-k=-\mathbb {E} [Y]$，选择 $\mathbb {E} [aX+bY+c]$ 的正确表达式。

	$a\mathbb {E} [X]+\mathbb {E} [bY+c]$
	$c\mathbb {E} [(a/c)X+(b/c)Y]+c$
	$(b-a)k+c$
	$\mathbb {E} [-ak+bk+c]$

让我们用这个桥梁来证明容斥原理，以此说明概率和期望之间基本桥梁的用途。

例： （容斥公式的证明）回想容斥公式是

对于每个事件 $A_{1},A_{2},\ldots$ 和 $A_{n}$,

$$\mathbb {P} (A_{1}\cup A_{2}\cup \cdots \cup A_{n})=\sum _{j=1}^{n}(-1)^{j-1}\sum _{i_{1}<i_{2}<\cdots <i_{j}}^{}\mathbb {P} (A_{i_{1}}\cap A_{i_{2}}\cap \cdots \cap A_{i_{j}}).$$ 证明如下：

$${\begin{aligned}&&X&=\mathbf {1} \{A_{1}\cup \cdots \cup A_{n}\}\\&&&=1-\mathbf {1} \{A_{1}^{c}\cap \cdots \cap A_{n}^{c}\}\\&&&=1-\mathbf {1} \{A_{1}^{c}\}\cdots \mathbf {1} \{A_{n}^{c}\}\\&&&=1-(1-\mathbf {1} \{A_{1}\})\cdots (1-\mathbf {1} \{A_{n}\})\\&&&=\mathbf {1} \{A_{1}\}+\cdots +\mathbf {1} \{A_{n}\}-(\underbrace {\mathbf {1} \{A_{1}\}\mathbf {1} \{A_{2}\}} _{\mathbf {1} \{A_{1}\cap A_{2}\}}+\cdots +\underbrace {\mathbf {1} \{A_{n-1}\}\mathbf {1} \{A_{n}\}} _{\mathbf {1} \{A_{n-1}\cap A_{n}\}})+(\cdots )-(\cdots )\cdots +(-1)^{n-1}\underbrace {\mathbf {1} \{A_{1}\}\cdots \mathbf {1} \{A_{n}\}} _{\mathbf {1} \{A_{1}\cap \cdots \cap A_{n}\}}\\&&&=\sum _{j=1}^{n}(-1)^{j-1}\sum _{i_{1}<\cdots <i_{j}}^{}\mathbf {1} \{A_{i_{1}}\cap \cdots \cap A_{i_{j}}\}\\&\Rightarrow &\underbrace {\mathbb {E} [\mathbf {1} \{A_{1}\cup \cdots \cup A_{n}\}]} _{\mathbb {P} (A_{1}\cup \cdots \cup A_{n})}&=\sum _{j=1}^{n}(-1)^{j-1}\sum _{i_{1}<\cdots <i_{j}}^{}\underbrace {\mathbb {E} \left[\mathbf {1} \{A_{i_{1}}\cap \cdots \cap A_{i_{j}}\}\right]} _{\mathbb {P} \left(A_{i_{1}}\cap \cdots \cap A_{i_{j}}\right)}\qquad {\text{by linearity}}\\\end{aligned}}$$ $\Box$

概率生成函数

期望的一个应用是 概率生成函数。顾名思义，它可以 生成 一些意义上的概率。

定义： （概率生成函数）令 $X$ 是一个离散的随机变量，其支撑集为 $\{0,1,2,\dotsc \}$。 $X$ 的 概率生成函数 是 $$G(y)=\mathbb {E} [y^{X}]=\sum _{x=0}^{\infty }y^{x}\mathbb {P} (X=x).$$

备注。

• 还有 矩生成函数，它可以 生成 一些意义上的矩（下一节定义）。我们将在 随机变量的变换 一章中讨论。
• 通过对概率生成函数求导，我们可以生成概率

$${\frac {1}{k!}}\cdot \left.{\frac {d^{k}}{dy^{k}}}G(y)\right|_{k=0}=\mathbb {P} (X=k).$$

• 这可以通过直接计算导数来看到。

方差（和标准差）

事实上，方差 是中心矩 的一个特例，并且在某种程度上与矩 相关。

定义. ($r$阶矩) 随机变量 $X$ 的$r$阶矩 是$\mathbb {E} [X^{r}]$.

定义. ($r$阶中心矩) 随机变量 $X$ 的$r$阶中心矩 是$\mathbb {E} {\bigg [}(X-\underbrace {\mathbb {E} [X]} _{\text{constant}})^{r}{\bigg ]}$.

定义. (方差) 随机变量 $X$ 的方差，记为 $\operatorname {Var} (X)$，是它的二阶中心矩，即 $\mathbb {E} {\bigg [}(X-\underbrace {\mathbb {E} [X]} _{\text{constant}})^{2}{\bigg ]}$.

由于 $(X-\mathbb {E} [X])^{2}$ 是$X$ 的值与其平均值的平方偏差，根据方差的定义，我们可以看到方差衡量了分布的离散度（或扩展），因为它是我们对随机变量进行观测时预期 的平方偏差。

另一个密切相关的术语是标准差。

定义. (标准差) 随机变量 $X$ 的标准差，通常记为 $\sigma$，是${\sqrt {\operatorname {Var} (X)}}$ 。

备注。

• 标准差的解释与方差类似
• 标准差有时也简写为's.d.'
• 随机变量$X$ 的标准差与$X$ 具有相同的单位，这是它的一个优势，也是使用标准差而不是方差来衡量离散程度的原因之一。
• 由于标准差通常用$\sigma$ 表示，因此我们可以将方差表示为$\sigma ^{2}$，尽管它不像$\operatorname {Var} (\cdot )$ 表示法那么常见。

命题。（方差的性质）

• （方差的另一种表达式）

$$\operatorname {Var} (X)=\mathbb {E} \left[X^{2}\right]-\left(\mathbb {E} [X]\right)^{2}$$

• （在位置参数变化下保持不变）

$$\operatorname {Var} (X+a)=\operatorname {Var} (X)$$ 对于每个常数$a$

• （二阶齐次性）

$$\operatorname {Var} (bX)=b^{2}\operatorname {Var} (X)$$ 对于每个常数$b$

• （非负性）

$$\operatorname {Var} (X)\geq 0$$

• （零方差意味着非随机性）

$$\operatorname {Var} (X)=0\Rightarrow X={\text{non-random constant}}\Leftrightarrow {\text{there exists a constant }}c{\text{ such that }}\mathbb {P} (X=c)=1$$

• （独立性下的可加性）

$$X_{1},\ldots ,X_{n}{\text{ are independent}}\Rightarrow \operatorname {Var} (X_{1}+\cdots +X_{n})=\operatorname {Var} (X_{1})+\cdots +\operatorname {Var} (X_{n})$$

证明。

• 方差的另一种表达式

设$\mu =\mathbb {E} [X]$ 为了更清晰的表达。

$$\mathbb {E} \left[(X-\mu )^{2}\right]=\mathbb {E} \left[X^{2}-2X\mu +\mu ^{2}\right]=\mathbb {E} \left[X^{2}\right]-2\mu \underbrace {\mathbb {E} [X]} _{\mu }+\mu ^{2}=\mathbb {E} \left[X^{2}\right]-\mu ^{2},$$ 然后得出结论。

• 在位置参数变化下保持不变

$$\operatorname {Var} (X+a)=\mathbb {E} {\bigg [}(X{\cancel {+a}}-\underbrace {\mathbb {E} [X+a]} _{\mathbb {E} [X]{\cancel {+a}}})^{2}{\bigg ]}=\mathbb {E} \left[(X-\mathbb {E} [X])^{2}\right]=\operatorname {Var} (X).$$

• 非负性：它来自 $(X-\mathbb {E} [X])^{2}\geq 0$.
• 零方差意味着非随机性

设 $\mu =\mathbb {E} [X]$ 为了更清晰的表达。考虑事件 $E_{n}=\{|X-\mu |\geq n^{-1}\}$，其中 $n$ 是一个正整数。

由于 $$0=\operatorname {Var} (X)=\mathbb {E} \left[(X-\mu )^{2}\right]\geq \mathbb {E} [(X-\mu )^{2}\underbrace {\mathbf {1} \{E_{n}\}} _{\leq 1}]=\mathbb {E} \left[|X-a|^{2}\mathbf {1} \{E_{n}\}\right]\geq \mathbb {E} [\underbrace {n^{-2}} _{\text{constant}}\mathbf {1} \{E_{n}\}]=\underbrace {n^{-2}} _{\geq 0}\underbrace {\mathbb {P} (E_{n})} _{\geq 0}\geq 0,$$

我们有 $0\geq n^{-2}\mathbb {P} (E_{n})\geq 0\Rightarrow 0\geq \mathbb {P} (E_{n})\geq 0\Rightarrow \mathbb {P} (E_{n})=0$.

因此，

$$\mathbb {P} (\underbrace {|X-\mu |>0} _{X\neq \mu })=\mathbb {P} \left(\bigcup _{n=1}^{\infty }E_{n}\right){\overset {\text{a lemma}}{=}}\lim _{n\to \infty }\underbrace {\mathbb {P} (E_{n})} _{0}=0\Rightarrow \mathbb {P} (X=\mu )=1-\underbrace {\mathbb {P} (X\neq \mu )} _{0}=1$$

• 独立性下的可加性

对于每个随机变量 $X$ 和 $Y$，它们是相互独立的，其期望值分别为 $\mu ,\nu$

$${\begin{aligned}\operatorname {Var} (X+Y)&=\mathbb {E} \left[(X+Y-\mathbb {E} [X+Y])^{2}\right]\\\operatorname {Var} (X+Y)&=\mathbb {E} \left[(X+Y-\mu -\nu )^{2}\right]&{\text{by linearity}}\\&=\underbrace {\mathbb {E} \left[(X-\mu )^{2}\right]} _{\operatorname {Var} (X)}+\underbrace {\mathbb {E} \left[(Y-\nu )^{2}\right]} _{\operatorname {Var} (Y)}+2\mathbb {E} [(X-\mu )(Y-\nu )]&{\text{by linearity}}\\&=\operatorname {Var} (X)+\operatorname {Var} (Y)+2\mathbb {E} [XY]-2\nu \mathbb {E} [X]-2\mu \mathbb {E} [Y]+2\mu \nu &{\text{by linearity}}\\&=\operatorname {Var} (X)+\operatorname {Var} (Y)+2\underbrace {\mathbb {E} [X]\mathbb {E} [Y]} _{\mu \nu }-2\nu \mu {\cancel {-2\mu \nu }}{\cancel {+2\mu \nu }}&{\text{by independence of }}X,Y\\&=\operatorname {Var} (X)+\operatorname {Var} (Y){\cancel {+2\mu \nu }}{\cancel {-2\nu \mu }}\\&=\operatorname {Var} (X)+\operatorname {Var} (Y).\end{aligned}}$$ 因此，通过归纳，$$\operatorname {Var} (X_{1}+\cdots +X_{n})=\operatorname {Var} (X_{1})+\operatorname {Var} (X_{2}+\cdots +X_{n})=\cdots =\operatorname {Var} (X_{1})+\cdots +\operatorname {Var} (X_{n})$$ 如果$X_{1},\ldots ,X_{n}$ 是独立的。

$\Box$

离散随机变量的一些分布的方差

命题。（伯努利和二项式随机变量的方差）设 $X\sim \operatorname {Ber} (p)$ 且 $Y\sim \operatorname {Binom} (n,p)$。则，$\operatorname {Var} (X)=p(1-p)$ 且 $\operatorname {Var} (Y)=np(1-p)$。

证明。

• $\mathbb {E} [X^{2}]=0\cdot \mathbb {P} (X=0)+1\cdot \mathbb {P} (\underbrace {X^{2}=1} _{\Leftrightarrow X=1})=p$，因为 $X$ 是非负的。
• 由此可得 $\operatorname {Var} (X)=\mathbb {E} [X^{2}]-(\mathbb {E} [X])^{2}=p-p^{2}=p(1-p)$。
• 类似于伯努利和二项式随机变量均值的证明，$Y=X_{1}+\dotsb +X_{n}$，其中 $X_{1},\dotsc ,X_{n}$ 是独立同分布的，且服从 $\operatorname {Ber} (p)$。
• 由于 独立性（来自独立同分布的性质），$\operatorname {Var} (Y)=\underbrace {\operatorname {Var} (X_{1})+\dotsb +\operatorname {Var} (X_{n})} _{n{\text{ times}}}=np(1-p).$

$\Box$

命题。（泊松随机变量的方差）设 $X\sim \operatorname {Pois} (\lambda )$。则，$\operatorname {Var} (X)=\lambda$。

证明。

• $$\mathbb {E} [X^{2}]=\sum _{k=0}^{\infty }k^{2}\underbrace {\left({\frac {\lambda ^{k}e^{-\lambda }}{k!}}\right)} _{\mathbb {P} (X=k)}=\lambda \left(0+\sum _{\underbrace {\color {blue}k=1} _{k-1=0}}^{\infty }{\cancel {k}}\left({\frac {k\lambda ^{k-1}e^{-\lambda }}{{\cancel {k}}(k-1)!}}\right)\right)=\lambda \left(\underbrace {\sum _{k-1=0}^{\infty }{\frac {(k{\color {red}-1})e^{-\lambda }\lambda ^{k-1}}{(k-1)!}}} _{\mathbb {E} [X]}+{\color {red}\overbrace {\sum _{k-1=0}^{\infty }\underbrace {\frac {e^{-\lambda }\lambda ^{k-1}}{(k-1)!}} _{\mathbb {P} (X=k-1)}} ^{=1}}\right)=\lambda (\lambda +1).$$
• 因此，$\operatorname {Var} (X)=\mathbb {E} [X^{2}]-(\mathbb {E} [X])^{2}=\lambda (\lambda +1)-\lambda ^{2}=\lambda .$

$\Box$

命题。 （几何分布和负二项分布的方差）令 $X\sim \operatorname {Geo} (p)$ 且 $Y\sim \operatorname {NB} (k,p)$ 。那么，$\operatorname {Var} (X)={\frac {1-p}{p^{2}}}$，且 $\mathbb {E} [Y]={\frac {k(1-p)}{p^{2}}}$.

证明。

• 由于

$${\begin{aligned}\mathbb {E} [X]&=\sum _{k=0}^{\infty }k^{2}\underbrace {(1-p)^{k}p} _{\mathbb {P} (X=k)}\\&=\sum _{k=0}^{\infty }(k-1+1)^{2}\underbrace {(1-p)^{k}p} _{\mathbb {P} (X=k)}\\&=\sum _{k=0}^{\infty }(k-1)^{2}(1-p)^{k}p+\sum _{k=0}^{\infty }2(k-1)(1-p)^{k}p+\overbrace {\sum _{k=0}^{\infty }\underbrace {(1-p)^{k}p} _{\mathbb {P} (X=k)}} ^{=1}\\&=\underbrace {\color {blue}(0-1)^{2}(1-p)^{0}p} _{=p}+(1-p)\sum _{\color {blue}k-1=0}^{\infty }(k-1)^{2}(1-p)^{k-1}p+\underbrace {\color {red}2(0-1)(1-p)^{0}p} _{=-2p}+2(1-p)\sum _{\color {red}k-1=0}^{\infty }(k-1)(1-p)^{k-1}p+1\\&=p+(1-p)\mathbb {E} [X^{2}]-2p+2(1-p)\underbrace {\mathbb {E} [X]} _{(1-p)/p}+1\\&=(1-p)\mathbb {E} [X^{2}]+{\frac {2(1-p)^{2}}{p}}+1-p,\\\end{aligned}}$$

• 由此可知 $\;p\mathbb {E} [X^{2}]={\frac {2(1-p)^{2}}{p}}+1-p\Rightarrow \mathbb {E} [X^{2}]={\frac {2(1-p)^{2}+p(1-p)}{p^{2}}}$.
• 因此，$\operatorname {Var} (X)=\mathbb {E} [X^{2}]-(\mathbb {E} [X])^{2}={\frac {2(1-p)^{2}+p(1-p)}{p^{2}}}-{\frac {(1-p)^{2}}{p^{2}}}={\frac {(1-p)^{2}+p(1-p)}{p^{2}}}={\frac {(1-p)(1{\cancel {-p+p}})}{p^{2}}}$.
• 类似地，$Y=X_{1}+\dotsb +X_{k}$ 其中 $X_{1},\dotsc ,X_{k}$ 是独立同分布的，并且服从 $\operatorname {Geo} (p)$ 。
• 由于独立性，$\operatorname {Var} (Y)=\operatorname {Var} (X_{1})+\dotsb +\operatorname {Var} (X_{k})=\underbrace {{\frac {1-p}{p^{2}}}+\dotsb +{\frac {1-p}{p^{2}}}} _{k{\text{ times}}}={\frac {k(1-p)}{p^{2}}}.$

$\Box$

连续随机变量的一些分布的方差

命题。 (均匀随机变量的方差) 令 $X\sim {\mathcal {U}}[a,b]$。($a<b$) 那么，$\operatorname {Var} (X)={\frac {(b-a)^{2}}{12}}$.

证明。 $${\begin{aligned}\operatorname {Var} (X)&=\mathbb {E} \left[X^{2}\right]-(\mathbb {E} [X])^{2}\\&=\int _{a}^{b}{\frac {x^{2}}{b-a}}\,dx-\left({\frac {b+a}{2}}\right)^{2}\\&={\frac {1}{b-a}}\left(b^{3}/3-a^{3}/3\right)-\left({\frac {a+b}{2}}\right)^{2}\\&={\frac {1}{3(b-a)}}\left(b^{3}-a^{3}\right)-\left({\frac {a+b}{2}}\right)^{2}\\&={\frac {1}{3{\cancel {(b-a)}}}}{\cancel {(b-a)}}(b^{2}+ba+a^{2})-{\frac {a^{2}+2ab+b^{2}}{4}}\\&={\frac {{\color {blue}{\cancel {4}}}b^{2}{\color {purple}{\cancel {+4ab}}}+{\color {red}{\cancel {4}}}a^{2}{\color {blue}{\cancel {-3b^{2}}}}-{\color {purple}{\overset {2}{\cancel {6}}}}ab{\color {red}{\cancel {-3a^{2}}}}}{12}}\\&={\frac {b^{2}-2ab+a^{2}}{12}}\\&={\frac {(b-a)^{2}}{12}}.\\\end{aligned}}$$

$\Box$

命题。 (伽马、指数和卡方随机变量的方差) 令 $X\sim \operatorname {Gamma} (\alpha ,\lambda )$, $Y\sim \operatorname {Exp} (\lambda )$, 和 $Z\sim \chi _{\nu }^{2}$. 那么，$\operatorname {Var} (X)=\alpha /\lambda ^{2}$, $\operatorname {Var} (Y)=1/\lambda ^{2}$, 和 $\operatorname {Var} (Z)=2\nu$.

证明。

• 类似地，只需证明伽马随机变量方差的公式即可。
• $${\begin{aligned}\mathbb {E} [X^{2}]&=\int _{0}^{\infty }{\color {red}x^{2}}\cdot {\frac {\lambda ^{\alpha }x^{\alpha -1}e^{-\lambda x}}{\Gamma (\alpha )}}\,dx\\&={\frac {\color {purple}(\alpha +1)\alpha }{\color {blue}\lambda ^{2}}}\underbrace {\int _{0}^{\infty }{\frac {\lambda ^{\alpha {\color {blue}+2}}x^{\alpha {\color {red}+2}-1}e^{-\lambda x}}{\Gamma (\alpha {\color {purple}+2})}}\,dx} _{=F(\infty )=1},&F{\text{ is the cdf of }}\operatorname {Gamma} (\alpha +2,\lambda ),\\&={\frac {(\alpha +1)\alpha }{\lambda ^{2}}}.\\\end{aligned}}$$
• 因此，$\operatorname {Var} (X)=\mathbb {E} [X^{2}]-(\mathbb {E} [X]^{2})={\frac {({\cancel {\alpha }}+1)\alpha }{\lambda ^{2}}}{\cancel {-{\frac {\alpha ^{2}}{\lambda ^{2}}}}}={\frac {\alpha }{\lambda ^{2}}}.$
• 因为 $\operatorname {Exp} (\lambda )\equiv \operatorname {Gamma} (1,\lambda )$，将 $\alpha =1$ 代入，可得 $\operatorname {Var} (Y)=1/\lambda ^{2}$。
• 因为 $\chi _{\nu }^{2}\equiv \operatorname {Gamma} (\nu /2,1/2)$，将 $\alpha =\nu /2$ 和 $\lambda =1/2$ 代入，可得 $\operatorname {Var} (Z)=(\nu /2)/(1/2)^{2}=2\nu$。

$\Box$

提案。 假设 $X\sim \operatorname {Beta} (\alpha ,\beta )$。那么，$\operatorname {Var} (X)={\frac {\alpha \beta }{(\alpha +\beta )^{2}(\alpha +\beta +1)}}$。

证明。

• $${\begin{aligned}\mathbb {E} [X^{2}]&=\int _{0}^{1}{\color {red}x^{2}}\cdot {\frac {\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}}x^{\alpha -1}(1-x)^{\beta -1}\,dx\\&={\frac {\color {purple}(\alpha +1)\alpha }{\color {blue}(\alpha +\beta +1)(\alpha +\beta )}}\underbrace {\int _{0}^{1}{\frac {\Gamma (\alpha +\beta {\color {blue}+2})}{\Gamma (\alpha {\color {purple}+2})\Gamma (\beta )}}x^{\alpha {\color {red}+2}-1}(1-x)^{\beta -1}\,dx} _{F(1)=1},&F{\text{ is the cdf of }}\operatorname {Beta} (\alpha +2,\beta ),\\&={\frac {(\alpha +1)\alpha }{(\alpha +\beta +1)(\alpha +\beta )}}.\end{aligned}}$$
• 由此可知，$${\begin{aligned}\operatorname {Var} (X)&=\mathbb {E} [X^{2}]-(\mathbb {E} [X])^{2}={\frac {(\alpha +1)\alpha }{(\alpha +\beta +1)(\alpha +\beta )}}-{\frac {\alpha ^{2}}{(\alpha +\beta )^{2}}}\\&={\frac {(\alpha +1)(\alpha )(\alpha +\beta )-\alpha ^{2}(\alpha +\beta +1)}{(\alpha +\beta )^{2}(\alpha +\beta +1)}}\\&={\frac {\alpha ({\cancel {\alpha ^{2}+\alpha \beta +\alpha }}+\beta {\cancel {-\alpha ^{2}-\alpha \beta -\alpha }})}{(\alpha +\beta )^{2}(\alpha +\beta +1)}}\\&={\frac {\alpha \beta }{(\alpha +\beta )^{2}(\alpha +\beta +1)}}.\\\end{aligned}}$$

$\Box$

命题。（柯西随机变量的未定义方差）令$X\sim \operatorname {Cauchy} (\theta )$。那么，$\operatorname {Var} (X)$ 是 未定义的。

证明。 由于柯西随机变量的未定义平均值的命题，以及公式$\operatorname {Var} (X)=\mathbb {E} [X^{2}]-(\mathbb {E} [X])^{2}$ （任意项减去未定义项是未定义的）。

$\Box$

命题。 （正态随机变量的方差）令$X\sim {\mathcal {N}}(\mu ,\sigma ^{2})$。那么，$\operatorname {Var} (X)=\sigma ^{2}$。

证明。

• 设 $Z={\frac {X-\mu }{\sigma }}\sim {\mathcal {N}}(0,1)$.
• $${\begin{aligned}\mathbb {E} [Z^{2}]&=\int _{-\infty }^{\infty }x^{2}\varphi (x)\,dx\\&={\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{\infty }x^{2}e^{-x^{2}/2}\,dx\\&=-{\frac {1}{\sqrt {2\pi }}}\int _{-\infty }^{\infty }xd(e^{-x^{2}/2})\\&=-{\frac {1}{\sqrt {2\pi }}}\left([xe^{-x^{2}/2}]_{-\infty }^{\infty }-\int _{-\infty }^{\infty }e^{-x^{2}/2}\,dx\right)&{\text{by integration by parts}},\\&=-{\frac {1}{\sqrt {2\pi }}}\left(0-0-\int _{-\infty }^{\infty }e^{-x^{2}/2}\,dx\right)&{\text{since exponential function }}\downarrow {\text{ much faster than linear function, or by L'Hospital rule}},\\&=\underbrace {\int _{-\infty }^{\infty }\varphi (x)\,dx} _{=\Phi (\infty )=1}\\&=1.\end{aligned}}$$
• 因此，$\operatorname {Var} (Z)=\mathbb {E} [Z^{2}]-(\mathbb {E} [Z])^{2}=1-0=1$.
• 因此，$\operatorname {Var} (X)=\operatorname {Var} (\sigma Z+\mu )=\sigma ^{2}\operatorname {Var} (Z)=\sigma ^{2}$.

$\Box$

练习。

选择正确陈述。

	$\operatorname {Var} (aX)=0\Rightarrow X={\text{non-random constant}}$ 对于每个常数 $a$.
	$\operatorname {Var} (aX+b)=a^{2}\operatorname {Var} (X)$ 对于每个随机变量 $X$，以及每个常数 $a,b$。
	$\operatorname {Var} (X)=\mathbb {E} [X]\Rightarrow X={\text{non-random constant}}$
	$\operatorname {Var} (X)\leq 0$ 如果 $X\leq 0$
	随机变量 $X$ 的标准差，$\sigma <\operatorname {Var} (X)$

变异系数

定义.（变异系数） 变异系数 是 标准差 与 均值 之比，即 $\sigma /\mu$。

备注。

• 它也被称为 相对 标准差，因为它测量了相对于均值的离散程度。
• 因此，它比没有均值的标准差更准确地描述了离散程度。
• 此外，变异系数没有单位。
• 所以，它在比较不同数据集的离散程度时很有用。
• 它显示了相对于均值的离散程度。
• 然而，如果均值为零，则变异系数将无法定义。因此，这是一个局限性。

示例. 如果 $\mathbb {E} [X]=10$ 且 $\sigma _{X}=2$，那么对于每个 $a\neq 0$，$aX$ 的变异系数是 $${\frac {\sqrt {\operatorname {Var} (aX)}}{\mathbb {E} [aX]}}={\frac {\sqrt {a^{2}\operatorname {Var} (X)}}{a\mathbb {E} [X]}}={\frac {|a|\operatorname {Var} (X)}{a\mathbb {E} [X]}}={\begin{cases}1/5,\quad a>0;\\-1/5,\quad a<0,\end{cases}}$$，而 $X$ 的变异系数为 1/5，等于 $aX$ 的变异系数，如果 $a>0$，等于 $aX$ 的变异系数的负数，如果 $a<0$（它们的大小相同，即绝对值相同）。这是预期的，因为随机变量本身的缩放不应该影响其分散程度。

练习。

1 假设 $\mathbb {E} [X]$ 增加到 20。计算 $\sigma _{X}$ 使得 $X$ 的变异系数保持不变。

	1
	2
	4
	5
	8

2 计算 $\sigma _{X}$ 使得 $X$ 的标准差保持不变。

	1
	2
	4
	5
	8

备注。

• 一般来说，当均值为负时，变异系数将是非正的，因为标准差始终是非负的。

分位数

接下来，我们将讨论 分位数。特别是，中位数 和 四分位距 与 分位数 密切相关。

定义。（分位数） 分位数 的阶数为 $\alpha$ ($\alpha$ 分位数) 的随机变量 $X$ 是 $$F^{-1}(\alpha )=\inf\{x\in \mathbb {R} :F(x)>\alpha \}.$$

备注。

• 分位数的定义 不唯一。有一些替代定义，即

$$\inf\{x\in \mathbb {R} :F(x)\geq \alpha \},\sup\{x\in \mathbb {R} :F(x)\leq \alpha \}{\text{ and }}\sup\{x\in \mathbb {R} :F(x)<\alpha \}.$$

• 如果 $F$ 是 严格递增 的，所有替代定义都变得等价，并且等于 cdf 在 $\alpha$ 处的逆函数 $F^{-1}(\alpha )$，因此我们可以通过求解方程 $F(x)=\alpha$ 来计算 $\alpha$ 分位数。
• 实际应用仅关注 $\alpha \in (0,1)$。

以下是与 分位数 相关的术语。

定义。（百分位数） $(100\alpha )$ 百分位数 是 $\alpha$ 分位数。

示例。 第 70 个百分位数是第 0.7 个分位数。

定义。（中位数） 中位数 是第 0.5 个分位数。

定义。（四分位数） $j$ 四分位数是 $(j/4)$ 分位数，其中 $j\in \{1,2,3\}$。

示例。 第 2 个四分位数是第 0.5 个分位数，也就是中位数。

定义。（四分位距） 四分位距 是第 3 个四分位数减去第 1 个四分位数。

中位数 和 四分位距 分别衡量了数据的集中趋势和离散程度。回想一下，均值 和 方差 分别衡量了相同的东西。中位数 和 四分位距 的一个优点是它们是 稳健的，因为它们始终定义，而 均值 和 方差 可能无限大，在这些情况下，它们无法衡量集中趋势和离散程度。然而，中位数 和 四分位距 也有一些缺点，例如，它们可能更难计算，并且可能不太准确。

示例。 （均匀分布的分位数）参数为 $a$ 和 $b>a$ 的均匀分布的 $\alpha$ 分位数是 $$a+\alpha (b-a),$$ 因为 $$F(x)={\frac {x-a}{b-a}}\mathbf {1} \{a<x<b\}=\alpha \Rightarrow x=F^{-1}(\alpha )=a+\alpha (b-a),$$ 我们可以看到，如果 $\alpha \in (0,1)$，则 $x\in (a,b)$。

然后，均匀分布的 中位数 是 $${\frac {a+b}{2}}$$，它与均值相同，而均匀分布的 四分位距 是 $${\cancel {a}}+(3/4)(b-a){\cancel {-a}}-(1/4)(b-a)={\frac {b-a}{2}},$$，它与方差不同，即 ${\frac {(b-a)^{2}}{12}}$。

练习。

选择正确陈述。

	第 20 个百分位数是第 0.2 个百分点
	第 4 个四分位数是第 1 个百分位数
	第 2 个百分位数未定义。
	第 0 个百分位数 = 第 0 个百分点 = 第 0 个四分位数。
	四分位距必须是非负的。
	中位数必须是非负的。

众数

众数是衡量集中趋势的另一种方法。

定义。 （众数）

• 概率质量函数 (pmf) 或概率密度函数 (pdf) 的 众数 是 $x$ 的值，在该值处 pmf (pdf) 取得其最大值（局部最大值）。

备注。

• 众数是最有可能被采样的值（对于 pmf）。
• 众数的使用频率低于均值。

示例。 投掷一个公平的六面骰子时出现的数字的 pmf 的 众数 是 1、2、3、4、5 和 6，因为每个数字出现的概率是 1/6，所以 pmf 在这些数字的每个数字处都取得其最大值（1/6）。

练习。

假设骰子被加载，使得数字六出现的概率是 1/2，而其他数字仍然等可能地出现。以下哪些是 pmf 的众数？

	1
	2
	3
	4
	5
	6

备注。

• 从这个例子中，我们可以看到众数并不一定是唯一的。

协方差和相关系数

在本节中，我们将讨论 联合 分布的两个重要性质，即 协方差 和 相关系数。正如我们将看到的，协方差在某种程度上与方差相关，而相关系数与相关性密切相关。

定义。 （协方差）对于每个随机变量 $X,Y$，$X,Y$ 的 协方差 是 $$\operatorname {Cov} (X,Y)=\mathbb {E} [(X-\mathbb {E} [X])(Y-\mathbb {E} [Y])].$$

定义。 （相关系数）对于每个随机变量 $X,Y$，使得 $\operatorname {Var} (X),\operatorname {Var} (Y)>0$，相关系数 是 $$\rho (X,Y)={\frac {\operatorname {Cov} (X,Y)}{\sqrt {\operatorname {Var} (X)\operatorname {Var} (Y)}}}.$$

协方差 和 相关系数 都是用来衡量 $X$ 和 $Y$ 之间 线性关系 的。正如我们将看到的，$\rho (X,Y)\in [-1,1]$，当 $|\rho (X,Y)|$ 增大时，$X,Y$ 的相关性越高，并且如果 $|\rho (X,Y)|=1$，则 $X$ 与 $Y$ 之间存在线性关系。

命题。 （协方差的性质）

(i) (对称性) 对于每个随机变量 $X,Y$，$$\operatorname {Cov} (X,Y)=\operatorname {Cov} (Y,X)$$ (ii) 对于每个随机变量 $X$，$$\operatorname {Cov} (X,X)=\operatorname {Var} (X)$$ (iii) (协方差的另一种公式) $$\operatorname {Cov} (X,Y)=\mathbb {E} [XY]-\mathbb {E} [X]\mathbb {E} [Y]$$ (iv) 对于每个常数 $a_{1},\ldots ,a_{n},b_{1},\ldots ,b_{m},c,d$，以及每个随机变量 $X_{1},\ldots ,X_{n},Y_{1},\ldots ,Y_{m}$，$$\operatorname {Cov} \left(\sum _{i=1}^{n}(a_{i}X_{i}+c),\sum _{j=1}^{m}(b_{j}Y_{j}+d)\right)=\sum _{i=1}^{n}\sum _{j=1}^{m}a_{i}b_{j}\operatorname {Cov} (X_{i},Y_{j})$$ (v) 对于每个随机变量 $X_{1},\ldots ,X_{n}$，$$\operatorname {Var} (X_{1}+\cdots +X_{n})=\sum _{i=1}^{n}\operatorname {Var} (X_{i})+2\sum _{1\leq i<j\leq n}^{}\operatorname {Cov} (X_{i},Y_{j})$$

证明。

(i) $$\operatorname {Cov} (X,Y)=\mathbb {E} [(X-\mathbb {E} [X])(Y-\mathbb {E} [Y])]=\mathbb {E} [(Y-\mathbb {E} [Y])(X-\mathbb {E} [X])]=\operatorname {Cov} (Y,X)$$ (ii) $$\operatorname {Cov} (X,X)=\mathbb {E} [(X-\mathbb {E} [X])(X-\mathbb {E} [X])]=\mathbb {E} [(X-\mathbb {E} [X])^{2}]=\operatorname {Var} (X)$$ (iii) $${\begin{aligned}\operatorname {Cov} (X,Y)&=\mathbb {E} [(X-\mathbb {E} [X])(Y-\mathbb {E} [Y])]\\&=\mathbb {E} [XY-X\mathbb {E} [Y]-Y\mathbb {E} [X]+\mathbb {E} [X]\mathbb {E} [Y]]\\&=\mathbb {E} [XY]-\mathbb {E} [Y]\mathbb {E} [X]{\cancel {-\mathbb {E} [X]\mathbb {E} [Y]+\mathbb {E} [X]\mathbb {E} [Y]}}\qquad {\text{by linearity}}\\&=\mathbb {E} [XY]-\mathbb {E} [X]\mathbb {E} [Y]\end{aligned}}$$ (iv) $${\begin{aligned}\operatorname {Cov} \left(\sum _{i=1}^{n}(a_{i}X_{i}+c),\sum _{j=1}^{m}(b_{j}Y_{j}+d)\right)&=\mathbb {E} \left[\left(\sum _{i=1}^{n}(a_{i}X_{i}+c)-\sum _{i=1}^{n}\mathbb {E} [a_{i}X_{i}+c]\right)\left(\sum _{j=1}^{m}(b_{j}Y_{j}+d)-\sum _{j=1}^{m}\mathbb {E} [b_{j}Y_{j}+d]\right)\right]\\&=\mathbb {E} \left[\sum _{i=1}^{n}(a_{i}X_{i}-\mathbb {E} [a_{i}X_{i}])\sum _{j=1}^{m}(b_{j}Y_{j}-\mathbb {E} [b_{j}Y_{j}])\right]\\&=\mathbb {E} \left[\sum _{i=1}^{n}\sum _{j=1}^{m}(a_{i}X_{i}-\mathbb {E} [a_{i}X_{i}])(b_{j}Y_{j}-\mathbb {E} [b_{j}Y_{j}])\right]\\&=\sum _{i=1}^{n}\sum _{j=1}^{m}\mathbb {E} [(a_{i}X_{i}-a_{i}\mathbb {E} [X_{i}])(b_{j}Y_{j}-b_{j}\mathbb {E} [Y_{j}])]&{\text{by linearity}}\\&=\sum _{i=1}^{n}\sum _{j=1}^{m}a_{i}b_{j}\mathbb {E} [X_{i}-\mathbb {E} [X_{i}]]\mathbb {E} [Y_{j}-\mathbb {E} [Y_{j}]]\\&=\sum _{i=1}^{n}\sum _{j=1}^{m}a_{i}b_{j}\operatorname {Cov} (X_{i},Y_{j})\end{aligned}}$$ (v) $${\begin{aligned}\operatorname {Var} \left(\sum _{i=1}^{n}X_{i}\right)&{\overset {\text{(ii)}}{=}}\operatorname {Cov} \left(\sum _{i=1}^{n}X_{i},\sum _{j=1}^{n}X_{j}\right)\\&{\overset {\text{(iv)}}{=}}\sum _{i=1}^{n}\sum _{j=1}^{n}\operatorname {Cov} (X_{1},X_{j})\\&=\sum _{1\leq i=j\leq n}^{}\operatorname {Cov} (X_{i},X_{j})+\sum _{1\leq i\neq j\leq n}^{}\operatorname {Cov} (X_{i},X_{j})\\&{\overset {\text{(ii)}}{=}}\sum _{i=1}^{n}\operatorname {Var} (X_{i})+\sum _{1\leq i<j\leq n}^{}\operatorname {Cov} (X_{i},X_{j})+\sum _{1\leq j<i\leq n}^{}\operatorname {Cov} (X_{i},X_{j})\\&{\overset {\text{(i)}}{=}}\sum _{i=1}^{n}\operatorname {Var} (X_{i})+2\sum _{1\leq i<j\leq n}^{}\operatorname {Cov} (X_{i},X_{j})\end{aligned}}$$

$\Box$

接下来，我们将讨论相关系数。以下是两个随机变量之间相关性的定义。

定义。 (两个随机变量之间的相关性) 随机变量 $X,Y$ 是不相关的，如果 $\operatorname {Cov} (X,Y)=0$，并且是相关的，如果 $\operatorname {Cov} (X,Y)\neq 0$

备注。

• $\operatorname {Cov} (X,Y)=0\Leftrightarrow \rho (X,Y)=0$，以及 $\operatorname {Cov} (X,Y)\neq 0\Leftrightarrow \rho (X,Y)\neq 0$ 如果 $\operatorname {Var} (X)\neq 0$ 并且 $\operatorname {Var} (Y)\neq 0$。这解释了为什么我们使用协方差而不是相关系数。因为协方差始终定义，而相关系数可能未定义。

协方差和相关系数相似，但它们之间存在差异。特别是，$\operatorname {Cov} (X,Y)$ 取决于 $X$ 和 $Y$ 的方差，而不仅仅是它们之间的关系。因此，这个数字会受到方差的影响，并且不能准确地衡量它们之间的关系。另一方面，$\rho (X,Y)$ 调整了$X$ 和 $Y$ 的方差，因此更 准确地 衡量了它们之间的关系。

以下是相关系数最重要的性质之一。

命题。 （相关系数的通用度量）相关系数介于 -1 和 1 之间（包含端点）。

证明。 对于每个随机变量 $X,Y$，

目标：证明 $\rho (X,Y)\leq 1\Leftrightarrow {\frac {\operatorname {Cov} (X,Y)}{\sqrt {\operatorname {Var} (X)\operatorname {Var} (Y)}}}\leq 1$。为了去除平方根使证明更简洁，我们在不等式的两边平方，得到 ${\frac {\operatorname {Cov} (X,Y)^{2}}{\operatorname {Var} (X)\operatorname {Var} (Y)}}\leq 1\Leftrightarrow {\frac {\operatorname {Cov} (X,Y)^{2}}{\operatorname {Var} (Y)}}\leq \operatorname {Var} (X)\Leftrightarrow \operatorname {Var} (X)+{\frac {\operatorname {Cov} (X,Y)^{2}}{\operatorname {Var} (Y)}}\geq 0$。

回顾一下，$\operatorname {Var} (\cdot )\geq 0$。因此，证明最右边不等式的一种方法是将它的左侧表示为 $\operatorname {Var} (\cdot )$，如下：$$\operatorname {Var} (X)-{\frac {\operatorname {Cov} (X,Y)^{2})}{\operatorname {Var} (Y)}}=\operatorname {Var} (X)+\left({\frac {\operatorname {Cov} (X,Y))}{\operatorname {Var} (Y)}}\right)^{2}\operatorname {Var} (Y)-2\left({\frac {\operatorname {Cov} (X,Y)}{\operatorname {Var} (Y)}}\right){\overset {\text{(iv,v)}}{=}}\operatorname {Var} \left(X-{\frac {\operatorname {Cov} (X,Y)}{\operatorname {Var} (Y)}}Y\right).$$ 因此，结果成立。

$\Box$

备注。 对于每个随机变量 $X,Y$，

• $|\rho (X,Y)|$ 越大，则 $X,Y$ 之间的相关性越大
• 因此，我们可以比较不同随机变量对的相关性
• 如果 $\rho (X,Y)=1$，$X$ 随 $Y$ 线性增加
• 如果 $\rho (X,Y)=-1$，$X$ 随 $Y$ 线性减小

接下来，我们将定义几个与相关系数相关的术语。

定义。（正相关、负相关和不相关）随机变量 $X,Y$ 如果 $\rho (X,Y)>0\;(<0)$，即 $X$ 倾向于 $\uparrow (\downarrow )$ 当 $Y\uparrow$ 时，被称为正（负）相关。

如果 $\rho (X,Y)=0$，则它们是 不相关的。

接下来，我们将陈述一个与独立性和相关性相关的重要的结果。直观地，你可能会认为 "独立" 等同于 "不相关"。然而，这是错误的。事实上，"独立" 比 "不相关" 更强。

命题。 (独立性和相关性之间的关系) 如果两个随机变量是 独立的，那么它们是 不相关的。

证明。 对于每个独立的随机变量 $X,Y$，其均值分别为 $\mu ,\nu$，有 $$\operatorname {Cov} (X,Y)=\mathbb {E} [(X-\mu )(Y-\nu )]{\overset {\text{independence}}{=}}\mathbb {E} [X-\mu ]\mathbb {E} [Y-\nu ]{\overset {\text{linearity}}{=}}(\underbrace {\mathbb {E} [X]} _{\mu }-\mu )(\underbrace {\mathbb {E} [Y]} _{\nu }-\nu )=0$$

$\Box$

然而，反过来 不 成立，正如我们将在下例中看到的那样。

例。 令 $V,W\sim \operatorname {Ber} (1/2)$，使得它们是独立的。设 $X=V+W,Y=|V-W|$。由于 $V=W=0\Leftrightarrow X=Y=0$，$(V,W)=(1,0){\text{ or }}(0,1)\Leftrightarrow X=Y=1$，以及 $V=W=1\Leftrightarrow X=2{\text{ and }}Y=0$，它们的联合pmf为 $$f(x,y)=\mathbf {1} \{X=Y=0\}/4+\mathbf {1} \{X=Y=1\}/2+\mathbf {1} \{X=2{\text{ and }}Y=0\}/4.$$ 协方差 $$\operatorname {Cov} (X,Y)=\mathbb {E} [XY]-\mathbb {E} [X]\mathbb {E} [Y]=1(1)(1/2)-[1(1/2)+2(1/4)][1(1/2)]=0,$$ 因此 $X,Y$ 不相关。

另一方面，$$\mathbb {P} (X=Y=0)=1/4\neq \mathbb {P} (X=0)\mathbb {P} (Y=0)=(1/4)(1/4+1/4)=1/8,$$，因此 $X,Y$ 不是独立的。

这说明“不相关”并不意味着“独立”。

练习。

选择正确陈述。

	如果两个随机变量 $X,Y$ 中至少有一个是非随机常数，则它们是不相关的。
	对于每个随机变量，它与其自身不相关。
	对于每个随机变量，它随自身线性增加。
	如果 $\rho (X,Y)>\rho (V,W)$，则随机变量 $X,Y$ 的相关性比随机变量 $V,W$ 的相关性更高。