马里兰大学概率资格考试/2010 年 8 月概率

问题 1

两人 A 和 B 正在玩游戏。如果 A 赢了一轮，他从 B 处获得 4 美元，并以 0.7 的概率赢得下一轮。如果 A 输掉了这一轮，他向 B 付款 5 美元，并以 0.5 的概率赢得下一轮。

(i) 写下具有两个状态的马尔可夫链的转移矩阵，{A 赢得当前回合，B 赢得当前回合}，并找到状态的平稳概率

(ii) 找出 $\lim _{n\to \infty }P(A{\text{ has more money after }}n{\text{ rounds than before the game}})$ .

解答

(i) 马尔可夫转移矩阵将是 2x2 矩阵 $Q=(q_{ij})$ ，其中 $i,j=1$ 对应于玩家 A 的胜利，而 $i,j=0$ 对应于玩家 A 的失败。例如， $q_{11}$ 是玩家 A 在上一局获胜后获胜的概率； $q_{01}$ 是玩家 A 在上一局失败后获胜的概率；等等。这将给出

$Q=\left({\begin{array}{cc}0.7&0.3\\0.5&0.5\end{array}}\right)$

平稳分布将是元组 $\pi =(a,b)$ ，使得 $\pi Q=\pi$ 。我们可以显式地计算它

$(a,b)\left({\begin{array}{cc}0.7&0.3\\0.5&0.5\end{array}}\right)=(a,b)$ 得到以下方程组： $.7a+.5b=a;.3a+.5b=b$ 利用 $\pi$ 必须是概率（即 $a+b=1$ ）这一事实，我们得到 $a={\frac {5}{8}},b={\frac {3}{8}}$ .

(ii) 由于 $Q$ 是正的，因此是遍历的，那么任何初始概率分布将收敛到刚刚计算的平稳分布 $\pi$ 。因此，随着 $n\to \infty$ ，玩家 A 将以概率 $5/8$ 获胜。那么玩家 A 可以预期获得更多钱吗？对于足够大的 $n$ ，我们可以计算玩家 A 在一轮中的预期收益

$E[{\text{winnings}}]=5/8*4+3/8*(-5)=5/8>0$

因此，玩家 A 应该预期以 1 的概率比游戏开始前拥有更多钱。

问题 2

(i) 令 $X$ 是一个均值为零且具有有限方差 $\sigma ^{2}$ 的随机变量。证明对于任何 $c>0$

$P(X>c)\leq {\frac {\sigma ^{2}}{\sigma ^{2}+c^{2}}}$ .

(ii) 令 $\{X_{n},n\geq 1\}$ 是一个平方可积鞅，其中 $E(X_{1})=0$ 。证明对于任何 $c>0$

$P(\max _{1\leq i\leq n}X_{i}\geq c)\leq {\frac {var(X_{n})}{var(X_{n})+c^{2}}}$ .

解答

(i) $P(X\geq c)\leq P(|X|\geq c)=P(|X-E[x]|\geq c)\leq P(|X-E[X]|\geq c+\sigma )\leq {\frac {\sigma ^{2}}{c^{2}+2c\sigma +\sigma ^{2}}}\leq {\frac {\sigma ^{2}}{c^{2}+\sigma ^{2}}}$ ，其中倒数第二个不等式是标准的切比雪夫不等式。