马里兰大学概率资格考试/2006年8月概率

问题 1

考虑一个具有状态空间 $\{1,2,3,4\}$、初始状态 $X_{0}=1$ 和转移概率矩阵的四状态马尔可夫链 ${\begin{pmatrix}1/4&1/4&1/4&1/4\\1/6&1/3&1/6&1/3\\0&0&1&0\\0&0&0&1\end{pmatrix}}$ (a) 计算 $\lim _{n\to \infty }P(X_{n}=3)$. (b) 令 $\tau =\inf\{n\geq 0:X_{n}\in \{3,4\}\}$。计算 $E(\tau )$.

问题 2

如果 $X_{1},...,X_{n}$ 是在 [0,1] 上独立均匀分布的随机变量，则令 $X_{(2),n}$ 为这些数字中第二小的数字。找到一个非随机序列 $a_{n}$，使得 $T_{n}=a_{n}-\log X_{(2),n}$ 在分布上收敛，并计算极限分布。

解决方案

${\begin{aligned}P(T_{n}\leq x)&=P(e^{a_{n}-\log X_{(2),n}}\leq e^{x})=P({\frac {e^{a_{n}}}{X_{(2),n}}}\leq e^{x})\\&=P(X_{(2),n}\geq e^{a_{n}-x})=n(1-e^{a_{n}-x})^{n-1}e^{a_{n}-x}+(1-e^{1_{n}-x})^{n}\end{aligned}}$

右侧的两项看起来像指数函数的极限定义。我们可以选择 $a_{n}$ 使其满足吗？

令 $a_{n}=-\log n$。那么 ${\begin{aligned}P(T_{n}\leq x)&=n(1-{\frac {1}{ne^{x}}})^{n-1}{\frac {1}{ne^{x}}}+(1-{\frac {1}{ne^{x}}})^{n}\\&\to e^{-e^{x}}e^{-x}+e^{-e^{x}}\end{aligned}}$

这是 $\lim _{n\to \infty }T_{n}$ 的分布。

问题 3

假设实值随机变量 $\xi ,\eta$ 是独立的，$\xi$ 具有有界密度 $p(x)$ （对于 $x\in \mathbb {R}$，关于勒贝格测度），并且 $\eta$ 是整数值。 (a) 证明 $\zeta =\xi +\eta$ 具有密度。 (b) 计算 $\zeta$ 的密度，其中 $\xi \sim$ 均匀分布[0,1] 且 $\eta \sim$ 泊松分布(1)。

解决方案

(a)

${\begin{aligned}P(\zeta \leq x)&=P(\xi \leq x-\eta )=\sum _{n=-\infty }^{\infty }P(\eta =n)\int _{-\infty }^{x-n}p_{\xi }(t)\,dt\\&=\lim _{N\to \infty }\sum _{n=-N}^{N}P(\eta =n)\int _{-\infty }^{x-n}p_{\xi }(t)\,dt=\lim _{N\to \infty }\sum _{n=-N}^{N}P(\eta =n)\int _{-\infty }^{x}p_{\xi }(t-n)\,dt\\&=\lim _{N\to \infty }\int _{-\infty }^{x}\sum _{n=-N}^{N}P(\eta =n)p_{\xi }(t-n)\,dt=\int _{-\infty }^{x}\sum _{n=-\infty }^{\infty }P(\eta =n)p_{\xi }(t-n)\,dt\end{aligned}}$

其中最后一个等式由 单调收敛定理 得出。

因此，我们已经明确地证明了 $\zeta$ 具有密度，并且由 $q_{\zeta }(t)=\sum _{n=-\infty }^{\infty }P(\eta =n)p_{\xi }(t-n)$ 给出。

(b) 当 $\xi \sim$ Uniform[0,1] 且 $\eta \sim$ Poisson(1) 时，我们有 $p_{\xi }(x)=\mathrm {X} _{[0,1]}(x)$ 以及 $p_{\eta }(k)={\frac {1}{k!e}}$，其支撑集为 $k=0,1,2,...$.

然后从 (a) 部分，密度将是

$q_{\zeta }(x)=\sum _{n=-\infty }^{\infty }p_{\eta }(n)p_{\xi }(x-n)=\sum _{n=0}^{\infty }{\frac {1}{k!e}}\mathrm {X} _{[0,1]}(x)$.

问题 4

令 $(N(t),t\geq 0)$ 为单位速率的泊松过程，并令 $W_{m,n}=\sum _{k=1}^{n}I\{N({\frac {mk}{n}})-N({\frac {m(k-1)}{n}})\geq 2\}$ 其中 $I(A)$ 是事件 $A$ 的指示器。 (a) 求 $E(W_{m,n})$ 关于 $m,n$ 的表达式。 (b) 证明如果 $m=n^{\alpha }$，其中 $\alpha >1/2$ 为一个固定的常数，那么 $W_{m,n}\to \infty$ 按概率收敛。

解决方案

(a)

我们知道 $N({\frac {mk}{n}})-N({\frac {m(k-1)}{n}})$ 服从参数为 $m/n$ 的泊松分布。

$P(N({\frac {mk}{n}})-N({\frac {m(k-1)}{n}})\geq 2)=1-P(N({\frac {mk}{n}})-N({\frac {m(k-1)}{n}})=1{\text{ or }}2)=1-e^{-m/n}-{\frac {m}{n}}e^{-m/n}$

那么 ${\begin{aligned}E(W_{m,n})&=E[\sum _{k=1}^{n}I(N({\frac {mk}{n}})-N({\frac {m(k-1)}{n}})\geq 2)\\&=\sum _{k=1}^{n}E(I(N({\frac {mk}{n}})-N({\frac {m(k-1)}{n}})\geq 2)){\text{ by linearity}}\\&=\sum _{k=1}^{n}P(N({\frac {mk}{n}})-N({\frac {m(k-1)}{n}})\geq 2)=n\left(1-e^{-m/n}-{\frac {m}{n}}e^{-m/n}\right)=n-e^{-m/n}(n+m)\end{aligned}}$

(b)

如果 $\lim _{n\to \infty }W_{n,n^{\alpha }}=\infty$，那么我们必须有 $I(N({\frac {mk}{n}})-N({\frac {m(k-1)}{n}})\geq 2)=0$ 仅限于有限次。该事件的概率（来自部分 a）为 $e^{-n^{\alpha -1}}(1+n^{\alpha -1})$。

当 $\alpha >1$ 时，它衰减为 0。那么显然，我们可以看到 $\lim _{n\to \infty }W_{n,n^{\alpha }}=\infty$ 的概率等于 1。

我不知道如何证明 $1/2<\alpha <1$ 的结果...

问题 5

令 $X_{0}=0$ 并且对于 $n\geq 1,X_{n}=\sum _{j=1}^{n}\xi _{j}$，其中随机变量 $\xi _{j}$ 是独立同分布的，且 $P(\xi _{j}=-2)=1/4,P(\xi _{j}=1)=3/4$。 (a) 证明存在常数 $a,b$ 使得 $Y_{n}=X_{n}-an$ 和 $Z_{n}=\exp(bX_{n})$ 是鞅。 (b) 如果 $\tau =\inf\{n\geq 1:X_{n}=3\}$，那么证明 $\tau <\infty$ 几乎处处成立，并求出 $E(\tau )$。 (c) 证明 $\exp(bX_{n})$ 不是一致可积鞅。

解决方案

(a)

我们想要 $Y_{n}=E[Y_{n+1}|{\mathcal {F}}_{n}]$。我们可以明确地计算该方程的两边。

$X_{n}-an=E[X_{n+1}-a(n+1)|X_{n}]=(X_{n}-2){\frac {1}{4}}+(X_{n}+1){\frac {3}{4}}-a(n+1)=X_{n}+1/4-an-a$

因此，如果我们想要这个等式成立，我们必须有 $a=1/4$.

类似地，如果我们想要 $Z_{n}=E[Z_{n+1}|{\mathcal {F}}_{n}]$ 那么

$e^{bX_{n}}=E[e^{bX_{n+1}}|X_{n}]={\frac {1}{4}}e^{b(X_{n}-2)}+{\frac {3}{4}}e^{b(X_{n}+1)}=e^{bX_{n}}({\frac {1}{4}}e^{-2b}+{\frac {3}{4}}e^{b})$

我们可以很容易地验证 $b=0$ 为该方程的平凡解。使用替换 $x=e^{b}$ 我们可以找到 $b$ 的另一个解。我们应该得到 $b=\log(1+{\sqrt {13}})-\log(6)<0$.

(b)

我们已经证明 $Y_{n}=X_{n}-{\frac {1}{4}}n$ 是一个鞅。因此，$E[Y_{n}|Y_{0}]=E[Y_{0}]=0$。由于每个 $\xi$ 都是独立同分布的，我们可以应用强大数定律来说明 $1/n(X_{n}-n/4)\to 0$ 几乎必然成立。换句话说，$X_{n}\to \infty$ 几乎必然成立，因此肯定 $\tau <\infty$ 几乎必然成立。

现在计算 $E[\tau ]$。我们引入新的符号：令 $\tau _{k}(x)=\inf\{n\geq 1:X_{n}=k,X_{0}=x\}$。那么 ${\begin{aligned}E[\tau _{n}(0)]&={\frac {3}{4}}(1+E[\tau _{n}(1)])+{\frac {1}{4}}(1+E[\tau _{n}(-2)])\\&={\frac {3}{4}}(1+E[\tau _{n-1}(0)])+{\frac {1}{4}}(1+E[\tau _{n+2}(0)])=1+{\frac {3}{4}}\tau _{n-1}(0)+{\frac {1}{4}}\tau _{n+2}(0)\end{aligned}}$

通过对称性论证得出。

所以我们可以写 $E[\tau _{1}(0)]=1+{\frac {3}{4}}0+{\frac {1}{4}}\tau _{3}(0)$。但我不知道如何计算 $E[\tau _{1}(0)]$....

(c)

回顾 (a) 部分，$b$ 的非平凡解必须是某个负数。那么，根据 (a) 部分，$\lim _{n\to \infty }Z_{n}\to 1$ 几乎必然成立。

然而，$Z_{n}=e^{bX_{n}}\neq 1=E[Z_{\infty }|{\mathcal {F}}_{n}]$。根据定义，这意味着鞅不是右闭的。一个鞅是右闭的当且仅当它是均匀可积的。因此，我们完成了证明。