线性代数/主题：马尔可夫链/解决方案

解决方案

对于这些问题，请使用计算机。例如，您可以调整下面给出的 Octave 脚本。

问题 1

这些问题指的是抛硬币游戏。

检查第一段末尾表格中的计算。
考虑向量表中的第二行。注意，这行有交替的 $0$ 's。当 $j$ 为奇数时， $p_{1}(j)$ 必须为 $0$ 吗？证明它必须为零，或者提供一个反例。
进行一个计算实验，估计玩家从一美元、两美元和四美元开始，最终获得五美元的概率。

答案

使用此文件coin.m

   # Octave 函数，用于马尔可夫硬币游戏。p 是下降的概率。    function w = coin(p,v)    q = 1-p;    A=[1,p,0,0,0,0;    0,0,p,0,0,0;    0,q,0,p,0,0;    0,0,q,0,p,0;    0,0,0,q,0,0;    0,0,0,0,q,1];    w = A * v;    endfunction
此 Octave 会话产生了此处给出的输出。
  octave:1> v0=[0;0;0;1;0;0]    v0 =    0    0    0    1    0    0    octave:2> p=.5    p = 0.50000    octave:3> v1=coin(p,v0)    v1 =    0.00000    0.00000    0.50000    0.00000    0.50000    0.00000    octave:4> v2=coin(p,v1)    v2 =    0.00000    0.25000    0.00000    0.50000    0.00000    0.25000
这继续进行了太多步，无法在此列出。
  octave:26> v24=coin(p,v23)    v24 =    0.39600    0.00276    0.00000    0.00447    0.00000    0.59676
使用这些公式
${\begin{aligned}{2}p_{1}(n+1)&=0.5\cdot p_{2}(n)&\qquad p_{2}(n+1)&=0.5\cdot p_{1}(n)+0.5\cdot p_{3}(n)\\p_{3}(n+1)&=0.5\cdot p_{2}(n)+0.5\cdot p_{4}(n)&\qquad p_{5}(n+1)&=0.5\cdot p_{4}(n)\end{aligned}}$
以及这些初始条件
${\begin{pmatrix}p_{0}(0)\\p_{1}(0)\\p_{2}(0)\\p_{3}(0)\\p_{4}(0)\\p_{5}(0)\end{pmatrix}}={\begin{pmatrix}0\\0\\0\\1\\0\\0\end{pmatrix}}$
我们将通过归纳法证明，当 $n$ 为奇数时， $p_{1}(n)=p_{3}(n)=0$ ；当 $n$ 为偶数时， $p_{2}(n)=p_{4}(n)=0$ 。首先要注意，根据初始条件，这在 $n=0$ 的基本情况下是成立的。对于归纳步骤，假设它在 $n=0$ ， $n=1$ ，...， $n=k$ 这些情况下是成立的，并考虑 $n=k+1$ 的情况。如果 $k+1$ 为奇数，则这两个
${\begin{array}{rl}p_{1}(k+1)&=0.5\cdot p_{2}(k)=0.5\cdot 0=0\\p_{3}(k+1)&=0.5\cdot p_{2}(k)+0.5\cdot p_{4}(k)=0.5\cdot 0+0.5\cdot 0=0\end{array}}$
源于归纳假设 $p_{2}(k)=p_{4}(k)=0$ ，因为 $k$ 为偶数。 $k+1$ 为偶数的情况类似。

我们可以使用例如

n=100

。这个 Octave 会话
octave:1> B=[1,.5,0,0,0,0; > 0,0,.5,0,0,0; > 0,.5,0,.5,0,0; > 0,0,.5,0,.5,0; > 0,0,0,.5,0,0; > 0,0,0,0,.5,1]; octave:2> B100=B**100 B100 = 1.00000 0.80000 0.60000 0.40000 0.20000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.00000 0.20000 0.40000 0.60000 0.80000 1.00000 octave:3> B100*[0;1;0;0;0;0] octave:4> B100*[0;1;0;0;0;0] octave:5> B100*[0;0;0;1;0;0] octave:6> B100*[0;1;0;0;0;0]

产生这些输出。

起始状态为:	$1	$2	$3	$4
$s_{0}(100)$	0.80000	0.60000	0.40000	0.20000
$s_{1}(100)$	0.00000	0.00000	0.00000	0.00000
$s_{2}(100)$	0.00000	0.00000	0.00000	0.00000
$s_{3}(100)$	0.00000	0.00000	0.00000	0.00000
$s_{4}(100)$	0.00000	0.00000	0.00000	0.00000
$s_{5}(100)$	0.20000	0.40000	0.60000	0.80000

问题 2

我们考虑掷骰子，如果骰子出现的最大数字是 $i$ ，我们就说系统处于状态 $s_{i}$ 。

给出转移矩阵。
从状态 $s_{1}$ 开始运行系统，进行五次投掷。最后得到的向量是什么？

(Feller 1968, p. 424)

答案

从这些方程式
${\begin{array}{*{6}{rc}r}(1/6)s_{1}(n)&+&0s_{2}(n)&+&0s_{3}(n)&+&0s_{4}(n)&+&0s_{5}(n)&+&0s_{6}(n)&=&s_{1}(n+1)\\(1/6)s_{1}(n)&+&(2/6)s_{2}(n)&+&0s_{3}(n)&+&0s_{4}(n)&+&0s_{5}(n)&+&0s_{6}(n)&=&s_{2}(n+1)\\(1/6)s_{1}(n)&+&(1/6)s_{2}(n)&+&(3/6)s_{3}(n)&+&0s_{4}(n)&+&0s_{5}(n)&+&0s_{6}(n)&=&s_{3}(n+1)\\(1/6)s_{1}(n)&+&(1/6)s_{2}(n)&+&(1/6)s_{3}(n)&+&(4/6)s_{4}(n)&+&0s_{5}(n)&+&0s_{6}(n)&=&s_{4}(n+1)\\(1/6)s_{1}(n)&+&(1/6)s_{2}(n)&+&(1/6)s_{3}(n)&+&(1/6)s_{4}(n)&+&(5/6)s_{5}(n)&+&0s_{6}(n)&=&s_{5}(n+1)\\(1/6)s_{1}(n)&+&(1/6)s_{2}(n)&+&(1/6)s_{3}(n)&+&(1/6)s_{4}(n)&+&(1/6)s_{5}(n)&+&(6/6)s_{6}(n)&=&s_{6}(n+1)\end{array}}$
我们得到这个转移矩阵。
${\begin{pmatrix}1/6&0&0&0&0&0\\1/6&2/6&0&0&0&0\\1/6&1/6&3/6&0&0&0\\1/6&1/6&1/6&4/6&0&0\\1/6&1/6&1/6&1/6&5/6&0\\1/6&1/6&1/6&1/6&1/6&6/6\end{pmatrix}}$

这是 Octave 会话，输出已编辑并压缩到表末尾。
octave:1> F=[1/6, 0, 0, 0, 0, 0; > 1/6, 2/6, 0, 0, 0, 0; > 1/6, 1/6, 3/6, 0, 0, 0; > 1/6, 1/6, 1/6, 4/6, 0, 0; > 1/6, 1/6, 1/6, 1/6, 5/6, 0; > 1/6, 1/6, 1/6, 1/6, 1/6, 6/6]; octave:2> v0=[1;0;0;0;0;0] octave:3> v1=F*v0 octave:4> v2=F*v1 octave:5> v3=F*v2 octave:6> v4=F*v3 octave:7> v5=F*v4

这些是结果。

	1	2	3	4	5
1	0.16667	0.027778	0.0046296	0.00077160	0.00012860
0	0.16667	0.083333	0.0324074	0.01157407	0.00398663
0	0.16667	0.138889	0.0879630	0.05015432	0.02713477
0	0.16667	0.194444	0.1712963	0.13503086	0.10043724
0	0.16667	0.250000	0.2824074	0.28472222	0.27019033
0	0.16667	0.305556	0.4212963	0.51774691	0.59812243

问题 3

人们对美国企业是否正在从东北部和中北部地区迁移到南部和西部地区一直很感兴趣，这是由于更温暖的气候、更低的工资以及工会化程度较低造成的。以下是电力和电子设备大型企业的过渡矩阵（Kelton 1983，第 43 页）

	NE	NC	S	W	Z
NE	0.787	0	0	0.111	0.102
NC	0	0.966	0.034	0	0
S	0	0.063	0.937	0	0
W	0	0	0.074	0.612	0.314
Z	0.021	0.009	0.005	0.010	0.954

例如，东北地区的公司明年将在西部地区的概率为 $0.111$ 。（Z 条目是“生死”状态。例如，以 $0.102$ 的概率，东北部的一家大型电力和电子设备公司明年将退出这个系统：倒闭、搬迁到国外或迁移到其他类型的公司。存在 $0.021$ 的概率，一家美国制造商全国普查中的公司将进入电子产品领域，或新创建，或从国外迁入东北部。最后，根据这项研究，以 $0.954$ 的概率，不在这些类别中的公司将保持不变。）

马尔可夫模型假设缺乏历史是否合理？
假设初始分布是均匀的，除了 $Z$ 的值为 $0.9$ 。计算从 $n=1$ 到 $n=4$ 的向量。
假设初始分布为：

NE NC S W Z
0.0000 0.6522 0.3478 0.0000 0.0000

计算 $n=1$ 到 $n=4$ 的分布。
找出 $n=50$ 和 $n=51$ 的分布。系统是否已稳定到平衡状态？

答案

看起来合理的假设是，虽然公司的当前位置应该强烈地影响它下一次的位置（例如，它是否会留下来），但之前阶段的位置应该几乎没有影响。也就是说，虽然公司可能会因为当前位置而搬迁或留下来，但它不太可能因为之前的位置而搬迁或留下来。
这段 Octave 会话已编辑，并在最后将输出整理在一个表格中。
octave:1> M=[.787,0,0,.111,.102; > 0,.966,.034,0,0; > 0,.063,.937,0,0; > 0,0,.074,.612,.314; > .021,.009,.005,.010,.954] M = 0.78700 0.00000 0.00000 0.11100 0.10200 0.00000 0.96600 0.03400 0.00000 0.00000 0.00000 0.06300 0.93700 0.00000 0.00000 0.00000 0.00000 0.07400 0.61200 0.31400 0.02100 0.00900 0.00500 0.01000 0.95400 octave:2> v0=[.025;.025;.025;.025;.900] octave:3> v1=M*v0 octave:4> v2=M*v1 octave:5> v3=M*v2 octave:6> v4=M*v3
总结如下表所示。
${\begin{array}{c|cccc}{\vec {p}}_{0}&{\vec {p}}_{1}&{\vec {p}}_{2}&{\vec {p}}_{3}&{\vec {p}}_{4}\\\hline {\begin{pmatrix}0.025000\\0.025000\\0.025000\\0.025000\\0.900000\end{pmatrix}}&{\begin{pmatrix}0.114250\\0.025000\\0.025000\\0.299750\\0.859725\end{pmatrix}}&{\begin{pmatrix}0.210879\\0.025000\\0.025000\\0.455251\\0.825924\end{pmatrix}}&{\begin{pmatrix}0.300739\\0.025000\\0.025000\\0.539804\\0.797263\end{pmatrix}}&{\begin{pmatrix}0.377920\\0.025000\\0.025000\\0.582550\\0.772652\end{pmatrix}}\end{array}}$
这是上一项中 Octave 会话的延续。
octave:7> p0=[.0000;.6522;.3478;.0000;.0000] octave:8> p1=M*p0 octave:9> p2=M*p1 octave:10> p3=M*p2 octave:11> p4=M*p3

总结如下。
${\begin{array}{c|cccc}{\vec {p}}_{0}&{\vec {p}}_{1}&{\vec {p}}_{2}&{\vec {p}}_{3}&{\vec {p}}_{4}\\\hline {\begin{pmatrix}0.00000\\0.65220\\0.34780\\0.00000\\0.00000\end{pmatrix}}&{\begin{pmatrix}0.00000\\0.64185\\0.36698\\0.02574\\0.00761\end{pmatrix}}&{\begin{pmatrix}0.0036329\\0.6325047\\0.3842942\\0.0452966\\0.0151277\end{pmatrix}}&{\begin{pmatrix}0.0094301\\0.6240656\\0.3999315\\0.0609094\\0.0225751\end{pmatrix}}&{\begin{pmatrix}0.016485\\0.616445\\0.414052\\0.073960\\0.029960\end{pmatrix}}\end{array}}$
这部分内容与前面的 Octave 会话类似。
octave:12> M50=M**50 M50 = 0.03992 0.33666 0.20318 0.02198 0.37332 0.00000 0.65162 0.34838 0.00000 0.00000 0.00000 0.64553 0.35447 0.00000 0.00000 0.03384 0.38235 0.22511 0.01864 0.31652 0.04003 0.33316 0.20029 0.02204 0.37437 octave:13> p50=M50*p0 p50 = 0.29024 0.54615 0.54430 0.32766 0.28695 octave:14> p51=M*p50 p51 = 0.29406 0.54609 0.54442 0.33091 0.29076
这接近于稳态。

问题 4

该模型被建议用于某些类型的学习（Wickens 1982，第 41 页）。学习者从一个未决定的状态开始 $s_{U}$ 。最终，学习者必须决定执行响应 $A$ （即，最终进入状态 $s_{A}$ ）或响应 $B$ （最终进入 $s_{B}$ ）。但是，学习者不会直接从未决定的状态转变为确定 $A$ 是正确的（或者 $B$ ）。相反，学习者会花一些时间处于“暂定- $A$ ”状态或“暂定- $B$ ”状态，尝试响应（这里表示为 $t_{A}$ 和 $t_{B}$ ）。假设一旦学习者做出决定，该决定就是最终的，因此一旦进入 $s_{A}$ 或 $s_{B}$ ，就永远不会离开。对于其他状态变化，假设以概率 $p$ 进行任何方向的转换。

构建转移矩阵。
令 $p=0.25$ ，并将初始向量设为 $1$ 在 $s_{U}$ 。运行五步。最终停留在 $s_{A}$ 的概率是多少？
对 $p=0.20$ 执行相同的操作。
绘制概率 $p$ 与最终到达状态 $s_{A}$ 的概率的曲线图。是否存在一个概率 $p$ 的阈值，使得学习者几乎可以肯定在五步之内完成学习？

答案

以下是相关的方程组。
${\begin{array}{*{5}{rc}r}(1-2p)\cdot s_{U}(n)&+&p\cdot t_{A}(n)&+&p\cdot t_{B}(n)&&&&&=&s_{U}(n+1)\\p\cdot s_{U}(n)&+&(1-2p)\cdot t_{A}(n)&&&&&&&=&t_{A}(n+1)\\p\cdot s_{U}(n)&&&+&(1-2p)\cdot t_{B}(n)&&&&&=&t_{B}(n+1)\\&&p\cdot t_{A}(n)&&&+&s_{A}(n)&&&=&s_{A}(n+1)\\&&&&p\cdot t_{B}(n)&&&+&s_{B}(n)&=&s_{B}(n+1)\end{array}}$
因此，我们得到以下结果。
${\begin{pmatrix}1-2p&p&p&0&0\\p&1-2p&0&0&0\\p&0&1-2p&0&0\\0&p&0&1&0\\0&0&p&0&1\end{pmatrix}}{\begin{pmatrix}s_{U}(n)\\t_{A}(n)\\t_{B}(n)\\s_{A}(n)\\s_{B}(n)\end{pmatrix}}={\begin{pmatrix}s_{U}(n+1)\\t_{A}(n+1)\\t_{B}(n+1)\\s_{A}(n+1)\\s_{B}(n+1)\end{pmatrix}}$
以下是 Octave 代码，已去除输出内容。
octave:1> T=[.5,.25,.25,0,0; > .25,.5,0,0,0; > .25,0,.5,0,0; > 0,.25,0,1,0; > 0,0,.25,0,1] T = 0.50000 0.25000 0.25000 0.00000 0.00000 0.25000 0.50000 0.00000 0.00000 0.00000 0.25000 0.00000 0.50000 0.00000 0.00000 0.00000 0.25000 0.00000 1.00000 0.00000 0.00000 0.00000 0.25000 0.00000 1.00000 octave:2> p0=[1;0;0;0;0] octave:3> p1=T*p0 octave:4> p2=T*p1 octave:5> p3=T*p2 octave:6> p4=T*p3 octave:7> p5=T*p4
以下是输出。结束于 $s_{A}$ 的概率约为 $0.23$ .
${\begin{array}{cc|ccccc}&{\vec {p}}_{0}&{\vec {p}}_{1}&{\vec {p}}_{2}&{\vec {p}}_{3}&{\vec {p}}_{4}&{\vec {p}}_{5}\\\hline {\begin{array}{c}s_{U}\\t_{A}\\t_{B}\\s_{A}\\s_{B}\end{array}}&{\begin{array}{c}1\\0\\0\\0\\0\end{array}}&{\begin{array}{c}0.50000\\0.25000\\0.25000\\0.00000\\0.00000\end{array}}&{\begin{array}{c}0.375000\\0.250000\\0.250000\\0.062500\\0.062500\end{array}}&{\begin{array}{c}0.31250\\0.21875\\0.21875\\0.12500\\0.12500\end{array}}&{\begin{array}{c}0.26562\\0.18750\\0.18750\\0.17969\\0.17969\end{array}}&{\begin{array}{c}0.22656\\0.16016\\0.16016\\0.22656\\0.22656\end{array}}\end{array}}$
使用此文件作为learn.m
# Octave 脚本文件用于学习模型。 function w = learn(p) T = [1-2*p,p, p, 0, 0; p, 1-2*p,0, 0, 0; p, 0, 1-2*p,0, 0; 0, p, 0, 1, 0; 0, 0, p, 0, 1]; T5 = T**5; p5 = T5*[1;0;0;0;0]; w = p5(4); endfunction
发出命令octave:1> learn(.20)产生ans = 0.17664.
此 Octave 会话
octave:1> x=(.01:.01:.50)'; octave:2> y=(.01:.01:.50)'; octave:3> for i=.01:.01:.50 > y(100*i)=learn(i); > endfor octave:4> z=[x, y]; octave:5> gplot z
产生此图。没有阈值 - 曲线没有急剧上升的概率。

问题 5

某个城镇位于某个国家（这是一个假设问题）。每年有 10% 的城镇居民搬到该国的其他地方。每年有 1% 的来自其他地方的人搬到该城镇。假设有两个状态 $s_{T}$ ，住在城镇，以及 $s_{C}$ ，住在其他地方。

构建转换矩阵。
从初始分布 $s_{T}=0.3$ 和 $s_{C}=0.7$ 开始，获取前十年的结果。
对 $s_{T}=0.2$ 执行相同的操作。
两种结果相同还是不同？

答案

从这些方程式
${\begin{array}{*{2}{rc}r}0.90\cdot p_{T}(n)&+&0.01\cdot p_{C}(n)&=&p_{T}(n+1)\\0.10\cdot p_{T}(n)&+&0.99\cdot p_{C}(n)&=&p_{C}(n+1)\end{array}}$
我们得到这个矩阵。
${\begin{pmatrix}0.90&0.01\\0.10&0.99\end{pmatrix}}{\begin{pmatrix}p_{T}(n)\\p_{C}(n)\end{pmatrix}}={\begin{pmatrix}p_{T}(n+1)\\p_{C}(n+1)\end{pmatrix}}$
这是 Octave 的结果。
${\begin{array}{c|ccccc}n=0&1&2&3&4&5\\\hline {\begin{array}{c}0.30000\\0.70000\end{array}}&{\begin{array}{c}0.27700\\0.72300\end{array}}&{\begin{array}{c}0.25653\\0.74347\end{array}}&{\begin{array}{c}0.23831\\0.76169\end{array}}&{\begin{array}{c}0.22210\\0.77790\end{array}}&{\begin{array}{c}0.20767\\0.79233\end{array}}\end{array}}$ ${\begin{array}{|ccccc}6&7&8&9&10\\\hline {\begin{array}{c}0.19482\\0.80518\end{array}}&{\begin{array}{c}0.18339\\0.81661\end{array}}&{\begin{array}{c}0.17322\\0.82678\end{array}}&{\begin{array}{c}0.16417\\0.83583\end{array}}&{\begin{array}{c}0.15611\\0.84389\end{array}}\end{array}}$
这是 $s_{T}=0.2$ 结果。
${\begin{array}{c|ccccc}n=0&1&2&3&4&5\\\hline {\begin{array}{c}0.20000\\0.80000\end{array}}&{\begin{array}{c}0.18800\\0.81200\end{array}}&{\begin{array}{c}0.17732\\0.82268\end{array}}&{\begin{array}{c}0.16781\\0.83219\end{array}}&{\begin{array}{c}0.15936\\0.84064\end{array}}&{\begin{array}{c}0.15183\\0.84817\end{array}}\end{array}}$ ${\begin{array}{|ccccc}6&7&8&9&10\\\hline {\begin{array}{c}0.14513\\0.85487\end{array}}&{\begin{array}{c}0.13916\\0.86084\end{array}}&{\begin{array}{c}0.13385\\0.86615\end{array}}&{\begin{array}{c}0.12913\\0.87087\end{array}}&{\begin{array}{c}0.12493\\0.87507\end{array}}\end{array}}$
虽然概率向量开始 $0.1$ 不同，但它们最终只相差 $0.032$ 。所以它们很相似。

问题 6

对于世界系列应用程序，使用计算机为 $p=0.55$ 和 $p=0.6$ 生成七个向量。

即使国家联盟球队每场比赛获胜的概率只有 $0.45$ 或 $0.40$ ，它们赢得冠军的概率是多少？
绘制概率 $p$ 与美国联盟球队赢得冠军的概率之间的关系图。是否存在一个阈值——一个 $p$ ，超过这个阈值，实力较强的球队基本上就能够确保获胜？

(下面包含一些示例代码。)

答案

这些是 $p=.55$ 向量，

	$n=0$	$n=1$	$n=2$	$n=3$	$n=4$	$n=5$	$n=6$	$n=7$
0-0	1	0	0	0	0	0	0	0	0
1-0	0	0.55000	0	0	0	0	0	0	0
0-1	0	0.45000	0	0	0	0	0	0	0
2-0	0	0	0.30250	0	0	0	0	0	0
1-1	0	0	0.49500	0	0	0	0	0	0
0-2	0	0	0.20250	0	0	0	0	0	0
3-0	0	0	0	0.16638	0	0	0	0	0
2-1	0	0	0	0.40837	0	0	0	0	0
1-2	0	0	0	0.33412	0	0	0	0	0
0-3	0	0	0	0.09112	0	0	0	0	0
4-0	0	0	0	0	0.09151	0.09151	0.09151	0.09151	0.09151
3-1	0	0	0	0	0.29948	0	0	0	0
2-2	0	0	0	0	0.36754	0	0	0	0
1-3	0	0	0	0	0.20047	0	0	0	0
0-4	0	0	0	0	0.04101	0.04101	0.04101	0.04101	0.04101
4-1	0	0	0	0	0	0.16471	0.16471	0.16471	0.16471
3-2	0	0	0	0	0	0.33691	0	0	0
2-3	0	0	0	0	0	0.27565	0	0	0
1-4	0	0	0	0	0	0.09021	0.09021	0.09021	0.09021
4-2	0	0	0	0	0	0	0.18530	0.18530	0.18530
3-3	0	0	0	0	0	0	0.30322	0.30322	0
2-4	0	0	0	0	0	0	0.12404	0.12404	0.12404
4-3	0	0	0	0	0	0	0	0	0.16677
3-4	0	0	0	0	0	0	0	0	0.13645

而这些是 $p=.60$ 向量。

	$n=0$	$n=1$	$n=2$	$n=3$	$n=4$	$n=5$	$n=6$	$n=7$
0-0	1	0	0	0	0	0	0	0
1-0	0	0.60000	0	0	0	0	0	0
0-1	0	0.40000	0	0	0	0	0	0
2-0	0	0	0.36000	0	0	0	0	0
1-1	0	0	0.48000	0	0	0	0	0
0-2	0	0	0.16000	0	0	0	0	0
3-0	0	0	0	0.21600	0	0	0	0
2-1	0	0	0	0.43200	0	0	0	0
1-2	0	0	0	0.28800	0	0	0	0
0-3	0	0	0	0.06400	0	0	0	0
4-0	0	0	0	0	0.12960	0.12960	0.12960	0.12960
3-1	0	0	0	0	0.34560	0	0	0
2-2	0	0	0	0	0.34560	0	0	0
1-3	0	0	0	0	0.15360	0	0	0
0-4	0	0	0	0	0.02560	0.02560	0.02560	0.02560
4-1	0	0	0	0	0	0.20736	0.20736	0.20736
3-2	0	0	0	0	0	0.34560	0	0
2-3	0	0	0	0	0	0.23040	0	0
1-4	0	0	0	0	0	0.06144	0.06144	0.06144
4-2	0	0	0	0	0	0	0.20736	0.20736
3-3	0	0	0	0	0	0	0.27648	0
2-4	0	0	0	0	0	0	0.09216	0.09216
4-3	0	0	0	0	0	0	0	0.16589
3-4	0	0	0	0	0	0	0	0.11059

来自计算机代码部分的脚本可以轻松地进行调整。
# 用于计算世界大赛结果的概率的 Octave 脚本文件。 function w = markov(p,v) q = 1-p; A=[0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0; # 0-0 p,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0; # 1-0 q,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0; # 0-1_ 0,p,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0; # 2-0 0,q,p,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0; # 1-1 0,0,q,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0; # 0-2__ 0,0,0,p,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0; # 3-0 0,0,0,q,p,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0; # 2-1 0,0,0,0,q,p, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0; # 1-2_ 0,0,0,0,0,q, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0; # 0-3 0,0,0,0,0,0, p,0,0,0,1,0, 0,0,0,0,0,0, 0,0,0,0,0,0; # 4-0 0,0,0,0,0,0, q,p,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0; # 3-1__ 0,0,0,0,0,0, 0,q,p,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0; # 2-2 0,0,0,0,0,0, 0,0,q,p,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0; # 1-3 0,0,0,0,0,0, 0,0,0,q,0,0, 0,0,1,0,0,0, 0,0,0,0,0,0; # 0-4_ 0,0,0,0,0,0, 0,0,0,0,0,p, 0,0,0,1,0,0, 0,0,0,0,0,0; # 4-1 0,0,0,0,0,0, 0,0,0,0,0,q, p,0,0,0,0,0, 0,0,0,0,0,0; # 3-2 0,0,0,0,0,0, 0,0,0,0,0,0, q,p,0,0,0,0, 0,0,0,0,0,0; # 2-3__ 0,0,0,0,0,0, 0,0,0,0,0,0, 0,q,0,0,0,0, 1,0,0,0,0,0; # 1-4 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,p,0, 0,1,0,0,0,0; # 4-2 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,q,p, 0,0,0,0,0,0; # 3-3_ 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,q, 0,0,0,1,0,0; # 2-4 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,p,0,1,0; # 4-3 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,q,0,0,1]; # 3-4 v7 = (A**7) * v; w = v7(11)+v7(16)+v7(20)+v7(23) endfunction
使用此脚本，当美联获得 $p=0.55$ 赢得每场比赛的概率时，他们赢得先赢四场系列赛的概率为 $0.60829$ 。当他们赢得任何一场比赛的概率为 $p=0.6$ 时，他们赢得系列赛的概率为 $0.71021$ 。
此 Octave 会话
octave:1> v0=[1;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0]; octave:2> x=(.01:.01:.99)'; octave:3> y=(.01:.01:.99)'; octave:4> for i=.01:.01:.99 > y(100*i)=markov(i,v0); > endfor octave:5> z=[x, y]; octave:6> gplot z
产生了这张图。凭肉眼观察，如果 $p>0.7$ ，那么这支队伍就几乎可以确定赢得系列赛了。

问题 7

一个 **马尔科夫矩阵** 的每个条目都为正，并且每一列的总和为 $1$ 。

检查本主题中所示的三个转移矩阵是否满足这两个条件。任何转移矩阵都必须满足吗？
观察如果 $A{\vec {v}}_{0}={\vec {v}}_{1}$ 以及 $A{\vec {v}}_{1}={\vec {v}}_{2}$ ，那么 $A^{2}$ 是从 ${\vec {v}}_{0}$ 到 ${\vec {v}}_{2}$ 的转移矩阵。证明马尔科夫矩阵的幂也是一个马尔科夫矩阵。
通过证明两个适当大小的马尔科夫矩阵的乘积是一个马尔科夫矩阵，来概括前一项。

答案

它们必须满足这个条件，因为状态转移的总概率（包括回到相同状态）为 100%。
参见第三项的答案。
我们将做 $2\!\times \!2$ 的情况；更大的情况只是符号问题。此乘积
${\begin{pmatrix}a_{1,1}&a_{1,2}\\a_{2,1}&a_{2,2}\end{pmatrix}}{\begin{pmatrix}b_{1,1}&b_{1,2}\\b_{2,1}&b_{2,2}\end{pmatrix}}={\begin{pmatrix}a_{1,1}b_{1,1}+a_{1,2}b_{2,1}&a_{1,1}b_{1,2}+a_{1,2}b_{2,2}\\a_{2,1}b_{1,1}+a_{2,2}b_{2,1}&a_{2,1}b_{1,2}+a_{2,2}b_{2,2}\\\end{pmatrix}}$
具有以下两个列和
$(a_{1,1}b_{1,1}+a_{1,2}b_{2,1})+(a_{2,1}b_{1,1}+a_{2,2}b_{2,1})=(a_{1,1}+a_{2,1})\cdot b_{1,1}+(a_{1,2}+a_{2,2})\cdot b_{2,1}=1\cdot b_{1,1}+1\cdot b_{2,1}=1$
以及
$(a_{1,1}b_{1,2}+a_{1,2}b_{2,2})+(a_{2,1}b_{1,2}+a_{2,2}b_{2,2})=(a_{1,1}+a_{2,1})\cdot b_{1,2}+(a_{1,2}+a_{2,2})\cdot b_{2,2}=1\cdot b_{1,2}+1\cdot b_{2,2}=1$
如所要求的。

计算机代码

该脚本 *markov.m* 用于计算机代数系统 Octave，用来生成世界系列结果表。（井号#标记该行后面的内容为注释。）

# Octave script file to compute chance of World Series outcomes.
function w = markov(p,v)
q = 1-p;
A=[0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0;  # 0-0
p,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0;  # 1-0
q,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0;  # 0-1_
0,p,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0;  # 2-0
0,q,p,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0;  # 1-1
0,0,q,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0;  # 0-2__
0,0,0,p,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0;  # 3-0
0,0,0,q,p,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0;  # 2-1
0,0,0,0,q,p, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0;  # 1-2_
0,0,0,0,0,q, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0;  # 0-3
0,0,0,0,0,0, p,0,0,0,1,0, 0,0,0,0,0,0, 0,0,0,0,0,0;  # 4-0
0,0,0,0,0,0, q,p,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0;  # 3-1__
0,0,0,0,0,0, 0,q,p,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0;  # 2-2
0,0,0,0,0,0, 0,0,q,p,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0;  # 1-3
0,0,0,0,0,0, 0,0,0,q,0,0, 0,0,1,0,0,0, 0,0,0,0,0,0;  # 0-4_
0,0,0,0,0,0, 0,0,0,0,0,p, 0,0,0,1,0,0, 0,0,0,0,0,0;  # 4-1
0,0,0,0,0,0, 0,0,0,0,0,q, p,0,0,0,0,0, 0,0,0,0,0,0;  # 3-2
0,0,0,0,0,0, 0,0,0,0,0,0, q,p,0,0,0,0, 0,0,0,0,0,0;  # 2-3__
0,0,0,0,0,0, 0,0,0,0,0,0, 0,q,0,0,0,0, 1,0,0,0,0,0;  # 1-4
0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,p,0, 0,1,0,0,0,0;  # 4-2
0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,q,p, 0,0,0,0,0,0;  # 3-3_
0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,q, 0,0,0,1,0,0;  # 2-4
0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,p,0,1,0;  # 4-3
0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,0,0,0,0, 0,0,q,0,0,1]; # 3-4
w = A * v;
endfunction

然后 Octave 会话如下所示。

> v0=[1;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0;0]
> p=.5
> v1=markov(p,v0)
> v2=markov(p,v1)
...

翻译成其他计算机代数系统应该很容易 - 所有的系统都有类似的命令。

参考文献

Feller, William (1968), An Introduction to Probability Theory and Its Applications, vol. 1 (3rd ed.), Wiley.
Kelton, Christina M.L. (1983), Trends on the Relocation of U.S. Manufacturing, Wiley.
Wickens, Thomas D. (1982), Models for Behavior, W.H. Freeman.

NE	NC	S	W	Z
0.0000	0.6522	0.3478	0.0000	0.0000