统计学/概率论/贝叶斯

贝叶斯分析是统计学的一个分支，其基础思想是我们事先对感兴趣的概率有一些了解，这些概率被称为先验概率。这可能是您对特定事件的信念程度、先前研究的结果，或概率的一般商定起始值。“贝叶斯”一词来源于贝叶斯规则或定律，这是关于条件概率的一个定律。“贝叶斯”的对立面有时被称为“频率统计”。

示例

考虑一个装有3枚硬币的盒子，它们正面朝上的概率分别为1/4、1/2和3/4。我们任意选择其中一枚硬币。因此，我们将1/3作为先验概率$P(C_{1})$，表示选择了第1枚硬币。经过5次抛掷，其中X=4次正面朝上，似乎不太可能是第1枚硬币。我们计算第1枚硬币的后验概率，如下所示：

${\begin{aligned}P(C_{1}|X=4)&={\frac {P(X=4|C_{1})P(C_{1})}{P(X=4)}}\\&={\frac {P(X=4|C_{1})P(C_{1})}{P(X=4|C_{1})P(C_{1})+P(X=4|C_{2})P(C_{2})+P(X=4|C_{3})P(C_{3})}}\\&={\frac {{5 \choose 4}({\frac {1}{4}})^{4}{\frac {3}{4}}{\frac {1}{3}}}{{5 \choose 4}({\frac {1}{4}})^{4}{\frac {3}{4}}{\frac {1}{3}}+{5 \choose 4}({\frac {1}{2}})^{4}{\frac {1}{2}}{\frac {1}{3}}+{5 \choose 4}({\frac {3}{4}})^{4}{\frac {1}{4}}{\frac {1}{3}}}}\end{aligned}}$

用文字描述

已知抛掷五次硬币的结果为四次正面，则硬币为第一枚硬币的概率……等于已知硬币为第一枚硬币的情况下，抛掷五次硬币出现四次正面的概率，乘以硬币为第一枚硬币的概率。所有这些都除以抛掷五次硬币出现四次正面的概率（不考虑选择哪枚硬币）。二项式系数以及所有分母在将1/2扩展到2/4时都会抵消。这将得到

${\frac {3}{3+32+81}}={\frac {3}{116}}$

同样地，我们发现

$P(C_{2}|X=4)={\frac {32}{3+32+81}}={\frac {32}{116}}$

以及

$P(C_{3}|X=4)={\frac {81}{3+32+81}}={\frac {81}{116}}$.

这表明，在检查了五次抛掷的结果后，我们最有可能选择了第三枚硬币。

实际上，对于给定的结果，分母并不重要，只有相对概率$p(C_{i})=P(C_{i}|X=4)/P(X=4)$ 当结果为三次正面时，概率会倾向于第二枚硬币，并且如下表所示，概率会进一步发生变化。

正面次数	$p(C_{1})$	$p(C_{2})$	$p(C_{3})$
5	1	32	243
4	3	32	81
3	9	32	27
2	27	32	9
1	81	32	3
0	243	32	1