统计/测试数据/卡方检验

总体思路

假设你观察到绝对频率 $o_{i}$ 和在零假设下预期的绝对频率 $e_{i}$ ，那么

$V=\sum _{i}{\frac {(o_{i}-e_{i})^{2}}{e_{i}}}\approx \chi _{f}^{2}.$

$i$ 可能表示从 $1,...,I$ 开始的简单索引，甚至可能是从 $(1,...,1)$ 到 $(I_{1},...,I_{p})$ 的多重索引。

检验统计量 $V$ 近似地服从 $\chi ^{2}$ 分布，如果

1. 对于所有预期的绝对频率 $e_{i}$ 满足 $e_{i}\geq 1$ ，并且
2. 对于至少 80% 的预期的绝对频率 $e_{i}$ 满足 $e_{i}\geq 5$ 。

注意：在不同的书籍中，你可能会发现不同的近似条件，请随时添加更多条件。

自由度可以通过可以自由选择的绝对观测频率的数量来计算。我们知道绝对预期频率之和为

$\sum _{i}o_{i}=n$

这意味着自由度的最大数量是$I-1$. 我们可能需要从自由度中减去从样本中估计所需的参数数量，因为这意味着观察频率之间存在进一步的关系。

检验统计量的分布推导

根据 Boero, Smith 和 Wallis (2002) 的说法，我们需要了解多元统计才能理解推导过程。

描述样本中绝对观测频率$(o_{1},...,o_{k})$ 的随机变量$O$ 服从多项分布$O\sim M(n;p_{1},...,p_{k})$，其中 $n$ 是样本中的观测数量，$p_{i}$ 是未知的真实概率。在某些近似条件下（中心极限定理），可以得到以下结果：

$O\sim M(n;p_{1},...,p_{k})\approx N_{k}(\mu ;\Sigma )$

其中 $N_{k}$ 是多元 $k$ 维正态分布，$\mu =(np_{1},...,np_{k})$，以及

$\Sigma =(\sigma _{ij})_{i,j=1,...,k}={\begin{cases}-np_{i}p_{j},&{\mbox{if }}i\neq j\\np_{i}(1-p_{i})&{\mbox{otherwise}}\end{cases}}$.

协方差矩阵$\Sigma$ 的秩仅为 $k-1$，因为 $p_{1}+...+p_{k}=1$.

如果我们考虑广义逆$\Sigma ^{-}$，那么可以得到以下结果：

$(O-\mu )^{T}\Sigma ^{-}(O-\mu )=\sum _{i}{\frac {(o_{i}-e_{i})^{2}}{e_{i}}}\sim \chi _{k-1}^{2}$

分布（证明见 Pringle 和 Rayner，1971）。

由于多项分布近似于多元正态分布，该项为

$\sum _{i}{\frac {(o_{i}-e_{i})^{2}}{e_{i}}}\approx \chi _{k-1}^{2}$

分布。如果观察到的概率之间存在进一步的关系，那么 $\Sigma$ 的秩将进一步降低。

一个常见的情况是，预期概率所依赖的参数需要从观察到的数据中估计出来。如上所述，通常规定卡方分布的自由度为 $k-1-r$，其中 $r$ 是估计参数的数量。如果使用最大似然法进行参数估计，则只有当估计量是有效的时，这才是正确的 (Chernoff 和 Lehmann, 1954)。一般情况下，自由度介于 $k-1-r$ 和 $k-1$ 之间。

示例

最著名的例子将在后面的部分详细介绍：$\chi ^{2}$ 独立性检验、$\chi ^{2}$ 均匀性检验和 $\chi ^{2}$ 分布检验。

$\chi ^{2}$ 检验可用于生成 "快速且粗略" 的检验，例如：

$H_{0}:$ 随机变量 $X$ 是对称分布的，与

$H_{1}:$ 随机变量 $X$ 不是对称分布的。

我们知道，在对称分布的情况下，算术平均值 ${\bar {x}}$ 和中位数应该几乎相同。因此，测试这个假设的一个简单方法是统计有多少观测值小于平均值 ($n_{-}$)，以及有多少观测值大于算术平均值 ($n_{+}$)。如果平均值和中位数相同，那么 50% 的观测值应该小于平均值，而 50% 的观测值应该大于平均值。它成立

$V={\frac {(n_{-}-n/2)^{2}}{n/2}}+{\frac {(n_{+}-n/2)^{2}}{n/2}}\approx \chi _{1}^{2}$.

参考资料

• Boero, G., Smith, J., Wallis, K.F. (2002). 一些拟合优度检验的性质, 沃里克大学，经济学系，沃里克经济学研究论文系列 653, http://www2.warwick.ac.uk/fac/soc/economics/research/papers/twerp653.pdf
• Chernoff H, Lehmann E.L. (1952). 在 $\chi ^{2}$ 拟合优度检验中使用最大似然估计. 数学统计年鉴; 25:576-586.
• Pringle, R.M., Rayner, A.A. (1971). 广义逆矩阵及其在统计学中的应用. 伦敦: 查尔斯·格里芬.
• 维基百科，皮尔逊卡方检验: http://en.wikipedia.org/wiki/Pearson%27s_chi-square_test