统计学/假设检验

介绍

在前面的章节中，我们讨论了两种用于估计未知参数的方法，即点估计和区间估计。估计未知参数是统计推断中一个重要的领域，在本节中，我们将讨论另一个重要领域，即假设检验，它与决策有关。事实上，置信区间和假设检验的概念密切相关，正如我们将演示的那样。

基本概念和术语

在讨论如何进行假设检验以及评估假设检验的“好坏”之前，让我们首先介绍一些与假设检验相关的基本概念和术语。

定义。 （假设）一个（统计）假设是对总体参数的陈述。

有两个术语用来对假设进行分类

定义。 （简单和复合假设）如果一个假设完全指定了总体的分布（也就是说，该分布是完全已知的，没有任何未知参数参与），则它是简单假设，否则它是复合假设。

有时，是否一个假设是简单还是复合并不立即清楚。为了更清楚地理解假设的分类，让我们考虑以下示例。

示例。 考虑一个参数为$\theta$的分布，它在参数空间$\Theta =[0,\infty )$中取值。确定以下每个假设是简单还是复合。

(a) $\theta =1$.

(b) $\theta =\theta _{0}$ 其中 $\theta _{0}\in \Theta$ 是已知的。

(c) $\theta >1$.

(d) $\theta >\theta _{0}$ 其中 $\theta _{0}\in \Theta$ 是已知的。

(e) $\theta \leq \theta _{0}$ 其中 $\theta _{0}\in \Theta$ 是已知的。

(f) $\theta \in \Theta _{0}$ 其中 $\Theta _{0}$ 是 $\Theta$ 的一个非空子集。

解决方案.

• (a) 和 (b) 是简单假设，因为它们都完全指定了分布。
• (c)、(d) 和 (e) 是复合假设，因为参数 $\theta$ 没有完全确定，那么分布也是如此。
• (f) 可能是简单假设或复合假设，具体取决于 $\Theta _{0}$。如果 $\Theta _{0}$ 仅包含一个元素，那么它就是简单假设。否则，它是复合假设。

在假设检验中，我们考虑两个假设。

定义： (零假设和备择假设) 在假设检验中，被检验的假设是 零假设 (用 $H_{0}$ 表示)，另一个 互补 假设 (对 $H_{0}$) 是 备择假设 (用 $H_{1}$ 表示)。

备注：

• $H_{1}$ 是 $H_{0}$ 的互补假设，是指如果 $H_{0}$ 为真 (假)，那么 $H_{1}$ 为假 (真) (恰好 $H_{0}$ 和 $H_{1}$ 之一为真)。因此，我们通常说 $H_{0}$ 被检验 对抗 $H_{1}$ (所以我们经常写 $H_{0}\quad {\text{vs.}}\quad H_{1}$ )。
• 通常，$H_{0}$ 通常对应于 现状 (“无影响”)，而 $H_{1}$ 对应于一些有趣的 “研究发现” (因此，$H_{1}$ 有时也被称为 研究假设 )。

• 由于 $H_{0}$ 通常对应于现状，我们通常 假设 $H_{0}$ 为真，除非有充分的证据反驳它。
• 这在某种程度上类似于法律原则的无罪推定，该原则指出，任何被指控犯罪的人都被认为是无罪（$H_{0}$被假定为真），直到被证明有罪（有足够的证据反对$H_{0}$）。

$H_{0}$和$H_{1}$的一般形式是$H_{0}:\theta \in \Theta _{0}$和$H_{1}:\theta \in \Theta _{1}$，其中$\Theta _{1}=\Theta _{0}^{c}$，它是$\Theta _{0}$的补集（相对于$\Theta$），即 $\Theta _{0}^{c}=\Theta \setminus \Theta _{0}$（$\Theta$是参数空间，包含$\theta$的所有可能值）。选择$\Theta _{0}$的补集在$H_{1}$中的原因是$H_{1}$是$H_{0}$的补充假设，如上述定义所示。

备注：

• 在一些书籍中，只需要$\Theta _{0}$ 和 $\Theta _{1}$ 为参数空间 $\Theta$ 的不相交（非空）子集，并且没有必要$\Theta _{0}\cup \Theta _{1}=\Theta$。
• 但是，通常情况下，仍然假设恰好一个$H_{0}$ 和 $H_{1}$ 为真，这意味着 $\theta$ 不应该取值在集合$\Theta _{0}\cup \Theta _{1}$ 之外（否则，$H_{0}$ 和 $H_{1}$ 都不为真）。
• 因此，在这种情况下，我们实际上可以说参数空间确实是$\Theta _{0}\cup \Theta _{1}$。在这个参数空间（因为$\theta$ 假设在这个并集取值），那么$\Theta _{1}$ 是 $\Theta _{0}$ 的补集。
• 或者，有些人可能认为参数空间与分布“相关联”，因此对于给定的分布，参数空间被固定为分布本身所建议的。所以，在这种情况下，$\Theta _{1}$ 不是 $\Theta _{0}$ 的补集（相对于参数空间）。
• 尽管对 $\Theta _{0}$ 和 $\Theta _{1}$ 的定义有所不同，但一个共同的特点是，我们假设 恰好 $H_{0}$ 和 $H_{1}$ 之一为真。

示例. 假设你的朋友给你一枚硬币让你抛，你不知道它是否是公平的。然而，由于这枚硬币是由你的朋友给你的，你相信这枚硬币是公平的，除非有充分的证据表明并非如此。在这个背景下，零假设和备择假设是什么（假设硬币永远不会立起来）？

解答. 令 $p$ 为抛硬币后正面朝上的概率。零假设是 $H_{0}:p={\frac {1}{2}}$。备择假设是 $H_{1}:p\neq {\frac {1}{2}}$.

练习. 假设我们在上面的问题中将“硬币”替换为“六面骰子”。零假设和备择假设是什么？（提示: 你可以令 $p_{1},p_{2},\dotsc ,p_{6}$ 分别表示“1”、“2”、“3”、“4”、“5”、“6” 在掷骰子后出现的概率）

解决方案

令 $p_{1},p_{2},\dotsc ,p_{6}$ 分别表示“1”、“2”、“3”、“4”、“5”、“6” 在掷骰子后出现的概率。零假设是 $H_{0}:p_{1}=p_{2}=\dotsb =p_{6}={\frac {1}{6}}$，备择假设是 $H_{1}:{\text{at least one of }}p_{1},\dotsc ,p_{6}\neq {\frac {1}{6}}$（事实上，当 $p_{1},\dotsc ,p_{6}$ 中的一个不等于 ${\frac {1}{6}}$ 时，它必然会导致至少另一个概率不同于 ${\frac {1}{6}}$）。

我们已经提到，假设 $H_{0}$ 和 $H_{1}$ 之一为真。为了做出决定，我们需要 决定 哪个假设应该被认为是正确的。当然，正如你可能预料的那样，这个决定并不完美，我们的决定会有一些错误。因此，我们不能说我们“证明”一个特定的假设是正确的（也就是说，我们不能 确定 一个特定的假设是正确的）。尽管如此，当我们有 足够的证据 让我们做出这个决定（理想情况下，错误很小 ）时，我们可以“认为”（或“接受”）一个特定的假设是正确的（但 不是 证明它是正确的）。

备注：

• 从哲学角度来说，“不拒绝$H_{0}$”与“接受$H_{0}$”是不同的，因为“不拒绝$H_{0}$”可能意味着我们实际上并不认为$H_{0}$ 是真的，只是没有足够的证据来拒绝$H_{0}$，而不是意味着我们认为$H_{0}$ 是真的。另一方面，“接受$H_{0}$”应该意味着我们认为$H_{0}$ 是真的。
• 尽管如此，我们不会处理这些哲学问题，我们将假设只要没有足够的证据来拒绝$H_{0}$（即，我们不拒绝$H_{0}$），我们将像$H_{0}$ 为真一样行动，也就是说，仍然接受$H_{0}$，即使我们可能实际上并不“相信”$H_{0}$。
• 当然，在其他一些地方，由于这些哲学问题，避免使用“接受零假设”的说法。

现在，我们面临着两个问题。首先，我们应该考虑哪些证据？其次，“足够”是什么意思？对于第一个问题，一个自然的答案是，我们应该考虑观察到的样本，对吗？这是因为我们对总体进行假设，而样本是从总体中抽取的，因此与总体密切相关，这应该有助于我们做出决定。

为了回答第二个问题，我们需要假设检验的概念。特别是在假设检验中，我们将构建一个所谓的拒绝域或临界域来帮助我们确定是否应该拒绝零假设（即，认为$H_{0}$ 为假），因此（自然地）认为$H_{1}$ 为真（“接受”$H_{1}$）（我们假设$H_{0}$ 和 $H_{1}$ 中只有一个为真，因此当我们认为其中一个为假时，我们应该认为另一个为真）。特别地，当我们不拒绝$H_{0}$ 时，我们将像 $H_{0}$ 为真那样行动，或者接受 $H_{0}$ 为真（因此也应该拒绝 $H_{1}$ ，因为 $H_{0}$ 或 $H_{1}$ 中只有一个为真）。

让我们正式定义以下与假设检验相关的术语。

定义. （假设检验）一个假设检验 是一个规则，它指定对于哪些观测样本值，我们（不拒绝并）接受$H_{0}$ 为真（因此拒绝 $H_{1}$），以及对于哪些观测样本值，我们拒绝$H_{0}$ 并接受$H_{1}$.

备注：

• 假设检验有时为了简洁起见简称为“检验”。我们有时也使用希腊字母"$\varphi$"，"$\psi$"，等等来表示检验。

定义。（拒绝域和接受域）设 $S$ 是包含随机样本 $X_{1},\dotsc ,X_{n}$ 所有可能观测值的集合，$\{\mathbf {x} \}=\{(x_{1},\dotsc ,x_{n})\}$。拒绝域（用 $R$ 表示）是 $S$ 的子集，其中拒绝 $H_{0}$。拒绝域的补集（相对于集合 $S$）（$R^{c}$）是 接受域（因此它是 $S$ 的子集，其中接受 $H_{0}$）。

备注：

• 图形上，它看起来像

    S
*------------*
|///|........|
|///\........|
|////\.......| 
|/////\......|
*------------*

*--*
|//|: R
*--*

*--*
|..|: R^c
*--*

通常，我们使用 检验统计量（用于进行假设检验的统计量）来指定拒绝域。例如，如果随机样本是 $X_{1},\dotsc ,X_{n}$ 且检验统计量是 ${\overline {X}}$，则拒绝域可能是，例如，$R=\{\mathbf {x} :{\overline {x}}<2\}$（其中 $x_{1},\dotsc ,x_{n}$ 和 ${\overline {x}}$ 分别是 $X_{1},\dotsc ,X_{n}$ 和 ${\overline {X}}$ 的观察值）。通过这种方式，我们可以直接构建假设检验：当 $\mathbf {x} \in R$ 时，我们拒绝 $H_{0}$ 并接受 $H_{1}$。否则，如果 $\mathbf {x} \in R^{c}$，我们接受 $H_{0}$。因此，一般来说，为了在假设检验中指定规则，我们只需要一个 拒绝域。之后，我们将应用该检验来检验 $H_{0}$ 相对于 $H_{1}$。关于以这种方式构建的假设检验，有一些相关的术语

定义。（左、右和双尾检验）令 $T(\mathbf {x} )=T(x_{1},\dotsc ,x_{n})$ 为假设检验的观察检验统计量，且 $x_{1},\dotsc ,x_{n}$ 为随机样本的实现。

• 如果拒绝域的形式为 $\{\mathbf {x} :T(\mathbf {x} )\leq k_{1}\}$，则该假设检验称为 左尾检验（或下尾检验）。
• 如果拒绝域的形式为$\{\mathbf {x} :T(\mathbf {x} )\geq k_{2}\}$，那么假设检验称为右尾检验（或上尾检验）。
• 如果拒绝域的形式为$\{\mathbf {x} :T(\mathbf {x} )\leq k_{3}{\text{ or }}T(\mathbf {x} )\geq k_{4}\}$，那么假设检验称为双尾检验。

备注：

• 不等式符号可以是严格的，也就是说，上面的不等式符号可以替换为 "$<$" 和 "$>$"。
• 我们使用“尾部”这个术语，因为拒绝域包括位于分布“极端部分”（即最左边（具有小值）或最右边（具有大值）部分）（称为尾部）的值。
• 当$k_{3}=-k_{4}$时，我们可以说双尾检验是等尾的。在这种情况下，我们也可以将拒绝域表示为$\{\mathbf {x} :|T(\mathbf {x} )|\geq k_{4}\}$。
• 我们有时也将上尾检验和下尾检验称为单边检验，双尾检验称为双边检验。

示例。假设拒绝域为$R=\{(x_{1},x_{2},x_{3}):x_{1}+x_{2}+x_{3}>6\}$，并且观察到$x_{1}=1,x_{2}=2,x_{3}=3$。我们应该接受哪个假设，$H_{0}$ 还是 $H_{1}$？

解答。由于$(x_{1},x_{2},x_{3})\in R^{c}$，我们应该（不拒绝并）接受$H_{0}$。

练习。这种假设检验是什么类型？

解决方案

右尾检验。

正如我们已经提到的，假设检验做出的决定不应该完美，并且会发生错误。事实上，当我们仔细思考时，实际上有两种类型的错误，如下所示

定义。 （I 类和 II 类错误）I 类错误 是在 $H_{0}$ 为 真 时，拒绝 $H_{0}$。II 类错误 是在 $H_{0}$ 为 假 时，接受 $H_{0}$。

我们可以使用以下表格更清楚地说明这两种类型的错误。

I 类和 II 类错误

	接受 $H_{0}$	拒绝 $H_{0}$
$H_{0}$ 为真	正确决策	I 类错误
$H_{0}$ 为假	II 类错误	正确决策

我们可以表示 $H_{0}:\theta \in \Theta _{0}$ 和 $H_{1}:\theta \in \Theta _{0}^{c}$。另外，假设拒绝域为 $R=R(\mathbf {X} )$ （即，用 "$X$" 替换 "$x$" 的拒绝域）。通常，当 "$R$" 与 "$X$" 结合在一起时，我们假设 $R=R(\mathbf {X} )$。

接下来，我们针对犯第一类和第二类错误的 概率 做一些符号和表达式说明：（假设 $X_{1},\dotsc ,X_{n}$ 是一个随机样本，$\mathbf {X} =(X_{1},\dotsc ,X_{n})$)

• 犯第一类错误的概率，记作 $\alpha (\theta )$，当 $\theta \in \Theta _{0}$ 时，为 $\mathbb {P} _{\theta }(\mathbf {X} \in R)$。
• 犯第二类错误的概率，记作 $\beta (\theta )$，当 $\theta \in \Theta _{0}^{c}$ 时，为 $\mathbb {P} _{\theta }(\mathbf {X} \in R^{c})=1-\mathbb {P} _{\theta }(\mathbf {X} \in R)$。

备注：

• 符号说明：在其他地方，$\alpha (\theta )$ 可能被表示为 "$\mathbb {P} (\mathbf {X} \in R|\theta \in \Theta _{0})$"、"$\mathbb {P} (\mathbf {X} \in R|H_{0})$" 或 "$\mathbb {P} (\mathbf {X} \in R|H_{0}{\text{ is true}})$"。要注意，这些符号不应被理解为条件概率。它们只是符号而已。$\beta (\theta )$ 也是同理。
• 当 $\Theta _{0}$ 只包含一个值时，我们将 I 类错误概率简单地表示为 $\alpha$。同样，当 $\Theta _{1}$ 只包含一个值时，我们将 II 类错误概率简单地表示为 $\beta$。

请注意，$\alpha (\theta )$ 和 $\beta (\theta )$ 中有一个共同的表达式，即“$\mathbb {P} _{\theta }((X_{1},\dotsc ,X_{n})\in R)$”。事实上，我们也可以将此表达式写成 $$\mathbb {P} _{\theta }((X_{1},\dotsc ,X_{n})\in R)={\begin{cases}\alpha (\theta ),&\theta \in \Theta _{0};\\1-\beta (\theta ),&\theta \in \Theta _{0}^{c}.\end{cases}}$$ 通过此表达式，我们可以观察到，它包含了所有关于错误概率的信息，这些错误概率来自于一个具有拒绝域 $R$ 的假设检验。因此，我们将为它赋予一个特殊的名称。

定义。 （功效函数）令 $R$ 为一个假设检验的拒绝域，并且 $X_{1},\dotsc ,X_{n}$ 为一个随机样本。则，该假设检验的 功效函数 为 $$\pi (\theta )=\mathbb {P} _{\theta }((X_{1},\dotsc ,X_{n})\in R)$$ 其中 $\theta \in \Theta$。

备注：

• “$\pi$” 可以理解为希腊字母“p”。我们选择 $\pi$ 而不是 $p$，因为“$p$” 有时用于表示概率（质量或密度）函数。
• 功效函数将是我们评估检验的优劣或比较两个不同检验的基础。

示例： 假设我们掷一枚（公平或不公平）硬币 5 次（假设硬币永远不会侧立），并且我们有以下假设：$$H_{0}:p\leq {\frac {1}{2}}\quad {\text{vs.}}\quad H_{1}:p>{\frac {1}{2}}$$ 其中 $p$ 是掷硬币后正面朝上的概率。令 $X_{1},\dotsc ,X_{5}$ 为 5 次掷硬币的随机样本，并且 $x_{1},\dotsc ,x_{5}$ 是相应的实现。此外，随机样本的值为 1（如果出现正面），否则为 0。假设我们将在所有 5 次掷硬币中都出现正面时拒绝 $H_{0}$。

(a) 确定拒绝区域 $R$。

(b) 功率函数是什么 $\pi (p)$（用 $p$ 表示）？

(c) 计算 $\alpha (1/2)$ 和 $\beta (2/3)$。

解决方案.

(a) 拒绝区域 $R=\{(x_{1},\dotsc ,x_{5}):x_{1}+\dotsb +x_{5}=5\}$。

(b) 功率函数为 $\pi (p)={\begin{cases}\mathbb {P} _{\theta }((X_{1},\dotsc ,X_{5})\in R)=p^{5},&p\leq {\frac {1}{2}};\\1-\mathbb {P} _{\theta }((X_{1},\dotsc ,X_{5})\in R)=1-p^{5},&p>{\frac {1}{2}}.\end{cases}}$

(c) 我们有 $\alpha (1/2)=\left({\frac {1}{2}}\right)^{5}=0.03125$ 以及 $\beta (2/3)=1-\left({\frac {2}{3}}\right)^{5}\approx 0.8683$。(注意，虽然 I 类错误的概率可能很低，但 II 类错误的概率可能很高。这是因为，直观地，拒绝 $H_{0}$ 是“困难”的，因为要求很严格。所以，即使 $H_{0}$ 是假的，它可能不被拒绝，从而导致 II 类错误。)

练习. 是否存在 $\max _{p\leq {\frac {1}{2}}}\pi (p)$？如果存在，请计算它。

解决方案

$\max _{p\leq {\frac {1}{2}}}\pi (p)$ 存在，并且 $\max _{p\leq {\frac {1}{2}}}\pi (p)=\max _{p\leq {\frac {1}{2}}}p^{5}=\left({\frac {1}{2}}\right)^{5}={\frac {1}{32}}$（注意 $y=x^{5}$ 是一个严格递增函数）。

您注意到这个假设检验的 II 类错误可能很大，因此您想修改检验以降低 II 类错误。

(a) 以上假设检验中 $\beta (p)$ 是什么？

(b) 假设拒绝域被修改为 $\{(x_{1},\dotsc ,x_{5}):x_{1}+\dotsb +x_{5}\geq 3\}$。计算 $\alpha (1/2)$ 和 $\beta (2/3)$。(提示：考虑二项分布。)

(c) 假设拒绝域被修改为 $\{(x_{1},\dotsc ,x_{5}):x_{1}+\dotsb +x_{5}\geq 2\}$。计算 $\alpha (1/2)$ 和 $\beta (2/3)$。

(d) $\alpha (1/2)+\beta (2/3)$ 在哪种假设检验中被最小化：原始的、(b) 中的还是 (c) 中的？

解决方案

(a) $\beta (p)=p^{5}$ 如果 $p>{\frac {1}{2}}$。

(b) 在这种情况下，我们有 $\alpha (1/2)={\binom {5}{3}}\left({\frac {1}{2}}\right)^{3}\left({\frac {1}{2}}\right)^{2}+{\binom {5}{4}}\left({\frac {1}{2}}\right)^{4}\left({\frac {1}{2}}\right)+\left({\frac {1}{2}}\right)^{5}=0.5$，以及 $\beta (2/3)=1-{\binom {5}{3}}\left({\frac {2}{3}}\right)^{3}\left({\frac {1}{3}}\right)^{2}+{\binom {5}{4}}\left({\frac {2}{3}}\right)^{4}\left({\frac {1}{3}}\right)+\left({\frac {2}{3}}\right)^{5}\approx 0.2099$.

(c) 在这种情况下，我们有 $\alpha (1/2)=0.5+{\binom {5}{2}}\left({\frac {1}{2}}\right)^{2}\left({\frac {1}{2}}\right)^{3}=0.8125$ 以及 $\beta (2/3)\approx 0.2099-{\binom {5}{2}}\left({\frac {2}{3}}\right)^{2}\left({\frac {1}{3}}\right)^{3}\approx 0.0453$.

(d) 在原始的假设检验中，$\alpha (1/2)+\beta (2/3)\approx 0.89955$，在 (b) 中的假设检验中，$\alpha (1/2)+\beta (2/3)\approx 0.7099$，在 (c) 中的假设检验中，$\alpha (1/2)+\beta (2/3)\approx 0.8578$。因此，$\alpha (1/2)+\beta (2/3)$ 在 (b) 中的假设检验中被最小化。

示例。 假设 $X_{1},\dotsc ,X_{n}$ 是来自正态分布 ${\mathcal {N}}(\mu ,\sigma ^{2})$ 的随机样本，其中 $\sigma ^{2}$ 已知。考虑以下假设： $$H_{0}:\mu \leq \mu _{0}\quad {\text{vs.}}\quad \mu >\mu _{0}$$ 其中 $\mu _{0}$ 是一个常数。我们使用检验统计量 $T={\frac {{\overline {X}}-\mu _{0}}{\sigma /{\sqrt {n}}}}\sim {\mathcal {N}}(0,1)$ 进行假设检验，当且仅当 $T\geq k$ 时，我们拒绝 $H_{0}$。

求功效函数 $\pi (\mu )$，$\lim _{\mu \to -\infty }\pi (\mu )$ 和 $\lim _{\mu \to \infty }\pi (\mu )$。

解决方案。 幂函数是 $${\begin{aligned}\pi (\mu )&=\mathbb {P} _{\mu }(T\geq k)\\&=\mathbb {P} _{\mu }\left({\frac {{\overline {X}}-\mu _{0}}{\sigma /{\sqrt {n}}}}\geq k\right)\\&=\mathbb {P} _{\mu }\left({\frac {{\overline {X}}-\mu +\mu -\mu _{0}}{\sigma /{\sqrt {n}}}}\geq k\right)\\&=\mathbb {P} _{\mu }\left({\frac {{\overline {X}}-\mu }{\sigma /{\sqrt {n}}}}\geq k+{\frac {\mu _{0}-\mu }{\sigma /{\sqrt {n}}}}\right)\\&=\mathbb {P} \left(Z\geq k+{\frac {\mu _{0}-\mu }{\sigma /{\sqrt {n}}}}\right).&(Z\sim {\mathcal {N}}(0,1),{\text{ which is independent from }}\mu ,{\text{so we can drop the subscript `}}\mu {\text{' for }}\mathbb {P} )\\\end{aligned}}$$ 因此， $\lim _{\mu \to -\infty }\pi (\mu )=\mathbb {P} (Z\geq \infty )=0$ 并且 $\lim _{\mu \to \infty }\pi (\mu )=\mathbb {P} (Z\geq -\infty )=1$ (一些符号上的滥用)，根据累积分布函数的定义。（事实上， $\pi (\mu )$ 是 $\mu$ 的严格递增函数。）

练习。 证明如果 $\mathbb {P} (Z\geq k)=\alpha$，则 $\pi (\mu _{0})=\alpha$。

解决方案

证明。 假设 $\mathbb {P} (Z\geq k)=\alpha$。 那么， $\pi (\mu _{0})=\mathbb {P} (Z\geq k+0)=\mathbb {P} (Z\geq k)=\alpha$。

$\Box$

理想情况下，我们希望将$\alpha (\theta )$ 和 $\beta (\theta )$ 都降到任意小。但这通常是不可能的。为了理解这一点，我们可以考虑以下极端例子。

• 将拒绝域 $R$ 设置为 $S=\{\mathbf {x} \}$，即所有可能的随机样本观测值的集合。那么，对于每个 $\theta \in \Theta$，都有 $\pi (\theta )=1$。由此，当然我们有 $\beta (\theta )=0$，这是很好的。但严重的问题是，由于盲目拒绝，$\alpha (\theta )=1$。
• 另一个极端情况是将拒绝域 $R$ 设置为空集 $\varnothing$。那么，对于每个 $\theta \in \Theta$，都有 $\pi (\theta )=0$。由此，我们有 $\alpha (\theta )=0$，这是很好的。但是，再次，严重的问题是，由于盲目接受，$\beta (\theta )=1$。

我们可以观察到，为了使 $\alpha (\theta )$（$\beta (\theta )$）非常小，不可避免地，$\beta (\theta )$（$\alpha (\theta )$）将随之增加，这是因为“接受”（拒绝）了“太多”。因此，我们只能尝试最小化犯一种类型错误的概率，同时将犯另一种类型错误的概率控制在一定范围内。

现在，我们感兴趣的是了解应该控制哪种类型的错误。为了激发这种选择，我们可以再次考虑无罪推定法律原则的类比。在这种情况下，I 类错误意味着将无辜者判为有罪，而 II 类错误意味着赦免有罪者。然后，正如 布莱克斯通比率 所建议的那样，I 类错误比 II 类错误更严重，也更重要。这促使我们控制 I 类错误的概率，即 $\alpha (\theta )$，在指定的小值 $\alpha ^{*}$ 处，以便我们可以控制犯这种更严重错误的概率。在那之后，我们考虑“在该水平上控制 I 类错误概率”的检验，其中具有最小 $\beta (\theta )$ 的检验是“最佳”检验（从犯错概率的角度来看）。

为了更精确地描述“在该水平上控制 I 类错误概率”，让我们定义以下术语。

定义。（检验的功效）具有功效函数 $\pi (\theta )$ 的检验是一个 大小为 $\alpha$ 的检验，如果 $$\sup _{\theta \in \Theta _{0}}\pi (\theta )=\alpha$$，其中 $0\leq \alpha \leq 1$。

备注：

• 上确界类似于最大值，在“良好”情况下（你可以假设这里的情况是“良好”的），上确界与最大值相同。因此，选择 $\pi (\theta )$ 在 $\theta \in \Theta _{0}$ 上的上确界作为检验的大小意味着检验的大小给出其 I 类错误的最大概率（当 $H_{0}$ 为真时拒绝 $H_{0}$），考虑到所有情况，即所有使 $H_{0}$ 为真的 $\theta$ 的不同可能值。
• 直观地，我们选择 I 类错误的最大概率作为大小，以便大小可以告诉我们 I 类错误在 最坏情况下 发生的概率，以表明该检验能 控制 I 类错误的程度 。
• 特殊情况：如果 $\Theta _{0}$ 仅包含一个参数，比如（已知值）$\theta _{0}$（即，$H_{0}$ 是一个简单的假设，说明 $\theta =\theta _{0}$），那么 $\alpha =\pi (\theta _{0})$.
• $\alpha$ 也被称为 显著性水平（这些术语与 统计（不）显著性 的概念有关，而这又与 $p$-值 的概念有关。我们将在后面讨论这些。）
• 这里的 "$\alpha$" 和置信系数中的 "$\alpha$" 实际上可以通过将置信区间与假设检验联系起来来解释为“相同的”。我们将在后面讨论这些。
• 由于这个定义，零假设通常包含一个等式（例如，$\theta =\theta _{0},\theta \geq \theta _{0}$ 或 $\theta \leq \theta _{0}$ 的形式），因为如果这样，检验的功效可以更方便地计算。

因此，根据这个定义，将 I 类错误概率控制在特定水平 $\alpha$ 意味着检验的功效不应超过 $\alpha$，即 $\sup _{\theta \in \Theta _{0}}\pi (\theta )\leq \alpha$（在其他一些地方，这种检验被称为 水平 $\alpha$ 检验。）

例： 考虑正态分布 ${\mathcal {N}}(\mu ,1)$（参数空间为：$\Theta =\{\mu :\mu =20{\text{ or }}21\}$)，以及假设 $$H_{0}:\mu =20\quad {\text{vs.}}\quad H_{1}:\mu =21$$。令 $X_{1},\dotsc ,X_{10}$ 为来自正态分布 ${\mathcal {N}}(\mu ,1)$ 的随机样本，相应的实现值为 $x_{1},\dotsc ,x_{10}$。假设拒绝域为 $\{(x_{1},\dotsc ,x_{10}):{\overline {x}}\geq k\}$.

(a) 求 $k$ 使得检验的显著性水平为 $\alpha =0.05$.

(b) 计算第二类错误概率 $\beta$。要使第二类错误概率 $\beta \leq 0.05$，最小样本量是多少（使用相同的拒绝域）？

解决方案.

(a) 为了使显著性水平为0.05，我们需要满足$$\sup _{\mu \in \Theta _{0}}\pi (\mu )=0.05.$$ 但$\Theta _{0}=\{20\}$。因此，这意味着$$0.05=\pi (20)=\mathbb {P} _{\mu =20}({\overline {X}}\geq k)=\mathbb {P} \left({\frac {{\overline {X}}-20}{1/{\sqrt {10}}}}\geq {\frac {k-20}{1/{\sqrt {10}}}}\right)=\mathbb {P} (Z\geq {\sqrt {10}}(k-20))$$ 其中$Z\sim {\mathcal {N}}(0,1)$。然后我们有$${\sqrt {10}}(k-20)=z_{0.05}\approx 1.64\implies k\approx 20.51861.$$

(b) II 类错误概率为 $$\beta \approx 1-\mathbb {P} _{\mu =21}({\overline {X}}\geq 20.51861)=1-\mathbb {P} \left({\frac {{\overline {X}}-21}{1/{\sqrt {10}}}}\geq {\frac {20.51861-21}{1/{\sqrt {10}}}}\right)\approx 1-\mathbb {P} (Z\geq -1.522)=\mathbb {P} (Z<-1.522)\approx 0.06426.$$ ($Z\sim {\mathcal {N}}(0,1)$) 样本量为 $n$ 时，II 类错误概率为 $$\beta \approx \mathbb {P} \left(Z<{\sqrt {n}}(20.51861-21)\right)$$ 当样本量 $n$ 增加时，${\sqrt {n}}(20.51861-21)$ 将变得更负，因此 II 类错误概率会降低。因此，$$\mathbb {P} (Z<{\sqrt {n^{*}}}(20.51861-21)\leq 0.05\implies {\sqrt {n}}(20.51861-21)\geq -1.64\implies n\geq 11.603.$$ 因此，最小样本量为 12。

练习。 当样本量为 12 时（拒绝域保持不变），计算 I 类错误概率和 II 类错误概率。

解决方案

II 类错误概率为 $$\mathbb {P} (Z<{\sqrt {12}}(20.51861-21))\approx \mathbb {P} (Z<-1.668)\approx 0.04746.$$ I 类错误概率为 $$\mathbb {P} (Z\geq {\sqrt {12}}(20.51861-20))\approx \mathbb {P} (Z\geq 1.797)\approx 0.0359.$$ 因此，在相同拒绝域和不同样本量的情况下，检验的显著性水平（在本例中为 I 类错误概率）发生了变化。

到目前为止，我们一直专注于使用 拒绝域 来进行假设检验。但这并不是唯一的方法。另外，我们可以使用 $p$-值。

定义。 ($p$值) 令 $T(\mathbf {x} )$ 为检验统计量 $T(\mathbf {X} )=T(X_{1},\dotsc ,X_{n})$ 在假设检验中的观测值。

• 情况 1：检验是左尾检验。那么，$p$值是 $\sup _{\theta \in \Theta _{0}}\mathbb {P} _{\theta }(T(\mathbf {X} )\leq T(\mathbf {x} ))$.
• 情况 2：检验是右尾检验。那么，$p$值是 $\sup _{\theta \in \Theta _{0}}\mathbb {P} _{\theta }(T(\mathbf {X} )\geq T(\mathbf {x} ))$.
• 情况 3：检验是双尾检验。

• 子情况 1：$T$ 的分布关于零点对称（当 $H_{0}$ 为真时）。那么，$p$值是 $\sup _{\theta \in \Theta _{0}}\mathbb {P} _{\theta }(|T(\mathbf {X} )|\geq |T(\mathbf {x} )|)$.
• 子情况 2：$T$ 的分布不关于零对称（当 $H_{0}$ 为真）。然后，$p$-值是 $2\min {\bigg \{}\sup _{\theta \in \Theta _{0}}\mathbb {P} _{\theta }(T(\mathbf {X} )\leq T(\mathbf {x} )),\sup _{\theta \in \Theta _{0}}\mathbb {P} _{\theta }(T(\mathbf {X} )\geq T(\mathbf {x} )){\bigg \}}$。

备注：

• $p$-值可以解释为在假设检验中，当 $H_{0}$ 为真时，检验统计量至少与观测到的检验统计量一样 "极端" 的概率。这里，"极端" 有利于 $H_{1}$，即 "极端的方向" 是朝着检验的 "尾部方向"（当检验统计量越接近尾部方向，它越有可能落在拒绝域中，因此拒绝 $H_{0}$ 并接受 $H_{1}$）。
• 因此，当 $p$-值很小时，这意味着检验统计量的观测值已经非常 "极端"，导致检验统计量不太可能比观测值更 "极端"。
• 通常，手动计算 $p$-值可能非常困难。因此，$p$-值通常使用软件（例如 R）计算。
• 对于情况 3 子情况 1，请考虑以下图表

            pdf of T(X)
             |
           *---*
          /  |  \
         /   |   \
        /    |    \
       /|    |    |\
      /#|    |    |#\
     /##|    |    |##\    
 ---*###|    |    |###*---
 #######|    |    |#######
-------------*-------------
      ^            ^
<---->|   =====>   |<---->             T(x)<0
     T(x)         -T(x) 
"more extreme"          "more extreme"

T(X)<=T(x)          T(X)>=-T(x)          ====> |T(X)|>=|T(x)| ( T(x)=-|T(x)|, -T(x)=|T(x)|)

<-->^                ^<-->
    |                |                 T(x)>0
   -T(x)            T(x) 

T(X)<=-T(x)         T(X)>=T(x)            ====> |T(X)|>=|T(x)| (-T(x)=-|T(x)|, T(x)=|T(x)|)

• 对于情况 3 子情况 2，请考虑以下图表

                  pdf of T
    |
    |     /*----*
    |    /|      \
    |   /#|       \
    |  /##|        \       
    | /###|         *---|--------*
    |/####|             |#########\
----*------------------------------
        ^                      
        |
        T(x)
    |---|-------------------------|
  T(X)<=T(x)   T(X)>=T(x)       &&&&&: T(X)>= -T(x)
  choose
                              ^
                              |
                              t
    |-------------------------|---|
            T(X)<=T(x)      T(X)>=T(x)
     &&&:                      choose
    T(X)<=-T(x)

我们可以观察到，观测值 $t$ 可能位于左侧尾部或右侧尾部。无论哪种情况，对于 $T$ 而言，要使其更“极端”，所得的不等式对应于概率较小的那个。因此，我们有 "$\min$"。但我们也需要考虑另一个尾部的“极端”。直观地说，当 $T$ 比 $-t$ 更“极端”（在另一个尾部），则 $T$ 也应该被视为“更极端”。因此，存在一个 "$2\times$"

下面的定理允许我们使用 $p$-值进行假设检验。

定理。 令 $T(\mathbf {x} )=T(x_{1},\dotsc ,x_{n})$ 是假设检验中检验统计量 $T(\mathbf {X} )=T(X_{1},\dotsc ,X_{n})$ 的一个观测值。原假设 $H_{0}$ 在显著性水平 $\alpha$ 下被拒绝 当且仅当 $p$-值小于或等于 $\alpha$.

Proof. (Partial) We can prove "if" and "only if" directions at once. Let us first consider the case 1 in the definition of $p$-value. By definitions, $p$-value is $\sup _{\theta \in \Theta _{0}}\mathbb {P} _{\theta }(T(\mathbf {X} )\leq T^{*}(\mathbf {x} ))$ and $\alpha =\sup _{\theta \in \Theta _{0}}\pi (\theta )=\sup _{\theta \in \Theta _{0}}\mathbb {P} _{\theta }(T(\mathbf {X} )\leq T^{*}(\mathbf {x} ))$ (Define $T^{*}(\mathbf {X} )$ such that $T(\mathbf {X} )\leq T^{*}(\mathbf {x} )\iff (X_{1},\dotsc ,X_{n})\in R$.). Then, we have $${\begin{aligned}p{\text{-value}}\leq \alpha &\iff \sup _{\theta \in \Theta _{0}}\mathbb {P} _{\theta }(T(\mathbf {X} )\leq T(\mathbf {x} ))\leq \sup _{\theta \in \Theta _{0}}\mathbb {P} _{\theta }(T(\mathbf {X} )\leq T^{*}(\mathbf {x} ))\\&\iff T(\mathbf {x} )\leq T^{*}(\mathbf {x} )&({\text{by some omitted arguments and the monotonicity of cdf}})\\&\iff (x_{1},\dotsc ,x_{n})\in \{(y_{1},\dotsc ,y_{n}):T(y_{1},\dotsc ,y_{n})\leq T^{*}(\mathbf {x} )\}&(x_{1},\dotsc ,x_{n}{\text{ are realizations of }}X_{1},\dotsc ,X_{n}{\text{ respectively}})\\&\iff (x_{1},\dotsc ,x_{n})\in R&({\text{defined above}})\\&\iff H_{0}{\text{ is rejected at significance level }}\alpha .&({\text{the test with power function }}\pi (\theta ){\text{ is size }}\alpha {\text{ test}})\end{aligned}}$$ For other cases, the idea is similar (just the directions of inequalities for $T$ are different).

$\Box$

备注：

• 由此可见，$p$ 值可以用来以更“连续”的方式报告检验结果，而不仅仅是一个简单的“接受 $H_{0}$ ” 或 “拒绝 $H_{0}$ ” 的决定，因为如果 $p$ 值“远小于”显著性水平 $\alpha$，那么我们就有更“强”的证据来拒绝 $H_{0}$（更强是指，即使显著性水平很低（对 I 类错误的非常严格的要求），$H_{0}$ 仍然可以被拒绝）。
• 此外，报告 $p$ 值允许读者自己选择适当的显著性水平 $\alpha$，并将 $p$ 值与 $\alpha$ 进行比较，从而做出自己的决定，这些决定不一定与检验报告中做出的决定相同（因为读者可能选择与报告中不同的显著性水平）。
• 这里，我们还要提到一下 统计显著性 的概念。如果一个观测结果在原假设为真的情况下“不太可能”发生（即观察值相当“极端”），则该观测结果具有 统计显著性。更准确地说，就 $p$ 值而言，这意味着一个检验统计量的观察值是 统计显著的，如果 $p$ 值小于或等于 $\alpha$，否则我们就说观察值是 统计不显著的。因此，$\alpha$ 可以解释为“显著”或“极端”的基准，因此得名 显著性水平。

示例。 回想之前示例的设置：考虑正态分布 ${\mathcal {N}}(\mu ,1)$（$\mu$ 的参数空间为：$\Theta =\{20,21\}$），以及假设 $$H_{0}:\mu =20\quad {\text{vs.}}\quad H_{1}:\mu =21$$ 令 $X_{1},\dotsc ,X_{10}$ 是来自正态分布 ${\mathcal {N}}(\mu ,1)$ 的随机样本，对应的实现为 $x_{1},\dotsc ,x_{10}$.

在显著性水平 $\alpha =0.05$ 下，我们已经确定拒绝域为 $R=\{(y_{1},\dotsc ,y_{10}):{\overline {y}}\geq 20.51861\}$。假设观察到 ${\overline {x}}=20.5$.

(a) 使用拒绝域来确定我们是否应该拒绝 $H_{0}$。

(b) 使用 $p$ 值来确定我们是否应该拒绝 $H_{0}$。

解决方案.

(a) 由于 ${\overline {x}}=20.5<20.51861$，我们有 $(x_{1},\dotsc ,x_{10})\in R^{c}$。因此，我们不应该拒绝 $H_{0}$。

(b) 由于检验是右尾检验，$p$-值是 $$\sup _{\mu \in \{20\}}\mathbb {P} _{\mu }({\overline {X}}\geq {\overline {x}})=\mathbb {P} _{\mu =20}({\overline {X}}\geq 20.5)=\mathbb {P} \left({\frac {{\overline {X}}-20}{1/{\sqrt {10}}}}\geq {\frac {20.5-20}{1/{\sqrt {10}}}}\right)\approx \mathbb {P} (Z\geq 1.581)\approx 0.05705>\alpha =0.05$$，其中 $Z\sim {\mathcal {N}}(0,1)$。因此，$H_{0}$ 不应该被拒绝。

练习。

选择显著性水平，基于观察结果，$H_{0}$ 会被 拒绝。

	0.01
	0.04
	0.06
	0.08
	0.1

备注：

• 由此，我们可以注意到，可以通过改变显著性水平来“操纵”决策。事实上，如果将显著性水平设为 1，则 $H_{0}$ 必须被拒绝（因为 $p$-值是概率，必须小于或等于 1）。但是，这种显著性水平毫无意义，因为它意味着 I 类错误的概率可以高达 1，因此这种检验有很大的错误，结果也不可靠。
• 另一方面，如果将显著性水平设为 0，则 $H_{0}$ 不应该被拒绝（除非 $p$-值正好为零，这极不可能，因为零 $p$-值意味着观察结果是 最极端的，因此检验统计量至少与观察结果一样极端（几乎）不可能）。

评估假设检验

在讨论了一些基本概念和术语之后，我们现在来研究一些评估假设检验好坏的方法。正如我们之前提到的，我们希望犯 I 类错误和 II 类错误的概率都很小，但我们已经提到，通常不可能使这两个概率都任意小。因此，我们建议控制 I 类错误，使用检验的规模，并且“最佳”检验应该是控制 I 类错误后，具有最小犯 II 类错误概率的检验。

这些想法导致了以下定义。

定义。 （检验功效）检验的 功效 是在 $H_{0}$ 为假时拒绝 $H_{0}$ 的概率。也就是说，如果犯 II 类错误的概率是 $\beta$，那么功效是 $1-\beta$。

使用这个定义，与其说“最佳”检验（具有最小 II 类错误概率的检验），不如说“具有最大功效的检验”，换句话说，就是“最强大的检验”。

定义. （一致最强大检验）一个检验 $\varphi$ ，其拒绝域为 $R$， 是一个 一致最强大 (UMP) 检验， 检验的显著性水平为 $\alpha$ ， 用于检验 $H_{0}:\theta \in \Theta _{0}\quad {\text{vs.}}\quad H_{1}:\theta \in \Theta _{1}$ （$\Theta _{1}=\Theta _{0}^{c}$ ） 如果

• （$\varphi$ 的显著性水平）$\sup _{\theta \in \Theta _{0}}\pi _{\varphi }(\theta _{0})=\alpha$， 并且
• （UMP） $\pi _{\varphi }(\theta _{1})\geq \pi _{\psi }(\theta _{1})$ ， 对每个 $\theta \in \Theta _{1}$， 以及对每个拒绝域为 $R^{*}\neq R$ 的检验 $\psi$ ，并且 $\pi _{\psi }(\theta _{0})\leq \alpha$ （$\pi _{\psi }(\cdot )$ 是检验 $\psi$ 的功效函数）。

（$\pi _{\varphi }(\cdot )$ 和 $\pi _{\psi }(\cdot )$ 分别是检验 $\varphi$ 和 $\psi$ 的功效函数。）

备注：

• 拒绝域 $R$ 有时被称为大小为 $\alpha$ 的 最佳拒绝域。
• 换句话说，如果一个检验的大小为 $\alpha$，并且它的功效在所有大小小于或等于 $\alpha$ 的其他检验中最大，那么它就是大小为 $\alpha$ 的 UMP 检验，对于每一个 $\theta \in \Theta _{1}$ 都是这样。副词“一致”强调了这一点，即对于 每个 $\theta \in \Theta _{1}$ 都是如此。

• 由于功效在 $\theta \in \Theta _{1}$ 的每个值中都最大，UMP 检验的拒绝域 $R$ 不 依赖于 $\theta \in \Theta _{1}$ 的选择，也就是说，无论选择 $\theta \in \Theta _{1}$ 为何值，拒绝域都是相同的。这是可以预料的，因为拒绝域 $R$ 不应该随着 $\theta \in \Theta _{1}$ 的选择而改变。拒绝域 $R$ （固定）应该总是最好的，对于每个 $\theta \in \Theta _{1}$ 都是如此。

• 如果 $H_{1}$ 是简单的，我们可以简单地将 UMP 检验称为 最强大 (MP) 检验。

构建假设检验

构建假设检验的方法很多，但当然并非所有方法都是好的（即“强大”的）。在下文中，我们将提供一些构建假设检验的常用方法。特别是，以下引理对于构建大小为 $\alpha$ 的 MP 检验非常有用。

Neyman-Pearson 引理

引理。（奈曼-皮尔逊引理）令 $X_{1},\dotsc ,X_{n}$ 是来自具有概率密度函数或概率质量函数 $f(x;\theta )$ （$\theta$ 可以是一个参数向量，参数空间为 $\Theta =\{\theta _{0},\theta _{1}\}$）的随机样本。令 ${\mathcal {L}}(\cdot )$ 为似然函数。则检验 $\varphi$ 具有拒绝域 $$R=\left\{(x_{1},\dotsc ,x_{n}):{\frac {{\mathcal {L}}(\theta _{0};\mathbf {x} )}{{\mathcal {L}}(\theta _{1};\mathbf {x} )}}\leq k\right\}$$ 和大小 $\alpha$ 是用于检验 $$H_{0}:\theta =\theta _{0}\quad {\text{vs.}}\quad H_{1}:\theta =\theta _{1}$$ 的最优检验，其中 $k$ 是由大小 $\alpha$ 决定的值。

证明。 让我们首先考虑基础分布是连续的情况。 假设 $\varphi$ 的大小为 $\alpha$，作为 UMP 检验的“大小”要求立即得到满足。因此，只需证明 $\varphi$ 满足作为 MP 检验的“UMP”要求。

请注意，在这种情况下，“$\Theta _{1}$” 只是 $\{\theta _{1}\}$。因此，对于每个具有拒绝区域 $R^{*}\neq R$ 且 ${\color {purple}\pi _{\psi }(\theta _{0})\leq \alpha }$ 的检验 $\psi$，我们将证明 $\pi _{\varphi }(\theta _{1})\geq \pi _{\psi }(\theta _{1})$。

Since $${\begin{aligned}\pi _{\varphi }(\theta _{1})-\pi _{\psi }(\theta _{1})&=\mathbb {P} _{\theta _{1}}((X_{1},\dotsc ,X_{n})\in R)-\mathbb {P} _{\theta _{1}}((X_{1},\dotsc ,X_{n})\in R^{*})\\&=\int \dotsi \int _{R}^{}{\mathcal {L}}(\theta _{1};\mathbf {x} )\,dx_{n}\cdots \,dx_{1}-\int \dotsi \int _{R^{*}}^{}{\mathcal {L}}(\theta _{1};\mathbf {x} )\,dx_{n}\cdots \,dx_{1}\\&={\color {blue}\int \dotsi \int _{R}^{}{\mathcal {L}}(\theta _{1};\mathbf {x} )\,dx_{n}\cdots \,dx_{1}-\int \dotsi \int _{R\cap R^{*}}^{}{\mathcal {L}}(\theta _{1};\mathbf {x} )\,dx_{n}\cdots \,dx_{1}}-\left({\color {red}\int \dotsi \int _{R^{*}}^{}{\mathcal {L}}(\theta _{1};\mathbf {x} )\,dx_{n}\cdots \,dx_{1}-\int \dotsi \int _{R\cap R^{*}}^{}{\mathcal {L}}(\theta _{1};\mathbf {x} )\,dx_{n}\cdots \,dx_{1}}\right)\\&={\color {blue}\int \dotsi \int _{R\setminus R^{*}}^{}{\mathcal {L}}(\theta _{1};\mathbf {x} )\,dx_{n}\cdots \,dx_{1}}-{\color {red}\int \dotsi \int _{R^{*}\setminus R}^{}{\mathcal {L}}(\theta _{1};\mathbf {x} )\,dx_{n}\cdots \,dx_{1}}\\&\geq {\color {blue}{\frac {1}{k}}}\int \dotsi \int _{R\setminus R^{*}}^{}{\color {blue}{\mathcal {L}}(\theta _{0};\mathbf {x} )}\,dx_{n}\cdots \,dx_{1}-{\color {red}{\frac {1}{k}}}\int \dotsi \int _{R^{*}\setminus R}^{}{\color {red}{\mathcal {L}}(\theta _{0};\mathbf {x} )}\,dx_{n}\cdots \,dx_{1}\qquad ({\text{In }}R,{\color {blue}{\mathcal {L}}(\theta _{1};\mathbf {x} )\geq {\frac {1}{k}}{\mathcal {L}}(\theta _{0};\mathbf {x} )}.{\text{ In }}R^{c},{\mathcal {L}}(\theta _{1};\mathbf {x} )<{\frac {1}{k}}{\mathcal {L}}(\theta _{0};\mathbf {x} )\iff {\color {red}-{\mathcal {L}}(\theta _{1};\mathbf {x} )>-{\frac {1}{k}}{\mathcal {L}}(\theta _{0};\mathbf {x} )})\\&={\frac {1}{k}}\int \dotsi \int _{R\setminus R^{*}}^{}{\mathcal {L}}(\theta _{0};\mathbf {x} )\,dx_{n}\cdots \,dx_{1}+{\frac {1}{k}}\int \dotsi \int _{R\cap R^{*}}^{}{\mathcal {L}}(\theta _{0};\mathbf {x} )\,dx_{n}\cdots \,dx_{1}-\left({\frac {1}{k}}\int \dotsi \int _{R^{*}\setminus R}^{}{\mathcal {L}}(\theta _{0};\mathbf {x} )\,dx_{n}\cdots \,dx_{1}+{\frac {1}{k}}\int \dotsi \int _{R\cap R^{*}}^{}{\mathcal {L}}(\theta _{0};\mathbf {x} )\,dx_{n}\cdots \,dx_{1}\right)\\&={\frac {1}{k}}\int \dotsi \int _{R}^{}{\mathcal {L}}(\theta _{0};\mathbf {x} )\,dx_{n}\cdots \,dx_{1}-{\frac {1}{k}}\int \dotsi \int _{R^{*}}^{}{\mathcal {L}}(\theta _{0};\mathbf {x} )\,dx_{n}\cdots \,dx_{1}\\&={\frac {1}{k}}{\bigg (}{\color {brown}\underbrace {\mathbb {P} _{\theta _{0}}((X_{1},\dotsc ,X_{n})\in R)} _{=\alpha }}-{\color {purple}\underbrace {\mathbb {P} _{\theta _{0}}((X_{1},\dotsc ,X_{n})\in R^{*})} _{\leq \alpha }}{\bigg )}\\&\geq {\frac {1}{k}}(\alpha -\alpha )=0,\end{aligned}}$$ we have $\pi _{\phi }(\theta _{1})\geq \pi _{\psi }(\theta _{1})$ as desired.

对于底层分布为离散的情况，证明非常类似（只需将积分替换为求和），因此省略。

$\Box$

备注：

• 有时，我们称 ${\frac {{\mathcal {L}}(\theta _{0};\mathbf {x} )}{{\mathcal {L}}(\theta _{1};\mathbf {x} )}}$ 为 似然比。
• 事实上，由 Neyman-Pearson 引理构建的 MP 检验是 似然比检验 的一种变体，它更一般，因为它可以为 复合 零假设和备择假设构建似然比检验，而不仅仅是 简单 零假设和备择假设。但是，似然比检验可能不是 (U)MP。我们将在后面讨论似然比检验。
• 对于 离散 分布，可能 不可能 为某些 $\alpha$ 确定拒绝区域 $R$ 的 $k$。在这种情况下，我们称这种 $\alpha$ 为 不可实现。
• 直观地，这个检验意味着当 $H_{0}$ 的 “似然” (${\mathcal {L}}(\theta _{0};\mathbf {x} )$) 不如 $H_{1}$ 的 “似然” (${\mathcal {L}}(\theta _{1};\mathbf {x} )$) (${\mathcal {L}}(\theta _{0};\mathbf {x} )\leq k{\mathcal {L}}(\theta _{0};\mathbf {x} )$)，相对于观察到的样本。对于 “不如” 的含义，取决于大小 $\alpha$。

• 直观地，我们预计 $k$ 应该是一个 严格小于 1 的正值，这样 $H_{0}$ 比 $H_{1}$ “不太可能”。这通常，但不一定，是这种情况。特别是，当大小 $\alpha$ 很大时，$k$ 可能大于 1。

• 通常，为了确定 $k$ 的值，我们需要将 “${\frac {{\mathcal {L}}(\theta _{0};\mathbf {x} )}{{\mathcal {L}}(\theta _{1};\mathbf {x} )}}\leq k$” 转换为另一个 等价 不等式，在该不等式下，在 $H_{0}$ 下的概率更容易计算。

• 它必须是等价的，这样它在$H_{0}$下的概率与“${\frac {{\mathcal {L}}(\theta _{0};\mathbf {x} )}{{\mathcal {L}}(\theta _{1};\mathbf {x} )}}\leq k$” 在 $H_{0}$ 下的概率相同。因此，在转换过程中，最好使用“$\iff$”，而不是仅仅“$\implies$”，甚至逐行写出不同的不等式。

• 如果$\theta$是一个向量，那么$\theta _{0}$和$\theta _{1}$也应该是向量。

即使奈曼-皮尔逊引理中涉及的假设很简单，在一些条件下，我们可以使用该引理来构造一个UMP检验，以检验复合零假设与复合备择假设。具体细节如下：为了检验$H_{0}:\theta \leq \theta _{0}\quad {\text{vs.}}\quad H_{1}:\theta >\theta _{0}$

1. 找到一个MP检验$\varphi$，其大小为$\alpha$，用于检验$H_{0}:\theta =\theta _{0}\quad {\text{vs.}}\quad H_{1}:\theta =\theta _{1}>\theta _{0}$，使用奈曼-皮尔逊引理，其中$\theta _{1}$是任意值，使得$\theta _{1}>\theta _{0}$。
2. 如果拒绝域$R$ 不依赖于 $\theta _{1}$，那么检验$\varphi$ 对每个$\theta \in \Theta _{1}=\{\vartheta :\vartheta >\theta _{0}\}$ 都有最大的功效。因此，检验$\varphi$ 是一个大小为 $\alpha$ 的UMP检验，用于检验$H_{0}:\theta =\theta _{0}\quad {\text{vs.}}\quad H_{1}:\theta >\theta _{0}$
3. 如果我们能进一步证明 $\sup _{\theta \leq \theta _{0}}\pi _{\varphi }(\theta )=\alpha =\pi _{\varphi }(\theta _{0})$，这意味着测试 $\varphi$ 的大小仍然是 $\alpha$，即使零假设被更改为 $H_{0}:\theta \leq \theta$。因此，在将 $H_{0}:\theta =\theta _{0}$ 更改为 $H_{0}:\theta \leq \theta _{0}$ 并且不改变 $H_{1}$（同时也调整了测试 $\varphi$ 的参数空间），测试 $\varphi$ 仍然满足“MP”要求（因为没有改变 $H_{1}$，因此步骤 2 中的结果仍然适用），并且测试 $\varphi$ 将满足“大小”要求（因为以这种方式改变了 $H_{0}$）。因此，测试 $\varphi$ 是一个大小为 $\alpha$ 的 UMP 测试，用于测试 $H_{0}:\theta \leq \theta _{0}\quad {\text{vs.}}\quad H_{1}:\theta >\theta _{0}$.

对于测试 $H_{0}:\theta \geq \theta _{0}\quad {\text{vs.}}\quad H_{1}:\theta <\theta _{0}$，步骤类似。但一般来说，对于测试 $H_{0}:\theta =\theta _{0}\quad {\text{vs.}}\quad H_{1}:\theta \neq \theta _{0}$，不存在UMP检验。

当然，当步骤 3 中的条件成立而步骤 2 中的条件不成立时，步骤 1 中的检验 $\varphi$ 是一个大小为 $\alpha$ 的UMP检验，用于测试 $H_{0}:\theta \leq \theta _{0}\quad {\text{vs.}}\quad H_{1}:\theta =\theta _{1}$，其中 $\theta _{1}$ 是一个常数（大于 $\theta _{0}$，否则 $H_{1}$ 和 $H_{0}$ 不相交）。但是，假设通常不采用这种形式。

示例。 令 $X_{1},\dotsc ,X_{10}$ 是从正态分布 ${\mathcal {N}}(\mu ,1)$ 中抽取的随机样本。

(a) 构造一个大小为 0.05 的MP检验 $\varphi$，用于测试 $H_{0}:\mu =20\quad {\text{vs.}}\quad H_{1}:\mu =21$。

(b) 因此，证明检验 $\varphi$ 也是一个大小为 0.05 的 UMP 检验，用于检验 $H_{0}:\mu =20\quad {\text{vs.}}\quad H_{1}:\mu >20$。

(c) 因此，证明检验 $\varphi$ 也是一个大小为 0.05 的 UMP 检验，用于检验 $H_{0}:\mu \leq 20\quad {\text{vs.}}\quad H_{1}:\mu >20$。

Solution. (a) We can use the Neyman-Pearson lemma. First, consider the likelihood ratio $${\frac {{\mathcal {L}}(20)}{{\mathcal {L}}(21)}}={\frac {{\cancel {\left({\frac {1}{\sqrt {2\pi (1)}}}\right)^{10}}}\prod _{i=1}^{10}\exp \left(-{\frac {(x_{i}-20)^{2}}{2}}\right)}{{\cancel {\left({\frac {1}{\sqrt {2\pi (1)}}}\right)^{10}}}\prod _{i=1}^{10}\exp \left(-{\frac {(x_{i}-21)^{2}}{2}}\right)}}=\exp \left(-{\frac {1}{2}}\sum _{i=1}^{10}{\big [}(x_{i}-20)^{2}-(x_{i}-21)^{2}{\big ]}\right)=\exp \left(-{\frac {1}{2}}\sum _{i=1}^{10}{\big [}{\cancel {x_{i}^{2}}}-40x_{i}+400{\cancel {-x_{i}^{2}}}+42x_{i}-441{\big ]}\right)=\exp \left(-{\frac {1}{2}}\sum _{i=1}^{10}{\big [}2x_{i}-41{\big ]}\right)=\exp \left({\frac {41}{2}}-\sum _{i=1}^{10}x_{i}\right).$$ Now, we have $${\frac {{\mathcal {L}}(20)}{{\mathcal {L}}(21)}}\leq k'\iff \exp \left({\frac {41}{2}}-10{\overline {x}}\right)\leq k'\iff -10{\overline {x}}\leq k''\iff {\overline {x}}\geq k$$ where $k,k',k''$ are some constants. To find $k$, consider the size 0.05: $$0.05=\mathbb {P} _{\mu =20}({\overline {X}}\geq k)=\mathbb {P} _{\mu =20}\left({\frac {{\overline {X}}-20}{1/{\sqrt {10}}}}\geq {\frac {k-20}{1/{\sqrt {10}}}}\right)=\mathbb {P} (Z\geq {\sqrt {10}}(k-20)).$$ ($Z\sim {\mathcal {N}}(0,1)$) Hence, we have ${\sqrt {10}}(k-20)\approx 1.64\implies k\approx 20.51861$. Now, we can construct the rejection region: $$R=\{(x_{1},\dotsc ,x_{n}):{\overline {x}}\geq 20.51861\},$$ and the test $\varphi$ with the rejection region $R$ is a MP test with size 0.05 for testing $H_{0}:\mu =20\quad {\text{vs.}}\quad \mu =21$.

(b)

证明。 令 $\mu _{1}$ 为任意值，使得 $\mu _{1}>20$。然后，我们可以证明（见下个练习）$${\frac {{\mathcal {L}}(20)}{{\mathcal {L}}(\mu _{1})}}\leq k'\iff {\overline {x}}\geq k$$ 其中 $k,k'$ 是某些常数（可能与上面的常数不同）。由于 $H_{0}$ 这里与 (a) 中的 $H_{0}$ 相同，构建的拒绝域也是 $$R=\{(x_{1},\dotsc ,x_{n}):{\overline {x}}\geq 20.51861\}.$$ 注意，$R$ 不依赖于 $\mu _{1}$ 的值。因此，检验 $\varphi$ 是一个大小为 0.05 的 UMP 检验，用于检验 $H_{0}:\mu =20\quad {\text{vs.}}\quad \mu >20$。

$\Box$

(c)

证明。 我们只需要证明 $\sup _{\mu \leq 20}\pi _{\varphi }(\mu )=0.05{\overset {\text{(a)}}{=}}\pi _{\varphi }(20)$。首先考虑功率函数 $$\pi _{\varphi }(\mu )=\mathbb {P} _{\mu }({\overline {X}}\geq 20.51861)=\mathbb {P} _{\mu }(Z\geq {\sqrt {10}}(20.51861-\mu ))=1-\Phi ({\sqrt {10}}(20.51861-\mu ))$$，其中 $\Phi (\cdot )$ 是 $Z\sim {\mathcal {N}}(0,1)$ 的累积分布函数。现在，由于当 $\mu$ 增加 时，${\sqrt {10}}(20.51861-\mu )$ 减小，因此 $\Phi ({\sqrt {10}}(20.51861-\mu ))$ 减小，可以推出功率函数 $\pi _{\varphi }(\mu )$ 是 $\mu$ 的 严格递增 函数。因此，$$\sup _{\mu \leq 20}\pi _{\varphi }(\mu )=\max _{\mu \leq 20}\pi _{\varphi }(\mu )=\pi _{\varphi }(20)=0.05.$$ 然后，结果随之而来。

$\Box$

练习。 证明对于所有 $\mu _{1}>20$，$${\frac {{\mathcal {L}}(20)}{{\mathcal {L}}(\mu _{1})}}\leq k'\iff {\overline {x}}\geq k$$ 成立。

解决方案

证明。 首先，考虑似然比 $${\frac {{\mathcal {L}}(20)}{{\mathcal {L}}(\mu _{1})}}=\exp \left(-{\frac {1}{2}}\sum _{i=1}^{10}{\big [}(x_{i}-20)^{2}-(x_{i}-\mu _{1})^{2}{\big ]}\right)=\exp \left(-{\frac {1}{2}}\sum _{i=1}^{10}{\big [}{\cancel {x_{i}^{2}}}-40x_{i}+400{\cancel {-x_{i}^{2}}}+2\mu _{1}x_{i}-\mu _{1}^{2}{\big ]}\right)=\exp \left(-{\frac {1}{2}}\sum _{i=1}^{10}{\big [}(2\mu _{1}-40)x_{i}+400-\mu _{1}^{2}{\big ]}\right)=\exp \left({\frac {\mu _{1}^{2}-400}{2}}-(\mu _{1}-20)\sum _{i=1}^{10}x_{i}\right).$$ 然后，我们有 $${\frac {{\mathcal {L}}(20)}{{\mathcal {L}}(\mu _{1})}}\leq k'\iff \exp \left({\frac {\mu _{1}^{2}-400}{2}}-(\mu _{1}-20)n{\overline {x}}\right)\leq k'\iff -(\mu _{1}-20)n{\overline {x}}\leq k''\iff {\overline {x}}\geq k.$$ （最后一个等价关系成立，因为 $\mu _{1}>20$。）

$\Box$

备注：

• 此拒绝区域已在之前的示例中出现过。

现在，让我们考虑另一个例子，其中基础分布是离散的。

例： 令 $X$ 为一个离散随机变量，其概率质量函数为 $${\begin{array}{c|ccccccccc}\theta &x&1&2&3&4&5&6&7&8\\\hline 0&f(x;\theta )&0&0.02&0.02&0.02&0.02&0.02&0.02&0.88\\1&f(x;\theta )&0.01&0.02&0.03&0.04&0.05&0&0.06&0.79\\\end{array}}$$ （注意每行值的总和均为 1。参数空间为 $\Theta =\{0,1\}$。）给定一个 单一观测值 $x$，构建一个大小为 0.1 的最优检验来检验 $H_{0}:\theta =0\quad {\text{vs.}}\quad H_{1}:\theta =1$。

Solution. We use the Neyman-Pearson lemma. First, we calculate the likelihood ratio $f(x;0)/f(x;1)$ for each value of $x$: $${\begin{array}{ccccccccc}x&1&2&3&4&5&6&7&8\\\hline {\frac {f(x;0)}{f(x;1)}}&0&1&0.667&0.5&0.4&{\text{undefined}}&0.333&1.114\end{array}}$$ For convenience, let us sort the likelihood ratios in ascending order (we put the undefined value at the last): $${\begin{array}{ccccccccc}x&1&7&5&4&3&2&8&6\\\hline {\frac {f(x;0)}{f(x;1)}}&0&0.333&0.4&0.5&0.667&1&1.114&{\text{undefined}}\end{array}}$$ By Neyman-Pearson lemma, the MP test with size 0.1 for testing $H_{0}:\theta =0\quad {\text{vs.}}\quad H_{1}:\theta =1$ is a test with size 0.1 and rejection region $$R=\left\{x:{\frac {f(x;0)}{f(x;1)}}\leq k\right\}.$$ So, it remains to determine $R$. Since the size is 0.1, we have $$0.1=\alpha (0)=\mathbb {P} _{\theta =0}(X\in R).$$ Notice that $$\mathbb {P} _{\theta =0}(X=1)+\mathbb {P} _{\theta =0}(X=7)+\mathbb {P} _{\theta =0}(X=5)+\mathbb {P} _{\theta =0}(X=4)+\mathbb {P} _{\theta =0}(X=3)+\mathbb {P} _{\theta =0}(X=2)=0+0.02+0.02+0.02+0.02+0.02=0.1.$$ So, we can choose $k\in [1,1.114)$ (approximately), so that rejection region is $$\left\{x:{\frac {f(x;0)}{f(x;1)}}\leq k\right\}=\{1,7,5,4,3,2\}.$$

练习： 计算上述检验的第二类错误概率。

解决方案

概率为 $$\beta (1)=\mathbb {P} _{\theta =1}(X\in R^{c})=\mathbb {P} _{\theta =1}(X=8)+\mathbb {P} _{\theta =1}(X=6)=0.79.$$ （注意尽管该检验是最优的，但这种情况下第二类错误概率仍然很大。）

使用 Neyman-Pearson 引理构建另一个大小为 0.05 的最优检验来检验 $H_{0}:\theta =0\quad {\text{vs.}}\quad H_{1}:\theta =1$。

解决方案

使用 Neyman-Pearson 引理无法构建此大小的最优检验，因为我们无法选择一个 $k$ 使得 $\mathbb {P} _{\theta =0}(X\in R)$。我们可以选择 $k\in [0.333,0.4)$ （近似）使大小为 0.04，或者选择 $k\in [0.4,0.5)$ 使大小为 0.06，但我们无法选择一个 $k$ 使大小为 0.05。

似然比检验

之前，我们建议使用 Neyman-Pearson 引理来构建检验简单零假设与简单备择假设的最优检验。然而，当假设是复合的时候，我们可能无法使用 Neyman-Pearson 引理。因此，在接下来的内容中，我们将提供一个通用的方法来构建任何假设检验，不受限于简单假设。但我们应该注意到，构建的检验不一定是均匀最优检验。

定义。（似然比检验）令 $\lambda (\mathbf {x} )={\frac {\sup _{\theta \in \Theta _{0}}{\mathcal {L}}(\theta ;\mathbf {x} )}{\sup _{\theta \in \Theta }{\mathcal {L}}(\theta ;\mathbf {x} )}}$。大小为 $\alpha$ 的 似然比检验 用于检验 $H_{0}:\theta \in \Theta _{0}\quad {\text{vs.}}\quad H_{1}:\theta \in \Theta _{1}$（$\Theta _{1}=\Theta _{0}^{c}$，以及 $\theta$ 可能是一个向量）具有拒绝域 $$\{\mathbf {x} :\lambda (\mathbf {x} )\leq k\}$$，其中 $k$ 是由大小 $\alpha$ 决定的常数。

备注：

• 当 $\max _{\theta \in \Theta _{0}}{\mathcal {L}}(\theta ;\mathbf {x} )$ 和 $\max _{\theta \in \Theta }{\mathcal {L}}(\theta ;\mathbf {x} )$ 存在，我们有 $\lambda (\mathbf {x} )={\frac {{\mathcal {L}}({\hat {\theta }}^{R};\mathbf {x} )}{{\mathcal {L}}({\hat {\theta }};\mathbf {x} )}}$ 其中 ${\hat {\theta }}^{R}$ 是 $\theta$ 在 $\Theta _{0}$ 中的受限最大似然估计，而 ${\hat {\theta }}$ 是 $\theta$ 在 $\Theta$ 中的最大似然估计。我们可以在以下假设其存在。
• 由于 $\Theta _{0}\subseteq \Theta$，${\mathcal {L}}({\hat {\theta }}^{R};\mathbf {x} )\leq {\mathcal {L}}({\hat {\theta }};\mathbf {x} )$，因此我们有 $\lambda (\mathbf {x} )\leq 1$。
• 直观上，当 $\lambda (\mathbf {x} )$ 很小时，即 ${\mathcal {L}}({\hat {\theta }}^{R};\mathbf {x} )\ll {\mathcal {L}}({\hat {\theta }};\mathbf {x} )$，这表明在 $\Theta _{1}$ 中有许多 $\theta$ 比 $\Theta _{0}$ 中的所有 $\theta$ 更可能。因此，$H_{0}$ 应该直观地被拒绝。
• 另一方面，当 $\lambda (\mathbf {x} )$ 非常接近 1 时，即 ${\mathcal {L}}({\hat {\theta }}^{R};\mathbf {x} )\lesssim {\mathcal {L}}({\hat {\theta }};\mathbf {x} )$，这表明在 $\Theta _{1}$ 中只有极少数 $\theta$ 比 $\Theta _{0}$ 中的所有 $\theta$ 更可能。因此，$H_{0}$ 应该直观地 不 被拒绝。
• 当简单假设和备择假设都为简单假设时，似然比检验将与 Neyman-Pearson 引理中提出的检验相同。

假设检验与置信区间的关系

我们已经提到，假设检验与置信区间之间存在相似之处。在本节中，我们将介绍一个定理，该定理建议如何从置信区间（或更一般地，置信 集）构造假设检验，反之亦然。

定理。 对于每个 $\theta _{0}\in \Theta$，令 $R(\theta _{0})$ 为大小为 $\alpha$ 的检验 $H_{0}:\theta =\theta _{0}\quad {\text{vs.}}\quad H_{1}:\theta \neq \theta _{0}$ 的拒绝域。另外，令 $x_{1},\dotsc ,x_{n}$ 为来自潜在分布的随机样本 $X_{1},\dotsc ,X_{n}$ 的对应实现。此外，令 $\mathbf {x} =(x_{1},\dotsc ,x_{n})$ 和 $\mathbf {X} =(X_{1},\dotsc ,X_{n})$。

定义一个集合 $$C(\mathbf {x} )=\{\theta _{0}:\mathbf {x} \in R(\theta _{0})^{c}\}.$$ 那么，随机集合 $C(\mathbf {X} )$ 是 $1-\alpha$ 置信集 $\theta _{0}$。

相反，设集合 $C^{*}(\mathbf {X} )$ 是一个未知参数 $\theta$ 的 $1-\alpha$ 置信集。对于每一个 $\theta _{0}\in \Theta$，定义 $$R(\theta _{0})=\{\mathbf {x} :\theta _{0}\notin C^{*}(\mathbf {x} )\}.$$ 那么，$R(\theta _{0})$ 是一个检验 $H_{0}:\theta =\theta _{0}\quad {\text{vs.}}\quad H_{1}:\theta \neq \theta _{0}$ 的大小为 $\alpha$ 的拒绝域。

证明。 对于第一部分，由于 $R(\theta _{0})$ 是大小为 $\alpha$ 的检验的拒绝域，我们有 $$\mathbb {P} _{\theta _{0}}(\mathbf {X} \in R)=\alpha .$$ 因此，随机集 $C(\mathbf {X} )$ 的覆盖概率为 $$\mathbb {P} _{\theta _{0}}(\theta _{0}\in C(\mathbf {X} ))=\mathbb {P} _{\theta _{0}}(\mathbf {X} \in R^{c})=1-\alpha ,$$ 这意味着随机集 $C(\mathbf {X} )$ 是 $1-\alpha$ 置信集的 $\theta _{0}$.

对于第二部分，根据假设，我们有 $$\mathbb {P} _{\theta }(\theta \in C^{*}(\mathbf {X} ))=1-\alpha .$$ 因此，拒绝域为 $R(\theta _{0})$ 的检验的大小为 $$\mathbb {P} _{\theta =\theta _{0}}(\mathbf {X} \in R(\theta _{0}))=\mathbb {P} _{\theta =\theta _{0}}(\theta _{0}=\theta \notin C^{*}(\mathbf {X} ))=1-(1-\alpha )=\alpha .$$

$\Box$

备注：

• "$\theta _{0}$" 可以取 $\Theta$ 中的任意值。因此，可以将 $\theta _{0}$ 视为分布的未知参数。
• 通常，第一个结果更有用。但是，第二个结果证明了我们的直觉：给定未知参数$\theta$ 的置信区间，如果某个特定值 $\theta _{0}$ 位于置信区间内，那么我们有 "$1-\alpha$" 的信心，认为 $\theta =\theta _{0}$ 。现在，从这个定理中，我们知道我们可以将“有 $1-\alpha$ 的信心认为 $\theta =\theta _{0}$ ” 解释为“在显著性水平 $\alpha$ 下接受 $\theta =\theta _{0}$”。

• 例如，如果 $\theta$ 的 95% 置信区间是 $[-1,1]$，并且由于 $0\in [-1,1]$，我们直观地说，我们有 95% 的信心认为 $\theta =0$。现在，我们可以更正式地说，我们在显著性水平 $\alpha =0.05$ 下接受 $\theta =0$ 。
• 因此，置信系数 $1-\alpha$ 和显著性水平 $\alpha$ 之间的关系现在很清楚了。
• 在某些情况下，给定一些观察值，当一个 $1-\alpha$ 置信区间 $\theta -\theta '$ 包含零时，则 $\theta$ 与 $\theta '$ 只有 统计上不显著 的差异。当我们考虑置信系数和显著性水平之间的关系时，这种说法是自然的。

• 由于 0 包含在置信区间中，我们在显著性水平 $\alpha =0.05$ 下接受（不拒绝） $\theta -\theta '=0\implies \theta =\theta '$。这意味着观察值 统计上不显著。因此，我们有了这种说法。