假设检验理论

该部分内容对应Hogg课本的第6章和第9章，我们的研究建立在对假设检验已有基本理论认识的基础上，进而讨论如何确定最优的拒绝域$C$. 事实上，这里的“最优”指的是在控制第一类错误的前提下，使第二类错误尽可能小：

• $P[(X_1,X_2,\cdots,X_n) \in C;H_0]=\alpha$
• $P[(X_1,X_2,\cdots,X_n) \in C;H_1]=1-\beta$

其中$\alpha,\beta$分别为第一类和第二类错误.

我们将依从Hogg课本循序渐进地讨论以下三种情况及其拓展和应用：

• $H_0$: 简单假设 / $H_1$: 复合假设
• $H_0$: 简单假设 / $H_1$: 复合假设
• $H_0,H_1$任意

一、显著性检验(Certain Best Tests)

设随机样本$X_1,X_2,\cdots,X_n$服从密度函数$f(x;\theta)$，$\Omega=\{\theta’,\theta’’\}$，考虑两个简单假设$H_0:\theta=\theta’,H_1:\theta=\theta’’$.

定义1. 称$C\subseteq \mathbb{R}^n$是一个大小为$\alpha$的最优拒绝域(best critical region)，若对任意$A \subseteq \mathbb{R}^n$满足$\operatorname{Pr}[(X_1,X_2,\cdots,X_n) \in A,H_0]=\alpha$，有

(a) $\operatorname{Pr}[(X_1,X_2,\cdots,X_n) \in C,H_0]=\alpha$

(b) $\operatorname{Pr}[(X_1,X_2,\cdots,X_n) \in C,H_1] \geq \operatorname{Pr}[(X_1,X_2,\cdots,X_n) \in A,H_1]$

注：设$C$为拒绝域，$\operatorname{Pr}[(X_1,X_2,\cdots,X_n) \in C,H_1]=1-\beta$，其中$\beta$为犯第二类错误的概率，因此$\operatorname{Pr}[(X_1,X_2,\cdots,X_n) \in C,H_1]$的取值应尽可能地大.

定理1 (Neyman-Pearson Thm). 样本$X_1,X_2,\cdots,X_n$的似然函数为

$$
L(\theta;x_1,x_2,\cdots,x_n)=f(x_1;\theta)f(x_2;\theta) \cdots f(x_n;\theta)
$$

设$C \subseteq \mathbb{R}^n$，若存在$k > 0$使得

(a) $\dfrac{L(\theta’;x_1,x_2,\cdots,x_n)}{L(\theta’’;x_1,x_2,\cdots,x_n)} \leq k$, for $(x_1,x_2,\cdots,x_n) \in C$

(b) $\dfrac{L(\theta’;x_1,x_2,\cdots,x_n)}{L(\theta’’;x_1,x_2,\cdots,x_n)} \geq k$, for $(x_1,x_2,\cdots,x_n) \in C^*=\mathbb{R} \backslash C$

(c) $\operatorname{Pr}[(X_1,X_2,\cdots,X_n) \in C,H_0]=\alpha$

则称$C$是一个大小为$\alpha$的最优拒绝域.

先不考虑大小，假设检验的一个最优拒绝域具有形式

$$
C = \left\{ (x_1,x_2,\cdots,x_n) : \frac{L(\theta’;x_1,x_2,\cdots,x_n)}{L(\theta’’;x_1,x_2,\cdots,x_n)} \leq k , k>0 \right\}
$$

通常可以写作（其中$u_1$或$u_2$的概率分布应可知）

$$
C = \left\{ (x_1,x_2,\cdots,x_n) : u_1(x_1,x_2,\cdots,x_n;\theta’,\theta’’) \leq c_1 \right\}
$$

或

$$
C = \left\{ (x_1,x_2,\cdots,x_n) : u_2(x_1,x_2,\cdots,x_n;\theta’,\theta’’) \geq c_2 \right\}
$$

以前者为例，常数$c_1$的值则可以由$C$的大小$\alpha$确定：

$$
\alpha = \operatorname{Pr}[u_1(x_1,x_2,\cdots,x_n;\theta’,\theta’’) \leq c_1;H_0]
$$

二、最优势检验(Uniformly Most Powerful Tests)

设随机样本$X_1,X_2,\cdots,X_n$服从密度函数$f(x;\theta)$，$\Omega=\{\theta’,\theta’’\}$，考虑简单假设$H_0:\theta=\theta’$和复合假设$H_1:\theta>\theta’$（此时称该检验为右侧检验）. 对于左侧检验（即$H_1:\theta<\theta’$），下列定义可直接推广.

定义2. 拒绝域$C$称为大小为$\alpha$的一致最优拒绝域(uniformly most powerful critical region)，如果对$H_1$中的任意简单假设$H_1’:\theta=\theta’’>\theta’$，$C$都是最优的.

设$Y=u(X_1,X_2,\cdots,X_n)$是$\theta$的一个充分统计量，由因子分解定理：

$$
L(\theta;x_1,x_2,\cdots,x_n)=k_1[u(x_1,x_2,\cdots,x_n);\theta]k_2(x_1,x_2,\cdots,x_n)
$$

于是

$$
\frac{L(\theta’;x_1,x_2,\cdots,x_n)}{L(\theta’’;x_1,x_2,\cdots,x_n)} = \frac{k_1[u(x_1,x_2,\cdots,x_n);\theta’]}{k_1[u(x_1,x_2,\cdots,x_n);\theta’’]}
$$

所以一致最优拒绝域应基于充分统计量而非其他统计量.

推论2. 设密度函数$f(x;\theta)$属于指数分布族：

$$
f(x;\theta)=\exp\{p(\theta)K(x)+S(x)+q(\theta)\}, \quad x \in \mathscr{A}
$$

则对于检验$H_0:\theta=\theta’$, $H_1:\theta<\theta’$，有

$$
\frac{L(\theta’)}{L(\theta’’)} \leq k \Leftrightarrow \sum_{i=1}^n K(x_i) \leq c \quad (\theta’’<\theta’)
$$

即一致最优拒绝域$C$由$C=\{\sum K(x_i) \leq c\}$给出.

类似地，对于检验$H_0:\theta=\theta’$, $H_1:\theta > \theta’$，则有$C=\{\sum K(x_i) \geq c\}$.

三、似然比检验(Likelihood Ratio Tests)

首先我们需要清楚的是，似然比检验通常适用于以下两种情形：

• Composite Hypothesis against Composite Hypothesis

• Simple Hypothesis against Composite Hypothesis when a uniformly most powerful test does not exist

设$\omega \subset \Omega$，$H_0:\theta \in \omega$，$H_1:\theta\in\Omega$，则似然比检验的具体步骤为：

(1) The joint p.d.f. of $X_1,X_2,\cdots,X_n$, at each point in $\omega$ 记为 $L(\omega)$

The joint p.d.f. of $X_1,X_2,\cdots,X_n$, at each point in $\Omega$ 记为 $L(\Omega)$

(2) 利用最大似然估计计算$L(\omega)$在$\omega$上的最大值：$L(\hat{\omega})$

利用最大似然估计计算$L(\Omega)$在$\Omega$上的最大值：$L(\hat{\Omega})$

(3) 拒绝域$C$由似然比(likelihood ratio)的取值决定：

$$
\lambda := \lambda(x_1,x_2,\cdots,x_n) = \frac{L(\hat{\omega})}{L(\hat{\Omega})}
$$

注意到$H_0$成立时$\lambda$应较大，于是拒绝域具有如下形式：

$$
C=\{(x_1,x_2,\cdots,x_n):\lambda \leq \lambda_0\}
$$

其中$\lambda_0$的取值由

$$
\alpha=\operatorname{Pr}[\lambda(X_1,X_2,\cdots,X_n) \leq \lambda_0;H_0]
$$

确定.

四、序贯似然比检验(Sequential Probability Ratio Test)

设$\Omega=\{\theta’,\theta’’\}$，$H_0:\theta=\theta’$，$H_1:\theta=\theta’’$.

定义$X_1,X_2,\cdots,X_n$（样本容量$n$不固定）的联合密度函数为

$$
L(\theta,n)=f(x_1,\theta)f(x_2,\theta) \cdots f(x_n,\theta)
$$

则样本容量为$n$时拒绝域为

$$
C_n=\left\{ (x_1,\cdots,x_n):k_0<\frac{L(\theta’,j)}{L(\theta’’,j)}<k_1,j=1,\cdots,n-1;\frac{L(\theta’,n)}{L(\theta’’,n)}\leq k_0 \right\}
$$

接受域为

$$
B_n=\left\{ (x_1,\cdots,x_n):k_0<\frac{L(\theta’,j)}{L(\theta’’,j)}<k_1,j=1,\cdots,n-1;\frac{L(\theta’,n)}{L(\theta’’,n)}\geq k_1 \right\}
$$

其中$k_0<k_1$为给定常数，通常

$$
k_0<\frac{L(\theta’,n)}{L(\theta’’,n)}<k_1 \Leftrightarrow c_0(n)<u(x_1,x_2,\cdots,x_n)<c_1(n)
$$

于是当上式成立时，继续增加样本进行观察；直至

$$
u(x_1,x_2,\cdots,x_n) \leq c_0(n) \quad\text{or}\quad u(x_1,x_2,\cdots,x_n) \geq c_1(n)
$$

时才接受或拒绝原假设$H_0$.

注: 如果要求犯两类错误概率应接近$\alpha_a$和$\beta_a$，那么由此可以确定$k_0$和$k_1$的取值：

$$
k_0=\frac{\alpha_a}{1-\beta_a}, \quad k_1=\frac{1-\alpha_a}{\beta_a}
$$

此时实际犯错误概率的上限为：

$$
\alpha \leq \frac{\alpha_a}{1-\beta_a}=k_0, \quad \beta \leq \frac{\beta_a}{1-\alpha_a}=\frac{1}{k_1}
$$

且它们满足：$\alpha+\beta \leq \alpha_a+\beta_a$.

五、决策论观点下的假设检验

概念1: Minimax Test

设$\Omega=\{\theta’,\theta’’\}$，$H_0:\theta=\theta’$，$H_1:\theta=\theta’’$.

取定损失函数为$\mathscr{L}(\theta,\delta)$，其中决策$\delta$包含：$\delta=\theta’$(接受$H_0$)和$\delta=\theta’’$(拒绝$H_0$)，于是需要确定以下取值：

$$
\mathscr{L}(\theta’,\theta’)=\mathscr{L}(\theta’’,\theta’’)=0, \quad \mathscr{L}(\theta’,\theta’’),\mathscr{L}(\theta’’,\theta’)>0
$$

风险函数记为：

$$
R(\theta,C)=R(\theta,\delta)=E[\mathscr{L}(\theta,\delta)]=\int_{C} \mathscr{L}(\theta,\theta’’)L(\theta)+\int_{C^{*}} \mathscr{L}(\theta,\theta’)L(\theta)
$$

Minimax检验要求找到拒绝域

$$
C = \left\{ (x_1,x_2,\cdots,x_n) : \frac{L(\theta’;x_1,x_2,\cdots,x_n)}{L(\theta’’;x_1,x_2,\cdots,x_n)} \leq k \right\}
$$

使得

$$
\max[R(\theta’,C),R(\theta’’,C)]=\max\left[ \mathscr{L}(\theta’,\theta’’)\int_{C}L(\theta’),\mathscr{L}(\theta’’,\theta’)\int_{C^*}L(\theta’’) \right]
$$

最小化，此时$k$的取值由条件

$$
\mathscr{L}(\theta’,\theta’’)\int_{C}L(\theta’)=\mathscr{L}(\theta’’,\theta’)\int_{C^*}L(\theta’’)
$$

直接确定.

概念2: Bayesian Test

设$\Omega=\{\theta’,\theta’’\}$，$H_0:\theta=\theta’$，$H_1:\theta=\theta’’$，其中$\theta’,\theta’’$为随机变量$\Theta$的取值且具有先验概率(prior probabilities)：$h(\theta’)>0$和$h(\theta’’)>0$

Bayesian检验要求

$$
E[\mathscr{L}(\theta,\theta’’)|X_1=x_1,\cdots,X_n=x_n] < E[\mathscr{L}(\theta,\theta’)|X_1=x_1,\cdots,X_n=x_n]
$$

等价于

$$
\sum_{\Omega} \mathscr{L}(\theta,\theta’’) k(\theta|x_1,\cdots,x_n) < \sum_{\Omega} \mathscr{L}(\theta,\theta’) k(\theta|x_1,\cdots,x_n)
$$

等价于

$$
\frac{\mathscr{L}(\theta’,\theta’’)h(\theta’)L(\theta’)}{h(\theta’)L(\theta’)+h(\theta’’)L(\theta’’)} < \frac{\mathscr{L}(\theta’’,\theta’)h(\theta’’)L(\theta’’)}{h(\theta’)L(\theta’)+h(\theta’’)L(\theta’’)}
$$

等价于

$$
\frac{L(\theta’)}{L(\theta’’)}<\frac{\mathscr{L}(\theta’’,\theta’)h(\theta’’)}{\mathscr{L}(\theta’,\theta’’)h(\theta’)}
$$

所以拒绝域$C$具有如下形式：

$$
C = \left\{ (x_1,x_2,\cdots,x_n) : \frac{L(\theta’;x_1,x_2,\cdots,x_n)}{L(\theta’’;x_1,x_2,\cdots,x_n)} < k \right\}
$$

其中$k$的取值由$k=\dfrac{\mathscr{L}(\theta’’,\theta’)h(\theta’’)}{\mathscr{L}(\theta’,\theta’’)h(\theta’)}$确定.

参考文献

1. Hogg, R. V., & Craig, A. T. (. T. (1995). Introduction to mathematical statistics (5th ed.). Englewood Cliffs, N.J.: Prentice Hall.