多元正态的条件分布与 Hotelling's T square 统计量

这篇文章来源于一次作业，本文介绍了多元正态的条件分布，介绍了 Hotelling’s $T^2$ 检验与 似然比检验 (Likelihood ratio test) 的 等价性。

多元正态的条件分布

令 $X=(X_1,X_2)'\sim N(\mu,\Sigma)$, 其中

$$\Sigma=\begin{pmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix},$$

且 $\Sigma_{ij}=\operatorname{Cov}(X_i,X_j)$ for $i,j=1,2$.

则有

$$X_2|X_1\sim N(\mu_2+\Sigma_{21}\Sigma_{11}^{-1}(X_1-\mu_1), \Sigma_{22\cdot1}),$$

其中 $\mu_1=E(X_1)$ 且 $\Sigma_{22\cdot1}=\Sigma_{22}-\Sigma_{21}\Sigma_{11}^{-1}\Sigma_{12}$

---

证明

下面证明这个结论，证明过程参考了知乎的 回归分析|笔记整理（4）——多元正态分布理论（中）. 主要思路是对方差进行变形（对角化）

首先，我们有

$$\Sigma=\begin{pmatrix} \Sigma_{11} & \Sigma_{12} \\ \Sigma_{21} & \Sigma_{22} \end{pmatrix} \xrightarrow{r_2-\Sigma_{21}\Sigma_{11}^{-1} r_1} \begin{pmatrix} \Sigma_{11} & \Sigma_{12} \\ O & \Sigma_{22}-\Sigma_{21}\Sigma_{11}^{-1}\Sigma_{12} \end{pmatrix} \xrightarrow{c_2-c_1\Sigma_{11}^{-1}\Sigma_{12}} \begin{pmatrix} \Sigma_{11} & O \\ O & \Sigma_{22\cdot1} \end{pmatrix}\equiv\Lambda$$

由于初等行变换相当于左乘一个初等矩阵，初等列变换相当于右乘一个初等矩阵，因此有

$$\Lambda =\begin{pmatrix} \Sigma_{11} & O \\ O & \Sigma_{22\cdot1} \end{pmatrix}= \begin{pmatrix} I & O \\ -\Sigma_{21}\Sigma_{11}^{-1} & I \end{pmatrix} \Sigma \begin{pmatrix} I & -\Sigma_{11}^{-1}\Sigma_{12} \\ O & I \end{pmatrix} \equiv A\Sigma A'$$

因此, $\Sigma^{-1}=A'\Lambda^{-1}A$.

对于 $X$ 的 pdf, 有

$$f(X)=(2\pi)^{-\frac{n}{2}}|\Sigma|^{-\frac{1}{2}}e^{-\frac{1}{2}(X-\mu)'\Sigma^{-1}(X-\mu)},$$

但是，我们只关心指数部分

$$\begin{aligned} &(X-\mu)'\Sigma^{-1}(X-\mu) \\ =& \begin{pmatrix} X_1'-\mu_1' & X_2'-\mu_2' \end{pmatrix}A'\Lambda^{-1}A \begin{pmatrix} X_1-\mu_1 \\ X_2-\mu_2 \end{pmatrix} \\ =&\begin{pmatrix} X_1'-\mu_1' & -(\Sigma_{21}\Sigma_{11}^{-1}(X_1-\mu_1)+X_2-\mu_2)' \end{pmatrix} \Lambda \begin{pmatrix} X_1-\mu_1 \\ -\Sigma_{21}\Sigma_{11}^{-1}(X_1-\mu_1)+X_2-\mu_2 \end{pmatrix} \\ =&(X_1-\mu_1)'\Sigma^{-1}_{11}(X_1-\mu_1) \\ &+(-\Sigma_{21}\Sigma_{11}^{-1}(X_1-\mu_1)+X_2-\mu_2)'\Sigma_{22\cdot 1}^{-1}(-\Sigma_{21}\Sigma_{11}^{-1}(X_1-\mu_1)+X_2-\mu_2) \end{aligned}$$

因此，从方差跟均值可以看出结论了

$$X_2|X_1\sim N(\mu_2+\Sigma_{21}\Sigma_{11}^{-1}(X_1-\mu_1), \Sigma_{22\cdot1})$$

Hotelling $T^2$

本节参考维基百科 Hotelling’s T-squared distribution, 与 Wishart distribution.

Wishart 分布

首先介绍 Wishart 分布。 Wishart 分布是 $\chi^2$ 分布在多元正态情况下的推广。其定义为

令 $G$ 为一个 $p\times n$ 的矩阵, 其每一列 $G_i$为来自于多元正态 $N_p(0,V)$ 的相互独立的随机向量。则定义

$$W=GG'=\sum_{i=1}^n G_iG_i' \sim W_p(V,n)$$

其中 $W_p(V,n)$ 就是 Wishart 分布，其中 $n$ 叫做自由度，V 是缩放矩阵。当 $p=1$, $V=1$ 的时候就是一元的 $\chi^2$ 分布。

Hotelling’s $T^2$

Hotelling’s $T^2$, 顾名思义，就是 $t$ 分布在多元正态情况下的推广。其定义为

若 $d\sim N_p(0,I)$, $M$ 是一个 $p\times p$ 的矩阵，与 $d$ 独立，且 $M \sim W_p(I,m)$，则如下的二次型

$$X=md'M^{-1}d \sim T^2(p,m)$$

服从参数为 $p$ 和 $m$ 的 Hotelling $T^2$ 分布。

注意到 $X=d'(M/m)^{-1}d$, 可以看出 Hotelling’s $T^2$ 分布是 $t$ 分布 $t=Z/(\chi^2/n)$在多元条件下的推广($t^2$).

$t$ 分布与 $F$ 分布有关系 $t^2(n)=F(1,n)$, Hotelling’s $T^2$ 也与 $F$ 分布有关系

$$T^2 \sim T^2(p,n-1) =\frac{p(n-1)}{n-p}F(p,n-p)$$

Hotelling’s $t^2$ 统计量

令 $x_i$, $i=1,2,\cdots,n$ 为独立同分布来自于多元正态 $N_p(\mu,\Sigma)$ 的随机向量，样本均值为

$$\bar x=\frac{1}{n}\sum_{i=1}^nx_i$$

样本方差为：

$$S=\frac{1}{n-1}\sum_{i=1}^n (x_i-\bar x)(x_i-\bar x)’$$

则有 $\bar x$ 与 $S$ 独立，且

$$t^2=(\bar x-\mu)'S^{-1}(\bar x-\mu) \sim T^2(p,n-1)$$

Hotelling’s $T^2$ 检验与 似然比检验的等价性。

本部分参考 https://www.stat.ncsu.edu/people/bloomfield/courses/st784/twa-05-1.pdf

注意到上述的 $t^2$ 统计量可以用于检验总体均值是否为 $\mu$.

假设 $x_i$, $i=1,\cdots,n$ 为独立同分布来自于 $N_p(\mu, \Sigma)$ 的随机样本，我们要检验

$$H_0: \mu=\mu_0\qquad \text{vs.} \qquad H_1:\mu\neq \mu_0$$

我们可以使用似然比检验或者 $T^2$ 检验，这两者是等价的。

$T^2$ 检验

统计量为

$$t^2=(\bar x-\mu_0)'S^{-1}(\bar x-\mu_0) \sim T^2(p,n-1)$$

似然比检验 （Likelihood ratio test）

似然函数为

$$L(\mu,\Sigma)=\prod_{i=1}^nf(x_i)=(2\pi|\Sigma|)^{-\frac{n}{2}}\exp\{-\frac{1}{2}\sum_{i=1}^n (x_i-\mu)'\Sigma^{-1}(x-\mu)\}$$

$$\Lambda=\frac{\max_{\Sigma}L(\mu_0,\Sigma)}{\max_{\mu,\Sigma}L(\mu,\Sigma)}$$

在 $H_0$ 成立的条件下， 对于 $L(\mu_0,\Sigma)$, 有

$$\hat \Sigma_{\omega}=\frac{1}{n}\sum_{i=1}^n(x_i-\mu_0)(x_i-\mu_0)'$$

从而 $L(\mu_0,\hat \Sigma_{\omega})$ 的指数部分为(忽略常系数)

$$\begin{aligned} D=&\sum_{i=1}^n(x_i-\mu_0)'\hat\Sigma^{-1}_{\omega}(x_i-\mu_0)\\ =&\operatorname{tr}(D)\\ =&\operatorname{tr}\left(\sum_{i=1}^n\hat\Sigma_{\omega}^{-1}(x_i-\mu_0)(x_i-\mu_0)'\right)\\ =&\operatorname{tr}\left(\hat\Sigma_{\omega}^{-1}\sum_{i=1}^n(x_i-\mu_0)(x_i-\mu_0)'\right)\\ =&\operatorname{tr}\left(n\left[\sum_{i=1}^n(x_i-\mu_0)(x_i-\mu_0)'\right]^{-1}\left[\sum_{i=1}^n(x_i-\mu_0)(x_i-\mu_0)'\right]\right)\\ =&\operatorname{tr}\left(nI_{p}\right)\\ =&np \end{aligned}$$

第二个等号是因为注意到 $D$ 是一个数,所以 $D=\operatorname{tr}(D)$，第三个等号是因为注意到 $\operatorname{tr(AB)}=\operatorname{tr(BA)}$, 对于任意的 $A,B$ 矩阵成立（只要可以相乘），再令

$A=(x_i-\mu_0)'$, $B=\hat\Sigma^{-1}_{\omega}(x_i-\mu_0)$.

因此

$$L(\mu_0,\hat \Sigma_{\omega})=(2\pi|\hat\Sigma_{\omega}|)^{-\frac{n}{2}} \exp(-\frac{pn}{2})$$

同理， $L(\mu,\Sigma)$的参数估计为 $\hat \mu=\bar x$,

$$\hat \Sigma=\frac{1}{n}\sum_{i=1}^n(x_i-\bar x)(x_i-\bar x)'$$

并且

$$L(\bar x,\hat \Sigma)=(2\pi|\hat\Sigma|)^{-\frac{n}{2}} \exp(-\frac{pn}{2})$$

因而有

$$\Lambda=\frac{L(\mu_0,\hat\Sigma_{\omega})}{L(\bar x,\hat \Sigma)} =\frac{|\hat \Sigma_{\omega}|^{-\frac{n}{2}}}{|\hat \Sigma|^{-\frac{n}{2}}}=\frac{|\hat \Sigma|^{\frac{n}{2}}}{|\hat \Sigma_{\omega}|^{\frac{n}{2}}}$$

从而，有（注意到我们丢掉了系数 $\frac1n$）

$$\Lambda^{\frac{2}{n}}=\frac{|\hat \Sigma|}{|\hat\Sigma_{\omega}|}=\frac{|\sum_{i=1}^n(x_i-\bar x)(x_i-\bar x)'|}{|\sum_{i=1}^n(x_i-\mu_0)(x_i-\mu_0)'|}$$

注意到

$$\begin{aligned} &\sum_{i=1}^n(x_i-\mu_0)(x_i-\mu_0)'\\ =&\sum_{i=1}^n(x_i-\bar x+\bar x-\mu_0)(x_i-\bar x+\bar x-\mu_0)'\\ =& \sum_{i=1}^n(x_i-\bar x)(x_i-\bar x)'+n(\bar x-\mu_0)(\bar x-\mu_0)'\\ =&(n-1)S+n(\bar x-\mu_0)(\bar x-\mu_0)'\\ =&(n-1)S\left[I_p+[(n-1)S]^{-1}n(\bar x-\mu_0)(\bar x-\mu_0)'\right] \end{aligned}$$

根据 Weinstein–Aronszajn identity,

$$\begin{equation} \operatorname{det}\left(I_{m}+A B\right)=\operatorname{det}\left(I_{n}+B A\right) \end{equation}$$

这个等式的证明过程跟我们证明多元正态的条件分布时候对角化方差的过程基本一致。构造辅助矩阵

$$\begin{equation} M=\left(\begin{array}{cc} I_{m} & -A \\ B & I_{n} \end{array}\right) \end{equation}$$

然后通过两种方式算 $M$ 的行列式，一种是把 $B$ 所在位置化成0， 另一种是把 $A$ 所在位置化成0。

下面回到我们的证明，令 $A=[(n-1)S]^{-1}n(\bar x-\mu_0)$, $B=(\bar x-\mu_0)'$, 有

$$|I_p+[(n-1)S]^{-1}n(\bar x-\mu_0)(\bar x-\mu_0)'|=|1+(\bar x-\mu_0)'[(n-1)S]^{-1}n(\bar x-\mu_0)|=1+\frac{T^2}{(n-1)}$$

我们有

$$\begin{aligned} \Lambda^{\frac{2}{n}} =&\frac{|\sum_{i=1}^n(x_i-\bar x)(x_i-\bar x)'|}{|\sum_{i=1}^n(x_i-\mu_0)(x_i-\mu_0)'|}\\ =&\frac{|(n-1)S|}{|(n-1)S||I_p+[(n-1)S]^{-1}n(\bar x-\mu_0)(\bar x-\mu_0)'|}\\ =&\frac{1}{|I_p+[(n-1)S]^{-1}n(\bar x-\mu_0)(\bar x-\mu_0)'|}\\ =&\frac{1}{1+\frac{T^2}{(n-1)}} \end{aligned}$$

到这里，我们的结论就证明完了，这两种检验确实互相等价。整理一下，有

$$\Lambda^{-\frac{2}{n}}=1+\frac{T^2}{n-1}$$