统计推断笔记-第五章

这篇文章是 UncleBob 的统计推断第五章笔记.

由于是从 $\LaTeX$ 格式转化而来，可能发生了一些排版上的改变.

Chapter 5. 随机样本的性质

5.1 随机样本的基本概念

定义 [随机样本 random sample]
如果 $X_1, X_2, \dots, X_n$ 相互独立，且具有相同的 pdf 或 pmf $f(x)$，则称 $X_1, X_2, \dots, X_n$ 为总体为 $f(x)$ 的大小为 $n$ 的随机样本，称 $n$ 为样本量.

在统计中，通常 $f(x) = f(x \mid \theta)$，其中 $\theta \in \Theta$ 未知，要利用样本 $X_1, \dots, X_n$ 估计未知参数 $\theta$.

样本的联合分布为

$$f(X_1, X_2, \dots, X_n \mid \theta) = \prod_{i=1}^n f(X_i \mid \theta) = \ell(\theta \mid X_1, X_2, \dots, X_n),$$

它是关于未知参数 $\theta$ 的推断依据.

定义 [总体与样本]
把所有要考察的某种特性的对象的全体称为总体（population），其中的每个对象称为个体；从总体中所抽取的部分个体称为总体的一个样本.

定义
若 $f(\cdot \mid \theta)$ 的形式已知，称 $\{f(x \mid \theta) : \theta \in \Theta\}$ 为参数总体；
反之，若形式未知，称为非参数总体，例如 $\{f(x) : X \sim f(x), \int |x|f(x)\,dx < \infty\}$；
若部分信息已知，称为半参数总体，例如 $\{f(x) : f(x)\text{ 关于 }\mu\text{ 对称}, \mu \in \mathbb{R}\}$.

统计和概率推理的基本逻辑：对于 $X\sim F(x,\theta)$ 总体，$\theta$ 已知时，我们可以计算 $P_\theta\{|x|>\epsilon\}$；$\theta$ 未知，我们抽样 $X_1,\dots,X_n$，利用这些样本去推断 $\theta$ 得到 $\hat\theta$，通过了解 $F(x,\hat\theta)$ 分析总体.

注：有限总体中的不放回抽样得到的样本不一定是随机样本.

5.2 随机变量之和

定义 [统计量]
设 $X_1, X_2, \dots, X_n$ 为随机样本，若 $T = T(X_1, X_2, \dots, X_n)$ 是定义在样本空间 $\mathcal{X}^n$ 上的随机变量或随机向量，则称 $T$ 为样本的统计量.

注：

• 统计量只与样本有关，不包含任何未知参数；
• 统计量的分布称为抽样分布. 抽样分布可以包含未知参数，也可以不包含.

例
设 $X_1, \dots, X_n \stackrel{\mathrm{i.i.d.}}{\sim} N(\mu, 1)$，$\mu\in\mathbb{R}$ 未知，那么：

• $X_1+ \dots+ X_n$，$\frac{1}{n}\sum_{i=1}^nX_i$，$\max\{X_1, \dots, X_n\}$，$\min\{X_1, \dots, X_n\}$，$X_1$ 都是统计量，$X_1-\mu$ 不是统计量；
• 统计量的分布：$X_1+ \dots+ X_n \sim N(n\mu,n)$ 与 $\mu$ 有关，$X_1-X_2 \sim N(0,2)$ 与 $\mu$ 无关.

定义 [常用统计量]
常见的统计量包括：

• 样本均值：$\displaystyle \bar{X} = \frac{1}{n}\sum_{i=1}^n X_i$；
• 样本方差：$\displaystyle s^2 = \frac{1}{n-1}\sum_{i=1}^n (X_i - \bar{X})^2$；
• 样本标准差：$s = \sqrt{s^2}$.

性质
对于任意样本 $X_1, \dots, X_n$，有：

• $\displaystyle \min_a \sum_{i=1}^n (X_i - a)^2 = \sum_{i=1}^n (X_i - \bar{X})^2;$
• $\displaystyle \min_a \sum_{i=1}^n |X_i - a| = \sum_{i=1}^n |X_i - \mathrm{median}(X)|;$
• $\displaystyle (n - 1)s^2 = \sum_{i=1}^n (X_i - \bar{X})^2 = \sum_{i=1}^n X_i^2 - n\bar{X}^2.$

引理
设 $X_1, X_2, \dots, X_n$ 为总体中抽取的随机样本，函数 $g$ 满足 $E[g(X)],\,E[g^2(X)],\,\mathrm{Var}(g(X))$ 均存在，则

$$E\left(\sum_{i=1}^n g(X_i)\right) = nE[g(X_1)], \qquad \mathrm{Var}\left(\sum_{i=1}^n g(X_i)\right) = n\mathrm{Var}[g(X_1)].$$

定理
设 $X_1, X_2, \dots, X_n$ 为总体中抽取的随机样本，且 $E[X_1] = \mu$，$\mathrm{Var}(X_1) = \sigma^2 < +\infty$，则：

• $E[\bar{X}] = \mu$；
• $\mathrm{Var}(\bar{X}) = \dfrac{\sigma^2}{n}$；
• $E[s^2] = \sigma^2$.

例
若 $X_1, \dots, X_n \stackrel{\mathrm{i.i.d.}}{\sim} N(\mu, \sigma^2)$，其中 $\mu \in \mathbb{R}$，$\sigma^2 > 0$，则

$$\sum_{i=1}^n X_i \sim N(n\mu, n\sigma^2).$$

例
若 $X_1, \dots, X_n \stackrel{\mathrm{i.i.d.}}{\sim} \mathrm{Bernoulli}(p)$，$0 < p < 1$，则

$$\sum_{i=1}^n X_i \sim \mathrm{Binomial}(n, p).$$

例
若 $X_1, \dots, X_n \stackrel{\mathrm{i.i.d.}}{\sim} \mathrm{Cauchy}(\mu, 1)$，则

$$\sum_{i=1}^n X_i \sim \mathrm{Cauchy}(\mu, 1).$$

例
若

$$f(x \mid \theta) = c(\theta)h(x) \exp\left\{\sum_{j=1}^k w_j(\theta)t_j(x)\right\},$$

且 $X_1, \dots, X_n \stackrel{\mathrm{i.i.d.}}{\sim} f(x \mid \theta)$，则统计量

$$T(X_1, \dots, X_n) = \biggl(\sum_{i=1}^n t_1(X_i),\, \dots,\, \sum_{i=1}^n t_k(X_i)\biggr)$$

仍服从同一指数分布族.

例
$X_1, X_2, \dots, X_n$ 为随机样本，$E|X_1|<+\infty$，$0<E|X_1|^2<+\infty$，由 CLT，

$$\frac{\sum_{i=1}^n X_i-n\mu}{\sqrt{n\sigma^2}}\xrightarrow{d}N(0,1),$$

因此 $n$ 足够大时，$\sum_{i=1}^n X_i\simeq N(n\mu,n\sigma^2)$.

5.3 正态总体下的抽样分布

性质
设 $X_1,\dots,X_n\stackrel{\mathrm{i.i.d.}}{\sim} N(\mu,\sigma^2)$，其中 $\mu\in\mathbb{R}$，$\sigma^2>0$ 均未知，则

• $\bar X=\frac{1}{n}\sum_{i=1}^n X_i \sim N\left(\mu,\frac{\sigma^2}{n}\right)$；
• $(n-1)s^2/\sigma^2\sim\chi_{n-1}^2$；
• $\bar X$ 与 $s^2$ 独立.

引理
设 $X_i\sim N(\mu_i,\sigma_i^2)$ 相互独立，$i=1,2,\dots,n$.对任意常数 $a_{ij},b_{rj}$，$i=1,\dots,k$，$r=1,\dots,m$，定义

$$U_i=\sum_{j=1}^n a_{ij}X_j,\quad V_r=\sum_{j=1}^n b_{rj}X_j.$$

则有：

• 随机变量 $U_i$ 与 $V_r$ 独立当且仅当 $\mathrm{Cov}(U_i,V_r)=\sum_{j=1}^n a_{ij}b_{rj}\sigma_j^2=0$；
• 随机向量 $(U_1,\dots,U_k)$ 与 $(V_1,\dots,V_m)$ 独立当且仅当对所有 $i,r$ 都有 $U_i$ 与 $V_r$ 独立.

定义 [学生氏分布（Student’s $t$-distribution）]
设 $X\sim N(0,1)$，$Y\sim \chi_n^2$，且 $X$ 与 $Y$ 独立，则定义

$$t=\frac{X}{\sqrt{Y/n}}\sim t_n.$$

性质[$t$ 分布的性质]
设 $t\sim t_n$，则

• 当 $n=1$ 时，$E(t)$ 不存在；
• 当 $n>1$ 时，$E(t)=0$；
• 当 $n>2$ 时，$Var(t)=\dfrac{n}{n-2}$.

定义 [$F$ 分布]
设 $X\sim \chi_n^2$，$Y\sim \chi_m^2$，且 $X$ 与 $Y$ 独立，则

$$F=\frac{X/n}{Y/m}\sim F_{n,m}.$$

性质[$F$ 分布的性质]

• 若 $X\sim F_{p,q}$，则 $\dfrac{1}{X}\sim F_{q,p}$；
• 若 $T\sim t_q$，则 $T^2\sim F_{1,q}$，且当 $q$ 充分大时近似 $\chi_1^2$；
• 若 $X\sim F_{p,q}$，则

$$\frac{\tfrac{p}{q}X}{1+\tfrac{p}{q}X}\sim \mathrm{Beta}\left(\frac{p}{2},\frac{q}{2}\right).$$

5.4 次序统计量

次序统计量的性质

定义 [次序统计量]
设 $X_1,\dots,X_n$ 定义在 $(\Omega,\mathcal{F},P)$ 上，对任意 $\omega\in\Omega$，将 $X_1(\omega),\dots,X_n(\omega)$ 从小到大排列，记为

$$X_{(1)}(\omega)\leq\dots\leq X_{(n)}(\omega).$$

则 $X_{(1)},\dots,X_{(n)}$ 仅依赖于 $X_1,\dots,X_n$ 且为统计量，称 $X_{(i)}$ 为第 $i$ 个次序统计量. 特别的，

$$X_{(1)}=\min\{X_1,\dots,X_n\},\quad X_{(n)}=\max\{X_1,\dots,X_n\}.$$

中位数

$$\mathrm{median}(X_1,\dots,X_n)= \begin{cases} X_{(\frac{n+1}{2})}, & n\text{ 为奇数};\\[6pt] \frac{1}{2}\big(X_{(\frac{n}{2})}+X_{(\frac{n}{2}+1)}\big), & n\text{ 为偶数}. \end{cases}$$

定理[离散情形]
设随机样本 $X_1,\dots,X_n$ 取自 pmf 为 $f_X(x_i)=p_i=P(X=x_i)$ 的离散总体，$x_1<x_2<\dots$ 为可能取值.令

$$P_i=P(X\le x_i)=p_1+\dots+p_i,\quad P_0=0.$$

则第 $j$ 个次序统计量的分布为

$$P\{X_{(j)}=x_i\} =\sum_{k=j}^n {n\choose k}P_i^k(1-P_i)^{n-k} -\sum_{k=j}^n {n\choose k}P_{i-1}^k(1-P_{i-1})^{n-k}.$$

证明.
$\{X_{(j)}\leq x_i\}$ 意味着 $\{X_m\leq x_i\}$ 这 $n$ 个事件中至少有 $j$ 个发生，而 $P\{X_k\leq x_i\}=P_i$，因此

$$P\left(\{X_{(j)}\leq x_i\}\right)=\sum_{k=j}^n P\left(\{X_m\leq x_i\}\text{恰好有} j \text{个发生}\right)=\sum_{k=j}^n{n\choose k}P_i^k(1-P_i)^{n-k},$$

从而

$$\begin{aligned} P\left(\{X_{(j)}= x_i\}\right)&=P\left(\{X_{(j)}\leq x_i\}\right)-P\left(\{X_{(j)}\leq x_{i-1}\}\right)\\ &=\sum_{k=j}^n {n\choose k}P_i^k(1-P_i)^{n-k} -\sum_{k=j}^n {n\choose k}P_{i-1}^k(1-P_{i-1})^{n-k}. \end{aligned}$$

定理[连续情形]
设随机样本 $X_1,\dots,X_n$ 取自 pdf $f(x)$，cdf $F(x)$ 的连续总体，则

$$f_{X_{(j)}}(x) =\frac{n!}{(j-1)!(n-j)!}\,[F(x)]^{j-1}[1-F(x)]^{n-j}f(x),\quad x\in\mathbb{R}.$$

证明.

$$P\left(\{X_{(j)}\leq x\}\right)=\sum_{k=j}^n P\left(\{X_m\leq x\}\text{恰好有} j \text{个发生}\right),$$

从而

$$F_{x_{(j)}}(x)=\sum_{k=j}^n{n\choose k}[F(x)]^k[1-F(x)]^{n-k},\quad \forall x\in\mathbb{R}.$$

进而

$$f_{X_{(j)}}(x)=\frac{d}{dx}F_{x_{(j)}}(x)=\frac{n!}{(j-1)!(n-j)!}\,[F(x)]^{j-1}[1-F(x)]^{n-j}f(x),\quad x\in\mathbb{R}.$$

定理[联合分布]
设 $X_1,\dots,X_n$ 为连续总体样本，$1\le i\le j\le n$，则

$$f_{X_{(i)},X_{(j)}}(s,t)= \begin{cases} 0, & s>t;\\[6pt] \dfrac{n!}{(i-1)!(j-i-1)!(n-j)!}\,[F(s)]^{i-1}f(s)[F(t)-F(s)]^{j-i-1}f(t)[1-F(t)]^{n-j}, & s\le t. \end{cases}$$

特别地，当 $i=1,j=n$ 时，

$$f_{X_{(1)},X_{(n)}}(s,t)= \begin{cases} 0, & s>t;\\[6pt] n(n-1)f(s)f(t)[F(t)-F(s)]^{n-2}, & s\le t. \end{cases}$$

进一步地，$(X_{(1)},X_{(2)},\dots,X_{(n)})$ 的联合 pdf 为

$$f_{X_{(1)},\dots,X_{(n)}}(t_1,\dots,t_n)= \begin{cases} n! \prod_{i=1}^n f(t_i), & t_1\le t_2\le\dots\le t_n;\\[4pt] 0, & \text{otherwise}. \end{cases}$$

定义 [中程数与极差]
中程数 $V=\dfrac{1}{2}(X_{(1)}+X_{(n)})$，极差 $R=X_{(n)}-X_{(1)}$.

分位数变换与矩的性质

定义 [分位数与分位数函数]
设 $X_1,\dots,X_n\stackrel{\mathrm{i.i.d.}}{\sim} F(x)$，记 $F^{-1}(q)$ 表示 $F$ 的 $q$ 分位数点（即 $F(F^{-1}(q))=q$）.

性质[分位数变换性质]
设 $X_1,\dots,X_n\stackrel{\mathrm{i.i.d.}}{\sim} F(x)$，对应次序统计量为 $X_{(1)},\dots,X_{(n)}$；$U_1,\dots,U_n\stackrel{\mathrm{i.i.d.}}{\sim} U(0,1)$，对应次序统计量为 $U_{(1)},\dots,U_{(n)}$，则

• $F(X_i)\sim U(0,1)$；
• $F^{-1}(U_i)\overset{d}{=}X_i$；
• $F(X_{(i)})=U_{(i)}$，$F^{-1}(U_{(i)})=X_{(i)}$；
• $(U_{(1)},\dots,U_{(n)})\overset{d}{=}(F(X_{(1)}),\dots,F(X_{(n)}))$.

性质[Cauchy 次序统计量矩的性质]
若 $X_1,\dots,X_n\stackrel{\mathrm{i.i.d.}}{\sim} \mathrm{Cauchy}(\mu,\sigma^2)$，则

• $E|X_{(1)}|=E|X_{(n)}|=+\infty$；
• 当 $n\ge3$ 时，$E|X_{(2)}|<+\infty$，$E|X_{(n-1)}|<+\infty$；
• 当奇数 $n$ 足够大时，存在 $l>0$ 使得 $E|X_{(\frac{n+1}{2})}|^l<+\infty$.

定义 [随机大于]
若对所有 $x\in\mathbb{R}$，有 $F_X(x)\le F_Y(x)$，则称 $X$ 随机大于 $Y$. 等价地，$P(X\ge t)\ge P(Y\ge t)$ 对所有 $t$ 成立.

5.5 收敛的概念

定义
设随机变量序列 $X_1, X_2, \dots$ 定义在概率空间 $(\Omega, \mathcal{F}, P)$ 上，则有：

• 依概率收敛：$X_n \xrightarrow{P} X$，当 $n \to \infty$ 时，若对任意 $\epsilon > 0$，有

$$\lim_{n \to +\infty} P\left( \left| X_n - X \right| > \epsilon \right) = 0；$$

• 几乎必然收敛：$X_n \xrightarrow{a.s.} X$，当 $n \to \infty$ 时，若

$$P\left( \left\{ \omega : \lim_{n \to +\infty} X_n(\omega) = X(\omega) \right\} \right) = 1；$$

• 依分布收敛：$X_n \xrightarrow{d} X$，当 $n \to \infty$ 时，若

$$F_{X_n}(x) \to F_X(x), \quad \forall x \in C(F_X)；$$

• $L^p$ 收敛：$X_n \xrightarrow{L^p} X$，当 $n \to \infty$ 时，若

$$E \left| X_n - X \right|^p \to 0；$$

• 完全收敛：$X_n \xrightarrow{c.c.} X$，当 $n \to \infty$ 时，若对任意 $\epsilon > 0$，

$$\sum_{n=1}^{\infty} P\left( \left| X_n - X \right| > \epsilon \right) < +\infty.$$

定理[大数定律]
设 $X_1, X_2, \dots$ 为 i.i.d. 随机变量，且 $E |X_1| < +\infty$，记 $E X_1 = \mu$，则

$$\lim_{n \to \infty} \frac{1}{n} \sum_{i=1}^n X_i = E X_1 = \mu, \quad a.s.$$

定理[中心极限定理 (CLT)]
设 $X_1, X_2, \dots$ 为 i.i.d. 随机变量，$E X_1 = \mu$，$0 < \mathrm{Var}(X_1) = \sigma^2 < +\infty$，则

$$\lim_{n \to +\infty} P\left( \frac{\sqrt{n}(\bar{X} - \mu)}{\sigma} \le x \right) = \Phi(x),$$

其中 $\Phi(x)$ 为 $Z \sim N(0,1)$ 的分布函数.

定理[Slutsky 定理]
设随机变量列 $X_n \xrightarrow{d} X$，$Y_n \xrightarrow{P} c$（常数），则：

• $X_n + Y_n \xrightarrow{d} X + c$；
• $X_n Y_n \xrightarrow{d} cX$；
• 当 $c \neq 0$ 时，$\dfrac{X_n}{Y_n} \xrightarrow{d} \dfrac{X}{c}$.

定理[连续映射定理 (CMT)]
设 $g:\mathbb{R}^k \to \mathbb{R}^m$ 在集合 $C$ 上连续，且 $P(X \in C) = 1$.则：

• 若 $X_n \xrightarrow{a.s.} X$，则 $g(X_n) \xrightarrow{a.s.} g(X)$；
• 若 $X_n \xrightarrow{P} X$，则 $g(X_n) \xrightarrow{P} g(X)$；
• 若 $X_n \xrightarrow{d} X$，则 $g(X_n) \xrightarrow{d} g(X)$.

例
若 $Z_n \xrightarrow{d} Z \sim N(0,1)$，则 $Z_n^2 \xrightarrow{d} Z^2 \sim \chi_1^2$.

例
若 $(X_n, Y_n) \xrightarrow{d} (Z_1, Z_2)$，其中 $Z_1, Z_2$ 独立且 $Z_i \sim N(0,1)$，则

$$\dfrac{X_n}{Y_n} \xrightarrow{d} \dfrac{Z_1}{Z_2} \sim \mathrm{Cauchy}(0,1).$$

例
若 $X_n \xrightarrow{P} X$，$A \in \mathbb{R}^{m \times k}$，$B \in \mathbb{R}^{k \times k}$ 为实矩阵且 $B$ 对称，则

$$AX_n \xrightarrow{P} AX, \qquad X_n^{\mathrm{T}} B X_n \xrightarrow{P} X^{\mathrm{T}} B X.$$

若将收敛改为 $a.s.$，结论仍成立. 若 $X_n \xrightarrow{d} X$，则亦有 $AX_n \xrightarrow{d} AX$.

定理[Cramér-Wold]
设 $\{X_n\}$ 为 $d$ 维随机向量序列，则

$$X_n \xrightarrow{d} X \iff \forall c \in \mathbb{R}^d, \; c^{\mathrm{T}} X_n \xrightarrow{d} c^{\mathrm{T}} X.$$

定理[多元 CLT]
设 $Y_1, \dots, Y_n$ 为 i.i.d. 的 $d$ 维随机向量，$\mu = E Y_1$，$\Sigma = E \big[(Y_1 - \mu)(Y_1 - \mu)^{\mathrm{T}}\big]$，则

$$\frac{1}{\sqrt{n}} \sum_{i=1}^n (Y_i - \mu) \xrightarrow{d} N_d(0, \Sigma).$$

若 $\Sigma = P^{\mathrm{T}} \Lambda P$，定义 $\Sigma^{1/2} = \Lambda^{1/2} P$，则

$$\sqrt{n}\, \Sigma^{-1/2}(\bar{Y} - \mu) \xrightarrow{d} N_d(0, I_d).$$

定义 [随机 $O(\cdot)$ 与 $o(\cdot)$]
设 $\{X_n\}$ 为随机变量列：

• 若对任意 $\delta > 0$，存在 $M > 0$，使得 $P\left( |X_n| \ge M \right) \le \delta$，则称 $X_n$ 依概率有界，记为 $X_n = O_p(1)$；
• 若 $X_n \xrightarrow{P} 0$，则记为 $X_n = o_p(1)$；
• 对两列随机变量 $\{U_n\}$ 与 $\{V_n\}$，若 $\dfrac{U_n}{V_n} = O_p(1)$，则记 $U_n = O_p(V_n)$；若 $\dfrac{U_n}{V_n} \xrightarrow{P} 0$，则记 $U_n = o_p(V_n)$.

性质
若 $X_n = O_p(1)$，$Y_n = o_p(1)$，则 $X_n Y_n = o_p(1)$，且 $X_n + Y_n = O_p(1)$.

定理
若 $X_n \xrightarrow{d} X$，则 $X_n = O_p(1)$；若 $X_n \xrightarrow{P} X$，则 $X_n \xrightarrow{d} X$.

例
设 $X_1, X_2, \dots, X_n$ 为 i.i.d. 随机变量，$EX_1=\mu_1$，$\mathrm{Var}(X_1)=\sigma^2<+\infty$. 根据 SLLN，$\bar X\xrightarrow{a.s.}\mu$，从而 $\bar X-\mu=o_p(1)$；根据 CLT，$\sqrt{n}(\bar X-\mu)/\sigma \xrightarrow{d} Z\sim N(0,1)$，那么 $\sqrt{n}(\bar X-\mu)=O_p(1)$，$\bar X-\mu=O_p(\frac{1}{\sqrt{n}})$.

例

• $X_n\sim \mathrm{Binomial}(n,\frac{1}{n})$，则 $X_n\xrightarrow{d}X\sim\mathrm{Poisson}(1)$；
• $X_n\sim \mathrm{Binomial}(n,p)$，则 $\frac{X_n-np}{\sqrt{np(1-p)}}\xrightarrow{d}N(0,1)$；
• $X_n\sim \mathrm{Beta}(\frac{1}{n},\frac{1}{n})$，则 $X_n\xrightarrow{d}X\sim\mathrm{Bernoulli}(1,\frac{1}{2})$.

定理[一阶 $\Delta$ 方法]
若随机变量列 $Y_n$ 满足

$$\sqrt{n}(Y_n - \theta) \xrightarrow{d} N(0, \sigma^2),$$

函数 $g(x)$ 在 $\theta$ 处可导且 $g'(\theta) \neq 0$，则

$$\sqrt{n}\big(g(Y_n) - g(\theta)\big) \xrightarrow{d} N\left( 0, \sigma^2 [g'(\theta)]^2 \right).$$

证明.
由于 $g(t)$ 在 $t=\theta$ 可微，

$$\lim_{t\to\theta}\frac{g(t)-g(\theta)}{t-\theta}=g'(\theta),$$

即

$$\lim_{t\to\theta}\frac{g(t)-g(\theta)-(t-\theta)g'(\theta)}{t-\theta}=0,$$

$$\frac{g(t)-g(\theta)-(t-\theta)g'(\theta)}{t-\theta}=o(1),$$

也就是

$$g(t)-g(\theta)-(t-\theta)g'(\theta)=o(1)(t-\theta),\quad t\to \theta.$$

用 $Y_n$ 代替 $t$，得到

$$g(Y_n)-g(\theta)=(Y_n-\theta)g'(\theta)+o_p(1)(Y_n-\theta),\quad t\to \theta,$$

由 Slutsky 定理，

$$\sqrt{n}\left(g(Y_n)-g(\theta)\right)=\sqrt{n}(Y_n-\theta)g'(\theta)+o_p(1)(Y_n-\theta)\sqrt{n}\xrightarrow{d} N\left( 0, \sigma^2 [g'(\theta)]^2 \right).$$

定理[二阶 $\Delta$ 方法]
若随机变量列 $Y_n$ 满足

$$\sqrt{n}(Y_n - \theta) \xrightarrow{d} N(0, \sigma^2),$$

且函数 $g(x)$ 满足 $g'(\theta) = 0$，$g''(\theta) \neq 0$，则

$$n\big(g(Y_n) - g(\theta)\big) \xrightarrow{d} \tfrac{1}{2}\sigma^2 g''(\theta) \chi_1^2.$$

定理[高阶 $\Delta$ 方法]
若随机变量列 $Y_n$ 满足

$$\sqrt{n}(Y_n - \theta) \xrightarrow{d} N(0, \sigma^2),$$

且函数 $g(x)$ 满足 $g^{(i)}(\theta) = 0$，$1 \le i \le m-1$，$g^{(m)}(\theta) \neq 0$，则

$$n^{m/2}\big(g(Y_n) - g(\theta)\big) \xrightarrow{d} \frac{1}{m!} g^{(m)}(\theta) \sigma^m [N(0,1)]^m.$$

例
$X_1,\dots,X_n\stackrel{\mathrm{i.i.d.}}{\sim} \mathrm{Bernoulli}(1,p)$，$0<p<1$，那么 $\sqrt{n}(\bar X-p)\xrightarrow{d}N(0,p(1-p))$. 令 $g(p)=\frac{p}{1-p}$（称为优比），运用一阶 $\Delta$ 方法，可知

$$\sqrt{n}\left(g(\bar X)-g(p)\right)\xrightarrow{d}N\left(0,p(1-p)\cdot\frac{1}{(1-p)^4}\right),$$

即

$$\frac{\bar X}{1-\bar X}-\frac{p}{1-p}\sim N\left(0,\frac{p}{n(1-p)^3}\right).$$

5.6 生成随机样本

定理
若 $X \sim F(x)$，且 $Y = F(X)$，则 $Y \sim U(0,1)$. 据此，令 $Y_1, \dots, Y_n$ 为 i.i.d. $U(0,1)$ 随机变量，设

$$X_i = F^{-1}(Y_i), \quad i = 1, 2, \dots, n,$$

则 $F^{-1}(Y_1), \dots, F^{-1}(Y_n)$ 为 i.i.d.，且服从分布 $F(x)$.

例
希望产生随机样本来自总体 $Y\sim \mathrm{Exp}(\beta)$，即 pdf 为

$$f(x|\beta)=\frac{1}{\beta}\exp\left\{-\frac{x}{\beta}\right\}I_{\{x\geq0\}}.$$

考虑 $u=F(y)=1-e^{-y/\beta}$，$y\geq 0$，那么 $y=-\beta\log(1-u)$，于是先产生 $U_1,\dots,U_n\stackrel{\mathrm{i.i.d.}}{\sim} U(0,1)$，就有 $-\beta\log(1-U_1),\dots,-\beta\log(1-U_n)\stackrel{\mathrm{i.i.d.}}{\sim} \mathrm{Exp}(\beta)$.

定理[离散型随机变量的反函数法]
设 $Y$ 为离散随机变量，其分布律为

$$P(Y = y_j) = p_j, \quad j = 1, 2, \dots, k.$$

记 $F_Y(y) = P(Y \le y)$. 产生 $U \sim U(0,1)$，若满足

$$F_Y(y_j) < U \le F_Y(y_{j+1}),$$

则令 $Y = y_{j+1}$，其中 $j = 1, 2, \dots, k-1$.重复该过程可得到独立样本.

定理[正态随机变量的 Box-Muller 算法]
若 $U_1, \dots, U_n$ 为 i.i.d. $U(0,1)$ 随机变量，则有

$$\frac{\sum_{i=1}^n U_i - \frac{n}{2}}{\sqrt{n \cdot \frac{1}{12}}} \xrightarrow{d} N(0,1).$$

例如取 $n = 12$，则 $\sum_{i=1}^{12} U_i - 6 \approx N(0,1)$.

此外，若 $U_1, U_2$ 为独立的 $U(0,1)$ 随机变量，令

$$R = \sqrt{-2\log U_1}, \quad \theta = 2\pi U_2，$$

则

$$X = R\cos\theta, \quad Y = R\sin\theta$$

独立且 $X, Y \sim N(0,1)$.

定理[取舍法]
若 $f(x)$ 为概率密度函数，且有界，取常数 $M \ge \sup_x f(x)$. 产生独立随机变量 $V \sim U(a,b)$ 与 $U \sim U(0,M)$，若满足

$$U \le f(V)，$$

则令 $X = V$；否则，返回上一步重新生成.
重复此过程即可得到 $X_1, X_2, \dots$，独立且服从分布 $f(x)$.