统计推断笔记-一至四章

这篇文章是 UncleBob 的统计推断第一至第四章笔记. 这几章主要是一些概率论相关基础知识.

由于是从 $\LaTeX$ 格式转化而来，可能发生了一些排版上的改变.

Chapter 1. 概率论基本知识

1.1不等式

定理[Bonferroni 不等式]

$$P(A \cap B) \ge P(A) + P(B) - 1,$$

$$P\left(\bigcap_{i=1}^n A_i\right) \ge \sum_{i=1}^n P(A_i) - (n - 1).$$

1.2 pdf 与 pmf

略.

1.3 统计学基本定理

定理
设$X_1, \dots, X_n \stackrel{\mathrm{i.i.d.}}{\sim}\ F(x)$（cdf），则

$$P\left\{\lim_{n \to \infty} \sup_x |F_n(x) - F(x)| = 0\right\} = 1.$$

定义[分布族]
参数$\theta$未知，$\theta \in \Theta$.称

$$\{F(x \mid \theta) : \theta \in \Theta\}$$

为分布族.

进一步地，设$F(x) \in \mathcal{F} = \{F : F \text{ 为满足一定条件的分布函数}\}$，则

$$P\left\{\lim_{n \to \infty} \sup_{F \in \mathcal{F}} \sup_x |F_n(x) - F(x)| = 0\right\} = 1.$$

Chapter 2. 变换与期望

2.1 变换

例
若$X \sim U(0,1)$，则$-\log X \sim \mathrm{Exp}(1)$.

例
若$X \sim N(0,1)$，则$Y = X^2 \sim \chi_1^2$.

定理[概率积分变换]
设$X$有连续的 cdf$F_X$，则$Y = F_X(X) \sim U(0,1)$.

2.2 积分下求导

定理[Leibniz 法则]
在一定正则化条件下，

$$\frac{d}{d\theta} \int_{a(\theta)}^{b(\theta)} f(x,\theta)\,dx = f(b(\theta),\theta)b'(\theta) - f(a(\theta),\theta)a'(\theta) + \int_{a(\theta)}^{b(\theta)} \frac{\partial f(x,\theta)}{\partial \theta}\,dx.$$

Chapter 3. 分布族

3.1 指数分布族

定义[指数分布族]
一个分布族$\{P_\theta : \theta \in \Theta\}$称为$k$-维指数分布族，如果其 pdf 或 pmf 可表示为

$$f(x \mid \theta) = h(x)c(\theta) \exp\left\{\sum_{i=1}^k w_i(\theta)t_i(x)\right\}, \quad x \in \mathbb{R},$$

其中$h(x) \ge 0,\, c(\theta) > 0,\, w_i(\theta)$仅与$\theta$有关，$t_i(x)$仅与$x$有关.

例
若$X \sim N(\mu, \sigma^2)$，其中$\mu \in \mathbb{R}$，$\sigma^2 > 0$，令$\theta = (\mu, \sigma^2)^\mathrm{T}$，则

$$f(x \mid \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left\{-\frac{(x-\mu)^2}{2\sigma^2}\right\} = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left\{\frac{\mu^2}{2\sigma^2}\right\} \exp\left\{-\frac{x^2}{2\sigma^2} + \frac{\mu}{\sigma^2}x\right\}.$$

例
若$X \sim \mathrm{Bernoulli}(p)$，$0 < p < 1$，则 pmf 为

$$f(x \mid p) = \begin{cases} p^x (1-p)^{1-x}, & x \in \{0,1\},\\[0.3em] 0, & \text{otherwise}, \end{cases} = \begin{cases} (1-p)\exp\left\{x \log\frac{p}{1-p}\right\}, & x \in \{0,1\},\\[0.3em] 0, & \text{otherwise}. \end{cases}$$

例
二项分布族：

-$X \sim \mathrm{Binomial}(n,p)$，$n$已知，$0 < p < 1$未知（指数分布族）；
-$X \sim \mathrm{Binomial}(n,p)$，$n \in \{1,2,\dots\}$未知，$p$已知；
-$X \sim \mathrm{Binomial}(n,p)$，$n,p$均未知.

例
Cauchy 分布族：

$$f(x \mid \theta) = \frac{1}{\pi}\frac{1}{1+(x-\theta)^2}, \quad \theta \in \mathbb{R},$$

$$f(x \mid \theta, \sigma) = \frac{1}{\pi\sigma} \frac{1}{1+\left(\frac{x-\theta}{\sigma}\right)^2}, \quad \sigma > 0,$$

不是指数分布族.

例
设

$$f(x \mid \theta) = \begin{cases} \dfrac{1}{\theta} \exp\left\{1 - \dfrac{x}{\theta}\right\}, & \theta < x < +\infty,\\[0.5em] 0, & \text{otherwise}, \end{cases} = \dfrac{1}{\theta} \exp\left\{1 - \dfrac{x}{\theta}\right\} I_{(x > \theta)},$$

不是指数分布族.

3.2 指数分布族的性质

定理

$$E\left(\sum_{i=1}^k \frac{\partial w_i(\theta)}{\partial \theta_j} t_i(X)\right) = -\frac{\partial}{\partial \theta_j} \log c(\theta), \quad j = 1, 2, \dots, d = \dim(\Theta),$$

$$\mathrm{Var}\left(\sum_{i=1}^k \frac{\partial w_i(\theta)}{\partial \theta_j} t_i(X)\right) = -\frac{\partial^2}{\partial \theta_j^2} \log c(\theta) - E\left(\sum_{i=1}^k \frac{\partial^2 w_i(\theta)}{\partial \theta_j^2} t_i(X)\right), \quad j = 1, 2, \dots, d.$$

定义[自然参数]
将指数分布族改写为

$$f(x \mid \theta) = h(x) c^*(\eta) \exp\left\{\sum_{i=1}^k \eta_i t_i(x)\right\},$$

其中参数$\eta = (\eta_1, \eta_2, \dots, \eta_k)$称为自然参数，上式称为自然参数形式的指数分布族.
自然参数空间为

$$H = \left\{ (\eta_1, \eta_2, \dots, \eta_k) : \int h(x)\exp\left\{\sum_{i=1}^k \eta_i t_i(x)\right\}dx < \infty \right\}.$$

性质
自然参数空间$H$是凸集.

性质
定义

$$a(\eta) = \log \int h(x) \exp\bigl(\eta^{\mathrm{T}} t(x)\bigr)\,dx, \quad \eta \in H,$$

其中$t(x) = (t_1(x), t_2(x), \dots, t_k(x))^{\mathrm{T}}$. 则函数$a(\eta) : H \to \mathbb{R}$是凸函数.
若$H$中有内点，则$a(\eta)$关于$\eta$无穷可微，且有

$$\nabla a(\eta) = \frac{\partial a(\eta)}{\partial \eta} = E_\eta[t(X)],$$

$$\nabla^2 a(\eta) = \frac{\partial^2 a(\eta)}{\partial \eta\, \partial \eta^{\mathrm{T}}} = \mathrm{Cov}_\eta(t(X)) = E_\eta\left[ (t(X) - E_\eta[t(X)])(t(X) - E_\eta[t(X)])^{\mathrm{T}} \right],$$

其中$X \sim f(x \mid \eta)$.

3.3 曲线指数族

例
若$X \sim N(\mu, \sigma^2)$，且满足$\mu^2 = \sigma^2$，则

$$f(x \mid \mu) = \frac{1}{\sqrt{2\pi \mu^2}} \exp\left(-\frac{1}{2}\right) \exp\left(-\frac{x^2}{2\mu^2} + \frac{x}{\mu}\right),$$

其自然参数为$(-\tfrac{1}{2\mu^2}, \tfrac{1}{\mu})$，其中$\mu \in \mathbb{R} \setminus \{0\}$.

例
设$X_1, X_2, \dots, X_n \stackrel{\mathrm{i.i.d.}}{\sim}\ \mathrm{Poisson}(\lambda)$，则

$$\frac{\sum_{i=1}^n X_i - n\lambda}{\sqrt{n\lambda}} \xrightarrow{d} N(0,1),$$

即$\tfrac{1}{n}\sum_{i=1}^n X_i \xrightarrow{d} N(\lambda, \tfrac{\lambda}{n})$，这属于正态的曲线分布族.

3.4 位置与尺度分布族

定义[位置与尺度分布族]
设随机变量$Z$的 pdf 或 pmf 为$f_Z(z)$，则称：

-$Z + \mu,\ \mu \in \mathbb{R}$为位置分布族，
即$\{f_{Z+\mu}(x) = f_Z(x - \mu) : \mu \in \mathbb{R}\}$；
-$\sigma Z,\ \sigma > 0$为尺度分布族，
即$\{f_{\sigma Z}(x) = \tfrac{1}{\sigma} f_Z(\tfrac{x}{\sigma}) : \sigma > 0\}$；
-$\mu + \sigma Z,\ \mu \in \mathbb{R}, \sigma > 0$为位置–尺度分布族，
即$\{f_{\sigma Z + \mu}(x) = \tfrac{1}{\sigma} f_Z(\tfrac{x - \mu}{\sigma}) : \mu \in \mathbb{R}, \sigma > 0\}$.

3.5 等式与不等式

定理[Chebyshev 不等式]

$$P(g(X) \ge r) \le \frac{E[g(X)]}{r}.$$

定理[Hoeffding 不等式]
设$X_1, X_2, \dots, X_n$独立，且均值为 0，并满足$a_i \le X_i \le b_i$，则对任意$\varepsilon > 0$，有

$$P\left( \left|\sum_{i=1}^n X_i\right| \ge \varepsilon \right) \le 2 \exp\left\{ -\frac{2\varepsilon^2}{\sum_{i=1}^n (b_i - a_i)^2} \right\}.$$

定理[Jensen 不等式]
设随机变量$X$满足$E|X| < \infty$，且$f:\mathbb{R} \to \mathbb{R}$为凸函数，则

$$E[f(X)] \ge f(E[X]).$$

定理[Stein 恒等式]
设$X \sim N(\mu, \sigma^2)$，若$g:\mathbb{R} \to \mathbb{R}$可微且$E|g'(X)| < \infty$，则

$$E[g(X)(X - \mu)] = \sigma^2 E[g'(X)].$$

定理[Fubini 定理与分部积分公式]
设$f, g$在$\mathbb{R}$上连续，且$g(\pm\infty) = 0$，则

$$\int_{-\infty}^{+\infty} f'(x) g(x)\,dx = - \int_{-\infty}^{+\infty} f(x) g'(x)\,dx.$$

3.6 正态分布的其他刻画

定理[Cramér–Lévy 定理]
设$n \ge 2$，$X_1, \dots, X_n$相互独立，若$S_n = X_1 + \dots + X_n$服从正态分布，则每个$X_i$均服从正态分布.

定理
设$X_1, \dots, X_n \stackrel{\mathrm{i.i.d.}}{\sim}\, N(\mu, \sigma^2)$，则

$$\frac{\sum_{i=1}^n (X_i - \bar{X})^2}{\sigma^2} \sim \chi_{n-1}^2.$$

反之，若$n \ge 2$，$X_1, \dots, X_n$为独立同分布且关于均值$\mu$对称、方差有限，且满足$\sum_{i=1}^n (X_i - \bar{X})^2 / \sigma^2 \sim \chi_{n-1}^2$，
则$X_i \sim N(\mu, \sigma^2)$.

定理
设$X_1, \dots, X_n \stackrel{\mathrm{i.i.d.}}{\sim}\, N(\mu, \sigma^2)$，则$\bar{X} \sim N(\mu, \sigma^2/n)$，$\sum_{i=1}^n (X_i - \bar{X})^2 / \sigma^2 \sim \chi_{n-1}^2$，且$\bar{X}$与$\sum_{i=1}^n (X_i - \bar{X})^2$相互独立.

反之，若连续型独立同分布随机变量$X_1, \dots, X_n$满足$\bar{X}$与$\sum_{i=1}^n (X_i - \bar{X})^2$独立，则$X_i \sim N(\mu, \sigma^2)$.

Chapter 4. 多维随机向量

若$0 < \mathrm{Var}(X) < \infty$、$0 < \mathrm{Var}(Y) < \infty$，定义 Pearson 相关系数为

$$\rho_{XY} = \frac{E[(X - E[X])(Y - E[Y])]} {\sqrt{\mathrm{Var}(X)}\,\sqrt{\mathrm{Var}(Y)}}.$$

-$-1 \le \rho_{XY} \le 1$；
-$\rho_{XY} = 0$当且仅当$E[(X - E[X])(Y - E[Y])] = 0$；
-$|\rho_{XY}| = 1$当且仅当$X$与$Y$几乎处处线性相关，
即存在常数$a,b$，使得$P(a(X - E[X]) + b(Y - E[Y]) = 0) = 1$.