概率论期末复习

这篇文章是概率论期末复习笔记. 包含一些经典例题、经典定理的解法.

高频期中前考点

设 $\xi$ 和 $\eta$ 是概率空间 $(\Omega, \mathcal{F}, \mathcal{P})$ 上的可积随机变量, $\mathcal{G}$, $\mathcal{G}_1$, $\mathcal{G}_2$ 是 $\mathcal{F}$ 的子 $\sigma$-域, 且 $\mathcal{G}_1 \subseteq \mathcal{G}_2$.

(1) 证明: $E\left\{ E\{\xi | \mathcal{G}_2\} | \mathcal{G}_1 \right\} = E\{\xi | \mathcal{G}_1\}$

(2) 证明: 若 $\xi$ 和 $\eta$ 是有界的, 则

$$E\{\xi E\{\eta | \mathcal{G}\}\} = E\{\eta E\{\xi | \mathcal{G}\}\};$$

(3) 证明: 若 $f$ 是 $\mathcal{B}(\mathbb{R})$ 可测函数且 $E\{|f(\xi)|\} < \infty$, 则

$$\int_{\Omega} f(\xi)d\mathcal{P} = \int_{\mathbb{R}} f(x)d\mathcal{F}_\xi(x)$$

(4) 证明: 若 $D(\xi) < \infty$, 则

$$D(\xi) = E\{D(\xi|\mathcal{G})\} + D(E\{\xi|\mathcal{G}\})$$

(5) 若 $E\{\xi\}$ 和 $E\{\eta\}$ 存在, 且 $E\{\xi|\eta\} \stackrel{a.s.}{=} \eta$ 及 $E\{\eta|\xi\} \stackrel{a.s.}{=} \xi$. 证明 $\xi \stackrel{a.s.}{=} \eta$.

(6) 如果 $\xi,\eta$ 独立, $E\{\xi\} = 0$, $p\geq 1$, 证明 $E\{|\xi + \eta|^p\} \geq E\{|\eta|^p\}$.

多元正态分布的计算与证明

部分计算相关性质
设 $\vec{\xi}\sim N(\vec{a},B)$, 其中 $\vec{a}=E(\vec{\xi})$, $B=cov(\vec{\xi},\vec{\xi})$, 若 $\vec{\eta}=A_{nm}\vec{\xi}+\vec{b}$, 则 $\vec{\eta}\sim N(A\vec{a}+\vec{b},ABA^T)$;
二元正态分布

$$p_{(X,Y)}(x,y)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-r^2}}\exp\left\{-\frac{1}{2(1-r^2)}\left(\frac{(x-\mu_1)^2}{\sigma_1^2}-\frac{2r(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}\right)\right\}$$

边缘分布均为正态分布且条件期望 $E(X|Y)=\mu_1+r\frac{\sigma_1}{\sigma_2}(Y-\mu_2)$, 条件方差 $D(X|Y)=\sigma_1^2(1-r^2)$.

定理 设 $\xi_1,\xi_2,\cdots,\xi_n$ 独立同分布, $\xi_1\sim N(a,\sigma^2)$, 则
(1) $\bar{\xi}=\frac{1}{n}\sum_{k=1}^n\xi_k$ 与 $S_n^2=\frac{1}{n}\sum_{k=1}^n(\xi_k-\bar{\xi})^2$ 相互独立;
(2) $\bar{\xi}\sim N(a,\frac{\sigma^2}{n})$;
(3) $\frac{nS_n^2}{\sigma^2}\sim \chi^2(n-1)$.

证明
(1) 记 $\vec{\xi}=(\xi_1,\xi_2,\cdots,\xi_n)^T$, 则 $\xi\sim N(\vec{a},B)$, $B=\sigma^2I_n$, 记

$$C=\begin{bmatrix} \frac{1}{\sqrt{1}\sqrt{2}}&\frac{-1}{\sqrt{1}\sqrt{2}}&0&\cdots&0&0\\ \vdots&\vdots&\vdots&\ddots&\vdots&\vdots\\ \frac{1}{\sqrt{n-1}\sqrt{n}}&\frac{1}{\sqrt{n-1}\sqrt{n}}&\frac{1}{\sqrt{n-1}\sqrt{n}}&\cdots&\frac{1}{\sqrt{n-1}\sqrt{n}}&\frac{-(n-1)}{\sqrt{n-1}\sqrt{n}}\\ \frac{1}{\sqrt{n}}&\frac{1}{\sqrt{n}}&\frac{1}{\sqrt{n}}&\cdots&\frac{1}{\sqrt{n}}&\frac{1}{\sqrt{n}} \end{bmatrix}$$

记 $\vec{\eta}=C\vec{\xi}=(\eta_1,\eta_2,\cdots,\eta_n)^T$, 那么 $\eta_i$ 相互独立, 并且 $\eta_n=\sqrt{n}\bar{\xi}$.
由于 $C$ 正交变换保持范数, $||\vec{\eta}||=||\vec{\xi}||=\sum_{k=1}^n\xi_k^2=\sum_{k=1}^n\eta_k^2$, 那么

$$nS_n^2=\sum_{k=1}^n(\xi_k-\bar{\xi})^2=\sum_{k=1}^n\xi_k^2-n\bar{\xi}^2=\sum_{k=1}^n\eta_k^2-\eta_n^2=\sum_{k=1}^{n-1}\eta_k^2$$

由 $\eta_k$ 相互独立, $\bar{\xi}=\frac{1}{\sqrt{n}}\eta_n$ 与 $S_n^2=\frac{1}{n}\sum_{k=1}^{n-1}\eta_k^2$ 独立. (2)(3) 根据上述易证, 略.

Kolmogorov’s Maximal Ineq

定理 设在 $(\Omega,\mathcal{F},\mathcal{P})$ 上 $\{\xi_n\}$ 独立且 $D(\xi_n)<+\infty$, 那么

$$\mathcal{P} \left\{ \omega:\max_{1\leq k\leq n}\{|S_k-E(S_k)|\}\geq \epsilon \right\}\leq\frac{D(S_n)}{\epsilon^2}$$

进一步地, 若 $|\xi_n|\leq c$, 则

$$1-\frac{(\epsilon+2c)^2}{D(S_n)}\leq\mathcal{P} \left\{ \omega:\max_{1\leq k\leq n}\{|S_k-E(S_k)|\}\geq \epsilon \right\}\leq\frac{D(S_n)}{\epsilon^2}$$

此即Kolmogorov’s Maximal Ineq. 当 $n=1$ 时, 即 Chebyshov’s Ineq

$$\mathcal{P} \left\{ \omega:|\xi-E(\xi)|\geq \epsilon \right\}\leq\frac{D(\xi)}{\epsilon^2}$$

证明
Chebyshov’s Ineq 的证明:

$$\mathcal{P}(|\xi-E(\xi)|\geq\epsilon)=\int_{\frac{|\xi-E(\xi)|}{\epsilon}\geq1}1d\mathcal{P}\leq\int_{\frac{|\xi-E(\xi)|}{\epsilon}\geq1}\frac{|\xi-E(\xi)|^2}{\epsilon^2}d\mathcal{P}\leq\int_\Omega\frac{|\xi-E(\xi)|^2}{\epsilon^2}d\mathcal{P}=\frac{1}{\epsilon^2}E|\xi-E(\xi)|^2=\frac{D(\xi)}{\epsilon^2}$$

Kolmogorov’s Maximal Ineq 的证明:
对于右侧, WLOG, 设 $E(\xi_n)=0$. 记 $B_k=\{\omega:|S_k|\geq\epsilon\}$, 那么即证

$$\mathcal{P}(B)=\mathcal{P}\left(\bigcup_{k=1}^n B_k\right)\leq \frac{D(S_n)}{\epsilon^2}$$

记 $A_1=B_1$, $A_k=B_kB_{k-1}^c\cdots B_1^c$, 则 $B=\sum_{k=1}^n A_k$, 考虑

$$\mathcal{P}(A_k)\leq\int_{A_k}\frac{S_k^2}{\epsilon^2}d\mathcal{P}=\frac{1}{\epsilon^2}E(S_k^2 I_{A_k})$$

而

$$E((S_n-S_k)S_kI_{A_k})=E(S_n-S_k)E(S_kI_{A_k})=\sum_{j=k+1}^nE(\xi_j)\cdot E(S_kI_{A_k})=0$$

从而

$$E(S_k^2I_{A_k})\leq E(S_k^2I_{A_k}+(S_n-S_k)^2I_{A_k})=E((S_k+S_n-S_k)^2I_{A_k})=E(S_n^2I_{A_k})$$

于是

$$\mathcal{P}(B)\leq\frac{1}{\epsilon^2}E\left(S_n^2\sum_{k=1}^n I_{A_k}\right)\leq \frac{1}{\epsilon^2}E(S_n^2)=\frac{D(S_n)}{\epsilon^2}$$

对于左侧, 设 $|\xi_k|\leq 2c$ 且 $E\xi_k=0$, 定义 $B_k$, $A_k$, $B$ 同上, 由 $E((S_n-S_k)S_kI_{A_k})=0$,

$$E(S_nI_B)\leq\sum_{k=1}^n E((S_n-S_k)^2I_{A_k})+\sum_{k=1}^n E(S_k^2I_{A_k})$$

由 $|S_kI_{A_k}|=|(S_{k-1}+\xi_k)I_{A_k}|\leq(\epsilon+2c)\mathcal{P}(A_k)$, 我们有

$$\begin{aligned} E(S_nI_B) &\leq\sum_{k=1}^n\left(\sum_{j=k+1}^nD(\xi_j)\cdot\mathcal{P}(A_k)\right)+(\epsilon+2c)^2\sum_{k=1}^n\mathcal{P}(A_k)\\ &\leq \sum_{i=1}^nD(\xi_j)\sum_{k=1}^n\mathcal{P}(A_k)+(\epsilon+2c)^2\sum_{k=1}^n\mathcal{P}(A_k)\\ &=(D(S_n)+(\epsilon+2c)^2)\mathcal{P}(B) \end{aligned}$$

另一方面,

$$E(S_nI_B)=ES_n^2-E(S_n^2I_{B^c})\geq ES_n^2-\epsilon^2\mathcal{P}(B^c)=D(S_n)-\epsilon^2+\epsilon^2\mathcal{P}(B)$$

由

$$D(S_n)-\epsilon^2+\epsilon^2\mathcal{P}(B)\leq E(S_nI_B)\leq(D(S_n)+(\epsilon+2c)^2)\mathcal{P}(B)$$

即得

$$1-\frac{(\epsilon+2c)^2}{D(S_n)}\leq\mathcal{P} \left\{ \omega:\max_{1\leq k\leq n}\{|S_k-E(S_k)|\}\geq \epsilon \right\}$$

Borel - Cantelli’s Lemma

定理 在 $(\Omega,\mathcal{F},\mathcal{P})$ 上, 设 $A_n\in\mathcal{F},n\geq 1$, 那么

(1) 若 $\sum_{n=1}^\infty \mathcal{P}(A_n)<+\infty$, 那么 $\mathcal{P}(\varlimsup_n A_n)=0$;
(2) 若 $A_n$ 独立, 那么 $\sum_{n=1}^\infty \mathcal{P}(A_n)=+\infty$ 当且仅当 $\mathcal{P}(\varlimsup_n A_n)=1$.

证明
(1)

$$\mathcal{P}\left(\varlimsup_n A_n\right)=\mathcal{P}\left(\bigcap_{k=1}^\infty \bigcup_{n=k}^\infty A_n\right)=\lim_{k\to+\infty}\mathcal{P}\left(\bigcup_{n=k}^\infty A_n\right)\leq\lim_{k\to+\infty}\sum_{n=k}^\infty\mathcal{P}(A_n)=0$$

(2)
“$\Leftarrow$”: 若 $\sum_{n=1}^\infty \mathcal{P}(A_n)<+\infty$, 那么 $\mathcal{P}(\lim_n A_n)=0$;
“$\Rightarrow$”: 等价于

$$\begin{aligned} 0=\mathcal{P}\left(\varliminf_n A_n^c\right)=\mathcal{P}\left(\bigcup_{k=1}^\infty\bigcap_{n=k}^\infty A_n^c\right)&=\lim_{k\to\infty}\mathcal{P}\left(\bigcap_{n=k}^\infty A_n^c\right)\\ &=\lim_{k\to\infty}\prod_{n=k}^\infty \mathcal{P}(A_n^c)\\ &=\lim_{k\to\infty}\exp\left\{\sum_{n=k}^\infty\log(1-\mathcal{P}(A_n))\right\}\\ &\leq \lim_{k\to\infty}\exp\left\{-c_1\sum_{k=1}^\infty\mathcal{P}(A_k)\right\}=0 \end{aligned}$$

SLLN

Thm3, Kolmogorov SLLN 设 $\{\xi_n\}$ 独立, 满足

$$\sum_{n=1}^\infty \frac{1}{n^2}D(\xi_n)<+\infty$$

那么

$$\frac{1}{n}(S_n-ES_n)\overset{a.s.}{\to}0$$

即满足 SLLN.

Thm4 设 $\{\xi_n\}$ 独立同分布, 满足 $E|\xi_1|<+\infty$, 那么 $\{\xi_n\}$ 满足 SLLN, 即,

$$E(\xi_1|S_n)=\frac{S_n}{n}\overset{a.s.}{\to}a=E\xi_1$$

若 $E|\xi_1|=+\infty$, 则

$$\varlimsup_{n\to\infty}\frac{|S_n|}{n}=+\infty,\quad a.s.$$

证明
Thm3, Kolmogorov SLLN 的证明:
我们先证明, 若 $\{\xi_n\}$ 独立且 $E\xi_n^2<+\infty,n\geq 1$, 那么如果 $\sum_{n=1}^\infty D(\xi_n)<+\infty$, 则 $\sum_{k=1}^\infty|\xi_k-E\xi_k|$ a.s. 收敛 (Thm2).
WLOG, 设 $E\xi_k=0$, 那么

$$\mathcal{P}\left(\omega:\max_{M+1\leq m\leq N}|S_m-S_M|\geq\epsilon\right)\overset{Kolmogorov}{\leq}\frac{1}{\epsilon^2}\sum_{k=M+1}^ND(\xi_k)$$

令 $N\to\infty$, 我们有

$$\mathcal{P}\left(\omega:\max_{m\geq M+1}|S_m-S_M|\geq\epsilon\right)\leq\frac{1}{\epsilon^2}\sum_{k=M+1}^\infty D(\xi_k),\quad \forall m\geq 1$$

定义 $W_M=\max_{m,n\geq M}|S_m-S_n|$, 由于 $|S_m-S_n|\leq|S_m-S_M|+|S_n-S_M|$, 我们有

$$\mathcal{P}(\omega:W_M\geq2\epsilon)\leq2\mathcal{P}\left(\omega:\max_{m\geq M+1}|S_m-S_M|\geq\varepsilon\right)\leq\frac{2}{\epsilon^2}\sum_{k=M+1}^\infty D(\xi_k)$$

于是

$$\mathcal{P}\left(\bigcap_{M=1}^\infty \{\omega:W_M\geq2\epsilon\}\right)=\lim_M\mathcal{P}(\omega:W_M\geq2\epsilon)=0$$

记 $\tilde{\Omega}=(\bigcap_{M=1}^\infty\{\omega:W_M\geq2\epsilon\})^c=\bigcup_{M=1}^\infty\{\omega:W_M<2\epsilon\}$, 有 $\mathcal{P}(\tilde{\Omega})=1$, 即 $\forall \omega\in\tilde{\Omega}$, $\exists M_0\geq1$, s.t. $\forall m,n>M_0$, 有 $|S_n(\omega)-S_m(\omega)|<2\epsilon$, 由 Cauchy 判别法, $\lim_n S_n(\omega)$ 在 $\tilde{\Omega}$ 存在且唯一, 故结论成立.

根据上述定理, 由于 $\sum_{n=1}^\infty D(\frac{\xi_n}{n})=\sum_{n=1}^\infty \frac{1}{n^2}D(\xi_n)<+\infty$, 那么 $\sum_{n=1}^\infty(\frac{\xi_n-E\xi_n}{n})$ a.s. 收敛, 也即 $\frac{1}{n}(S_n-ES_n)\overset{a.s.}{\to}0$.

Thm 4 的证明:
记 $\eta_n=\xi_n I_{[-n,n]}$, 那么 $|\xi_n|\leq n$, 记 $S_n=\sum_{k=1}^n \xi_k$, $S_n^*=\sum_{k=1}^n\eta_k$, 那么

$$\frac{1}{n}S_n=\frac{1}{n}(S_n^*-ES_n^*)+\frac{1}{n}(S_n-S_n^*)+\frac{1}{n}ES_n^*$$

(1) 证明 $\sum_{n=1}^\infty \frac{D(\eta_n)}{n^2}<+\infty$, 那么由 Thm 3, $\frac{1}{n}(S_n^*-ES_n^*)\overset{a.s.}{\to}0$. 考虑

$$\begin{aligned} \sum_{n=1}^\infty \frac{D(\eta_n)}{n^2}\leq\sum_{n=1}^\infty\frac{E\eta_n^2}{n^2}&=\sum_{n=1}^\infty\frac{1}{n^2}\int_{\mathbb{R}}x^2I_{[-n,n]}(x)d\mathcal{F}_{\xi_1}(x)\\ &=\sum_{n=1}^\infty\frac{1}{n^2}\sum_{j=1}^n \int_{j-1<|x|<j}x^2d\mathcal{F}_{\xi_1}(x)\\ &=\sum_{j=1}^\infty\left( \int_{j-1<|x|<j}x^2d\mathcal{F}_{\xi_1}(x)\right)\sum_{n=j}^\infty\frac{1}{n^2}\\ &\leq c\sum_{j=1}^\infty \frac{1}{j}\int_{j-1<|x|<j}x^2d\mathcal{F}_{\xi_1}(x)\\ &\leq c\sum_{j=1}^\infty \int_{j-1<|x|<j}|x|d\mathcal{F}_{\xi_1}(x)\\ &=c\int_{\mathbb{R}} |x|d\mathcal{F}_{\xi_1}(x)=cE|\xi_1|<+\infty \end{aligned}$$

(2) 证明 $\sum_{n=1}^\infty\mathcal{P}\{\xi_n\neq\eta_n\}<+\infty$, 于是 $\sum_{n=1}^\infty (\xi_n-\eta_n)$ a.s. 收敛, 从而 $\xi_n-\eta_n\overset{a.s.}{\to}0$, 从而由 Kronecker’s Lemma (i), $\frac{1}{n}(S_n-S_n^*)\overset{a.s.}{\to}0$. 实际上

$$\sum_{n=1}^\infty\mathcal{P}(\xi_n\neq\eta_n)=\sum_{n=1}^\infty \mathcal{P}(|\xi_n|>n)\leq E|\xi_n|=E|\xi_1|<+\infty$$

(3) 证明 $E\eta_n\overset{a.s.}{\to} a$, 从而由 Kronecker’s Lemma (i), $\frac{1}{n}ES_n^*=\frac{1}{n}\sum_{k=1}^nE\eta_k\overset{a.s.}{\to}a$. 实际上

$$E\eta_n=\int_\Omega\xi_nI_{[-n,n]}(\xi_n)d\mathcal{P}=\int_{\mathbb{R}}xI_{[-n,n]}(x)d\mathcal{F}_{\xi_1}(x)$$

由 DCT,

$$\lim_{n\to\infty}E\xi_n=\int_{\mathbb{R}}xd\mathcal{F}_{\xi_1}(x)=E\xi_1=a$$

结合(1)(2)(3), 那么 $\frac{1}{n}S_n\to 0$ a.s. 成立.

若 $E|\xi_1|=+\infty$, 那么 $\forall A>0$, $E(\frac{|\xi_1|}{A})=+\infty$, 从而

$$\sum_{n=1}^\infty\mathcal{P}(|\xi_n|>An)=+\infty$$

于是

$$\mathcal{P}(\varlimsup_n \{|\xi_n|>An\})=1,\quad \mathcal{P}(\varlimsup_n \{|S_n|>\frac{An}{2}\})=1$$

从而对任意 $A$, 存在 $Z(A)$ s.t. $\mathcal{P}(Z(A))=0$, 且对于 $\omega\in\Omega\setminus Z(A)$, 有

$$\varlimsup_n \frac{S_n(\omega)}{n}\geq\frac{A}{2}$$

令 $Z=\bigcup_{m=1}^\infty Z(m)$, 那么 $\mathcal{P}(Z)=0$, 于是对于任意 $\omega\in\Omega\setminus Z$, $\forall A$,

$$\varlimsup_n \frac{S_n(\omega)}{n}\geq\frac{A}{2}$$

于是

$$\varlimsup_{n\to\infty}\frac{|S_n|}{n}=+\infty,\quad a.s.$$

收敛性

弱收敛

定理 $X_n \xrightarrow{d} X \Leftrightarrow f_n(t) \triangleq E(e^{itX_n}) \xrightarrow{w} f(t) \triangleq E(e^{itX}), \forall t \in \mathbb{R}$.

证明 充分性: 显然, 基于 Second Helly’s Thm, 由于 $X_n \xrightarrow{d} X \Leftrightarrow$ 对任意的有界连续函数 $g(x)$, 有 $E(g(X_n)) = E(g(X))$, 而 $|e^{itx}| \leq 1$ 保证了结论成立.

必要性:
1)证明 $\hat{F}$ 是一个分布函数.
记 $X_n$ 的分布函数为 $F_n$, $X$ 的分布函数为 $F$. 由 First Helly’s Thm, $\{X_n\}$ 存在子序列 $\{X_{nk}\}$ 满足 $F_{nk} \xrightarrow{w} \hat{F}, k \rightarrow +\infty$, 下证 $\hat{F}$ 是一个分布函数. 由收敛性知 $\hat{F}$ 满足右连续、单调递增条件, 只需证明 $\hat{F}(-\infty) = 0, \hat{F}(+\infty) = 1$.
若存在 $a = \hat{F}(+\infty) - \hat{F}(-\infty) \in (0,1)$, 由于 $f(0) = 1, f$ 一致连续, 则对任意 $\varepsilon > 0$, 存在 $r = r(\varepsilon)$ 使得

$$\frac{1}{2r} \int_{-r}^{r} f(t) dt > 1 - \frac{1}{2}\varepsilon > a + \frac{1}{2}\varepsilon$$

取 $b$ 满足 $F_{nk}(b) - F_{nk}(-b) < a + \frac{1}{4}\varepsilon$ 且 $\frac{1}{br} < \frac{\varepsilon}{4}$, 则有:

$$\begin{aligned} \frac{1}{2r} \int_{-r}^{r} f_{nk}(t) dt &= \frac{1}{2r} \int_{-r}^r dt \int_{\mathbb{R}} e^{itx} d\mathcal{F}_{nk}(x) \\ &= \frac{1}{2r} \left( \int_{|x| \leq b} d\mathcal{F}_{nk}(x) \int_{-r}^{r} e^{itx} dt + \int_{|x| > b} d\mathcal{F}_{nk}(x) \int_{-r}^{r} e^{itx} dt \right)\\ &\leq \int_{|x| \leq b} d\mathcal{F}_{nk}(x) + \frac{1}{2r} \int_{|x| > b} \left| \frac{2 \sin rx}{x} \right| d\mathcal{F}_{nk}(x) \\ &< \int_{|x| \leq b} d\mathcal{F}_{nk}(x) + \frac{1}{br} \leq a + \frac{1}{2}\varepsilon \end{aligned}$$

由控制收敛定理, 取 $k \rightarrow \infty$ 则有

$$\frac{1}{2r} \int_{-r}^{r} f(t) dt \leq a + \frac{1}{2}\varepsilon$$

这与 $r$ 的取值相矛盾. 因此 $\hat{F}$ 是一个分布函数.

2)证明 $F = \hat{F}$.
由 Second Helly’s Thm 可知 $F_{nk}$ 对应的特征函数在 $k \rightarrow +\infty$ 时收敛到 $\int e^{itx} d\mathcal{\hat{F}}(x)$. 又因为 $f_{nk}(t)$ 逐点收敛到 $f(t) = \int e^{itx} d\mathcal{F}(x)$, 由特征函数的唯一性可知 $F = \hat{F}$.

3)证明 $F_n \xrightarrow{w} F$.
若不然, 存在 $F$ 的某一连续点 $x_0$ 满足 $F_n(x_0)$ 不收敛到 $F(x_0)$. 取其收敛子列 $F_{mk}$ 使得 $\lim_{m \rightarrow +\infty} F_{mk}(x_0) = F^*(x_0)$, 由 First Helly’s Thm 和上一步的结论可知, $\{F_{mk}\}$ 存在子序列 $\{F_{mkj}\}$ 满足 $F_{mkj} \xrightarrow{w} F, j \rightarrow +\infty$. 于是 $F(x_0) = \lim_{j \rightarrow +\infty} F_{mkj} = \lim_{k \rightarrow +\infty} F_{mk} = F^*(x_0)$, 矛盾.

综合可知结论成立.

定理 设 $\xi_n \xrightarrow{d} \xi, \eta_n \xrightarrow{d} a \in \mathbb{R}$. 证明: $\xi_n + \eta_n \xrightarrow{d} \xi + a$.

证明 我们先证明 $X_n \xrightarrow{\mathcal{P}} a \Leftrightarrow X_n \xrightarrow{d} a$, $a$ 为常数. 必要性已证, 只需证充分性,
我们有

$$\begin{aligned} \mathcal{P}(|X_n - a| > \varepsilon) &= \mathcal{P}(X_n > a + \varepsilon) + \mathcal{P}(X_n < a - \varepsilon) \\ &= 1 + \mathcal{P}(X_n < a - \varepsilon) - \mathcal{P}(X_n \leq a + \varepsilon) \\ &\leq 1 + \mathcal{P}(X_n < a - \varepsilon) - \mathcal{P}(X_n < a + \varepsilon) \end{aligned}$$

令 $n \to \infty$, 由依分布收敛的定义, 右式趋于 $1 + F_a(a - \varepsilon) - F_a(a + \varepsilon) = 0$. 于是有 $\lim_{n \to \infty} \mathcal{P}(|X_n - a| > \varepsilon) = 0, \forall \varepsilon > 0$, 即 $X_n \xrightarrow{\mathcal{P}} a$.

回到本题, $\eta_n \xrightarrow{\mathcal{P}} a$. 于是

$$\mathcal{P}(\xi_n + \eta_n < x) \leq \mathcal{P}(\xi_n + \eta_n < x, |\eta_n - a| < \varepsilon) + \mathcal{P}(|\eta_n - a| > \varepsilon)$$

对事件 $\{\xi_n + \eta_n < x, |\eta_n - a| < \varepsilon\}$, 有

$$\{\xi_n + \eta_n < x, |\eta_n - a| < \varepsilon\} \subset \{\xi_n < x - a + \varepsilon\}$$

于是取上极限可得

$$\varlimsup_n \mathcal{P}(\xi_n + \eta_n < x) \leq \lim_n \mathcal{P}(\xi_n < x - a + \varepsilon) = \mathcal{P}(\xi < x - a + \varepsilon)$$

对于下界, 我们有关系

$$\{\xi_n \leq x - a - \varepsilon\} \subset \{|\eta_n - a| > \varepsilon\} \cup \{\xi_n + \eta_n < x\}$$

因此

$$\mathcal{P}(\xi_n + \eta_n < x) \geq \mathcal{P}(\xi_n < x - a - \varepsilon) - \mathcal{P}(|\eta_n - a| > \varepsilon)$$

取下极限可得

$$\varliminf_n \mathcal{P}(\xi_n + \eta_n < x) \geq \lim_n \mathcal{P}(\xi_n < x - a - \varepsilon) = \mathcal{P}(\xi < x - a - \varepsilon)$$

取 $x \in C_{F_{\xi+a}}$, 于是 $x - a \in C_{F_\xi}$, 令上述两个式子中 $\varepsilon \to 0$, 即得

$$\lim_n \mathcal{P}(\xi_n + \eta_n < x) = \mathcal{P}(\xi + a < x)$$

也即 $\xi_n + \eta_n \xrightarrow{d} \xi + a$.

定理 设 $\xi_n \xrightarrow{d} \xi$, $\eta_n \xrightarrow{d} 0$. 证明: $\xi_n \eta_n \xrightarrow{d} 0$.

证明 首先有 $\eta_n \xrightarrow{\mathcal{P}} 0$, 要证 $\xi_n \eta_n \xrightarrow{d} 0$, 只需证 $\xi_n \eta_n \xrightarrow{\mathcal{P}} 0$. 每个 $\xi_n$ 以及 $\xi$ 的不连续点是可列的, 因此这些不连续点集的并也是可列的. 因此对固定的 $\epsilon > 0$, 可取充分大的 $A$, $-A \in C_{F_\xi} \cup (\bigcup_{n=1}^{\infty} C_{F_{\xi_n}})$, 且 $\mathcal{P}(|\xi| > A) < \epsilon$. 于是有如下估计:

$$\begin{aligned} \mathcal{P}(|\xi_n \eta_n| > \delta) &\leq \mathcal{P}(|\xi_n| > A) + \mathcal{P}\left(\left|\eta_n\right| \geq \frac{\delta}{A}\right)\\ &= 1 - F_{\xi_n}(A+0) + F_{\xi_n}(-A) + \mathcal{P}\left(\left|\eta_n\right| \geq \frac{\delta}{A}\right)\\ &= 1 - F_{\xi_n}(A) + F_{\xi_n}(-A) + \mathcal{P}\left(\left|\eta_n\right| \geq \frac{\delta}{A}\right)\\ &\stackrel{n \to \infty}{\longrightarrow} 1 - F_\xi(A) + F_\xi(-A) = \mathcal{P}(|\xi| > A) < \epsilon \end{aligned}$$

令 $\epsilon \to 0$ 即得 $\lim_{n \to \infty} \mathcal{P}(|\xi_n \eta_n| > \delta) = 0$, 综上命题得证.

收敛性相互推导

定理 $\xi_n\overset{a.s.}{\to}\xi\overset{(1)}{\Rightarrow}\xi_n\overset{\mathcal{P}}{\to}\xi\overset{(2)}{\Rightarrow}\xi_n\overset{d}{\to}\xi$, $\xi_n\overset{L^p}{\to}\xi\overset{(3)}{\Rightarrow}\xi_n\overset{\mathcal{P}}{\to}\xi$.

证明
对于(1)(3), 由

$$\mathcal{P}(|\xi_n-\xi|\geq\epsilon)\leq\frac{E|\xi_n-\xi|^p}{\epsilon^p}$$

即知成立.
对于(2), $\forall x\in C_{F_\xi}$, $\lim_nF_{\xi_n}(x)=F_{\xi}(x)$, $F(x-0)=\lim_{y\uparrow x}F_\xi(y)-F_\xi(x)=\lim_{z\downarrow x}F_\xi(z)$, 我们希望证明

$$F_\xi(y)\leq\varliminf_nF_{\xi_n}(x)\leq\varlimsup_nF_{\xi_n}(x)\leq F_\xi(z),\quad\forall y<x<z$$

这样令 $y\uparrow x$ 与 $z\downarrow x$, 就有 $\lim_nF_{\xi_n}(x)=F(x)$. 考虑

$$\begin{aligned} F_\xi(y)=\mathcal{P}(\xi<y)&=\mathcal{P}(\xi<y,\xi_n<x)+\mathcal{P}(\xi<y,\xi_n\geq x)\\ &\leq F_{\xi_n}(x)+\mathcal{P}(|\xi_n-\xi|\geq x-y)\\ &\leq \varliminf_n F_{\xi_n}(x)+\varlimsup_n\mathcal{P}(|\xi_n-\xi|\geq x-y)\\ &\leq \varliminf_n F_{\xi_n}(x) \end{aligned}$$

另一方面,

$$F_{\xi_n}(x)=\mathcal{P}(\xi_n\leq x)\leq\mathcal{P}(\xi<z)+\mathcal{P}(|\xi_n-\xi|\geq|z-x|)$$

于是

$$\varlimsup_nF_{\xi_n}(x)\leq F_\xi(z)$$

这就证明了结论.

收敛性中的反例

依概率收敛不一定 a.s. 收敛:
记 $\Omega=(0,1)$, $\mathcal{F}=\mathcal{B}(\mathbb{R})$, $d\mathcal{P}=dx$, 记

$$\eta_{ij}=\begin{cases}1,\quad \omega\in\left[\frac{j-1}{i},\frac{j}{i}\right)\\0,\quad\mathrm{otherwise}\end{cases}$$

记 $\xi_1=\eta_{11},\xi_2=\eta_{21},\xi_3=\eta_{22},\cdots$, $\xi=0$, 此时

$$\mathcal{P}(|\xi_n-0|>\epsilon)=\mathcal{P}\left(\omega:\omega\in\left[\frac{j-1}{i_n},\frac{j}{i_n}\right)\right)=\frac{1}{i_n}\to0$$

依概率收敛, 但是有子列 $\xi_{n'}=1$, 不 a.s. 收敛.

a.s. 收敛不一定 $L^p$ 收敛:
记 $\Omega=(0,1)$, $\mathcal{F}=\mathcal{B}(\mathbb{R})$, $d\mathcal{P}=dx$, 记

$$\xi_n=\begin{cases}c_n,\quad \omega\in\left[0,\frac{1}{n}\right)\\0,\quad\mathrm{otherwise}\end{cases}$$

$\xi=0$, 易知 $\xi_n\overset{a.s.}{\to}\xi$, 但取 $c_n=2^n$, 此时 $E|\xi_n^p|=\frac{2^{np}}{n}\to+\infty$, 故不 $L^p$ 收敛.

弱收敛不一定依概率收敛:
取 $\{\xi_n,\xi\}$ 独立同分布, $\xi\sim\begin{pmatrix}1&-1\\\frac{1}{2}&\frac{1}{2}\end{pmatrix}$, 那么 $F_{\xi_n}=F_\xi$, 即 $\xi_n\overset{d}{\to}\xi$, 而

$$\mathcal{P}(|\xi_n-\xi|>1)=\mathcal{P}(\xi=1,\xi_n=-1)+\mathcal{P}(\xi=-1,\xi_n=1)=\frac{1}{2}>0$$

故不依概率收敛.

CLT

定理

Thm 假设 $\xi_n$ 独立, $a_k=E\xi_k$, $\sigma_k^2=D(\xi_k)$, $B_n^2=D(S_n)$, $S_n=\sum_{k=1}^n \xi_k$, $\xi_{nk}=\frac{\xi_k-E\xi_k}{B_n}$, 那么 $E(\xi_{nk})=0$, $D(\xi_{nk})=\frac{\sigma_k^2}{B_n^2}$, $\sum_{k=1}^n D(\xi_k)=1$. 记 $\zeta_n=\frac{S_n-ES_n}{\sqrt{D(S_n)}}=\sum_{k=1}^n\xi_{nk}$, $\zeta\sim N(0,1)$.
对于以下条件
(1) $f_{\zeta_n}(t)=\prod_{k=1}^nf_{\xi_{nk}}(t)\to f_\zeta(t)=e^{-\frac{1}{2}t^2}$ (即满足 CLT);
(2) $\lim_n\max_{1\leq j\leq n}\{\frac{\sigma_j^2}{B_n^2}\}=0$ (Feller condition);
(2’) $\lim_n\max_{1\leq j\leq n}\mathcal{P}(\omega:|\xi_{nj}|\geq\tau)=0$;
(2’') $\lim_n\mathcal{P}(\omega:\max_{1\leq j\leq n}|\xi_{nj}|\geq\tau)=0$;
(3) (Lindeburg condition)

$$0=\lim_n\frac{1}{B_n^2}\sum_{k=1}^n\int_{\frac{|x-E\xi_k|}{B_n}\geq\tau}(x-E\xi_k)^2d\mathcal{F}_{\xi_k}(x)=\lim_n\sum_{k=1}^n\int_{|x|\geq\tau}x^2d\mathcal{F}_{\xi_{nk}}(x)$$

那么 (1)+(2)/(2’)/(2’') $\Leftrightarrow$ (3).

证明 我们只证明 “$\Leftarrow$”.

考虑

$$\begin{aligned} \mathcal{P}(|\xi_{nj}|\geq\varepsilon)\leq\frac{1}{\varepsilon^2}D(\xi_{nj})=\frac{1}{\varepsilon^2}\frac{\sigma_j^2}{B_n^2} &=\frac{1}{\varepsilon^2}\int_{\mathbb{R}}x^2d\mathcal{F}_{\xi_{nj}}(x)\\ &=\frac{1}{\varepsilon^2}\int_{|x|\geq\tau}x^2d\mathcal{F}_{\xi_{nj}}(x)+\frac{1}{\varepsilon^2}\int_{|x|<\tau}x^2d\mathcal{F}_{\xi_{nj}}(x)\\ &\leq \frac{1}{\varepsilon^2}\int_{|x|\geq\tau}x^2d\mathcal{F}_{\xi_{nj}}(x)+\frac{1}{\varepsilon^2}\tau^2 \end{aligned}$$

对于(2): 考虑

$$\frac{1}{\varepsilon^2}\max_{1\leq j\leq n}\left(\frac{\sigma_j^2}{B_n^2}\right)\leq\frac{1}{\varepsilon^2}\sum_{k=1}^n \int_{|x|\geq\tau}x^2d\mathcal{F}_{\xi_{nj}}(x)+\frac{1}{\varepsilon^2}\tau^2$$

令 $n\to\infty$ 与 $\tau\to0$.

对于(2’): 考虑

$$\max_{1\leq j\leq n}\mathcal{P}(|\xi_{nj}|\geq\varepsilon)\leq\sum_{k=1}^n \int_{|x|\geq\tau}x^2d\mathcal{F}_{\xi_{nj}}(x)+\tau^2$$

对于(2’'): 由于

$$\mathcal{P}(|\xi_{nk}|\geq\varepsilon)\leq\int_{|\xi_{nk}|\geq\varepsilon}\frac{|\xi_{nk}|^2}{\varepsilon^2}d\mathcal{P}=\frac{1}{\varepsilon^2}\int_{|x|\geq\varepsilon}x^2d\mathcal{F}_{\xi_{nk}}(x)$$

故

$$D\left(\max_{1\leq k\leq n}|\xi_{nk}|\geq\varepsilon\right)\leq\sum_{k=1}^n\mathcal{P}(|\xi_{nk}|\geq\varepsilon)\leq\frac{1}{\varepsilon^2}\sum_{k=1}^n\int_{|x|\geq\varepsilon}x^2d\mathcal{F}_{\xi_{nk}}(x)\to0$$

接下来我们证明

$$f_{\zeta_n}(t)=\prod_{k=1}^nf_{\xi_{nk}}(t)\to f_\zeta(t)=e^{-\frac{1}{2}t^2}=\prod_{k=1}^n\exp\left\{-\frac{1}{2}\frac{\sigma_k^2}{B_n^2}t^2\right\}$$

也就是要证明

$$|f_{\zeta_n}(t)-e^{-\frac{1}{2}t^2}|=\left|\prod_{k=1}^n f_{\xi_k}(t)-\prod_{k=1}^n\exp\left\{-\frac{1}{2}\frac{\sigma_k^2}{B_n^2}t^2\right\}\right|\to0$$

由于 $E\xi_{nk}=0$, $D(\xi_{nk}^2)=\frac{\sigma_k^2}{B_n^2}$, 故 $f_{\xi_{nk}}(t)=1-\frac{1}{2}\frac{\sigma_k^2}{B_n^2}t^2+o(\frac{\sigma_k^2}{B_n^2})$, 于是考虑

$$|f_{\zeta_n}(t)-e^{-\frac{1}{2}t^2}|\leq\left|\prod_{k=1}^n f_{\xi_k}(t)-\prod_{k=1}^n\left(1-\frac{1}{2}t^2\frac{\sigma_k^2}{B_n^2}\right)\right|+\left|\prod_{k=1}^n\left(1-\frac{1}{2}t^2\frac{\sigma_k^2}{B_n^2}\right)-\prod_{k=1}^n\exp\left\{-\frac{1}{2}\frac{\sigma_k^2}{B_n^2}t^2\right\}\right|$$

首先有三个易证的不等式:

$$\left|e^{itx}-\sum_{j=0}^n\frac{(itx)^j}{j!}\right|\leq\min\left\{\frac{|tx|^{1+n}}{(1+n)!},2\frac{|tx|^n}{n!}\right\}\quad(A)$$

$$\left|\prod_{j=1}^n\xi_k-\prod_{j=1}^n\omega_k\right|\leq\sum_{k=1}^n|\xi_k-\omega_k|,\quad |\xi_k|,|\omega_k|\leq1\quad(B)$$

$$|e^z-1-z|\leq|z|^2,\quad|z|\leq1\quad(C)$$

据此, 第一项

$$\begin{aligned} \left|\prod_{k=1}^n f_{\xi_k}(t)-\prod_{k=1}^n\left(1-\frac{1}{2}t^2\frac{\sigma_k^2}{B_n^2}\right)\right| &\overset{(B)}{\leq}\sum_{k=1}^n\left|f_{\xi_{nk}}(t)-\left(1-\frac{1}{2}t^2\frac{\sigma_k^2}{B_n^2}\right)\right|\\ &=\sum_{k=1}^n\left|E\left(e^{it\xi_{nk}}-1-it\xi_{nk}-\frac{1}{2}t^2\xi_{nk}^2\right)\right|\\ &\overset{(A)}{\leq}\sum_{k=1}^nE\left(\min\left\{|t\xi_{nk}|^2,|t\xi_{nk}|^3\right\}\right)\\ &\leq \sum_{k=1}^n\int_{|x|\geq\tau}|tx|^2d\mathcal{F}_{\xi_{nk}}(x)+\sum_{k=1}^n\int_{|x|<\tau}|tx|^3d\mathcal{F}_{\xi_{nk}}(x)\\ &\leq t^2\sum_{k=1}^n\int_{|x|\geq\tau}x^2d\mathcal{F}_{\xi_{nk}}(x)+|t|^3\tau\sum_{k=1}^n\int_{\mathbb{R}}x^2d\mathcal{F}_{\xi_{nk}}(x) \end{aligned}$$

令 $n\to\infty$ 与 $\tau\to0$, 即知其趋于 0.\
对于第二项,

$$\begin{aligned} \left|\prod_{k=1}^n\left(1-\frac{1}{2}t^2\frac{\sigma_k^2}{B_n^2}\right)-\prod_{k=1}^n\exp\left\{-\frac{1}{2}\frac{\sigma_k^2}{B_n^2}t^2\right\}\right| &\leq \sum_{k=1}^n\left|\exp\left\{-\frac{1}{2}\frac{\sigma_k^2}{B_n^2}t^2\right\}-\left(1-\frac{1}{2}t^2\frac{\sigma_k^2}{B_n^2}\right)\right|\\ &\overset{(C)}{\leq}\sum_{k=1}^n\left|-\frac{t^2}{2}\frac{\sigma_k^2}{B_n^2}\right|\\ &\leq \frac{1}{4}t^4\max\left\{\frac{\sigma_k^2}{B_n^2}\right\}\sum_{k=1}^n\frac{\sigma_k^2}{B_n^2}\\ &=\frac{1}{4}\max_{1\leq k\leq n}\left\{\frac{\sigma_k^2}{B_n^2}\right\}\to0,\quad n\to\infty \end{aligned}$$

从而结论成立.

题目

例 设 $\{\xi_n\}$ 独立同分布, $E\xi_1=0$, $D(\xi_1)=1$, 设 $\{\nu_n\}$ 是取值为正整数的随机变量且

$$\frac{\nu_n}{n}\overset{\mathcal{P}}{\to}c$$

其中 $c\in(0,+\infty)$ 为常数.
那么

$$\frac{S_{\nu_n}}{\sqrt{\nu_n}}\overset{d}{\to}\zeta\sim N(0,1)$$

证明 考虑

$$\frac{S_{\nu_n}}{\sqrt{\nu_n}}=\left(\frac{S_{[cn]}}{\sqrt{[cn]}}+\frac{S_{\nu_n}-S_{[cn]}}{\sqrt{[cn]}}\right)\sqrt{\frac{[cn]}{\nu_n}}$$

由题设 $\sqrt{\frac{[cn]}{\nu_n}}\overset{\mathcal{P}}{\to}1$, 而由定理 $\frac{S_{[cn]}}{\sqrt{[cn]}}\overset{d}{\to}\zeta\sim N(0,1)$,
因此只需证明

$$\frac{S_{\nu_n}-S_{[cn]}}{\sqrt{[cn]}}\overset{\mathcal{P}}{\to}0$$

对于给定 $\epsilon\in(0,1)$, 记 $a_n=((1-\epsilon^3) [cn] )$, $b_n=((1+\epsilon^3) [cn] )-1$, $\Lambda=\{\omega:a_n\leq\nu_n(\omega)\leq b_n\}$, 由题设, $\exists n_0(\epsilon)$, 当 $n\geq n_0(\epsilon)$ 时, $\mathcal{P}(\Lambda)\geq 1-\epsilon$.
若 $\omega\in\Lambda$, 那么 $S_{\nu_n(\omega)}(\omega)$ 是 $\{S_j,a_n\leq j\leq b_n\}$ 其中之一, 对于 $[cn]<j\leq b_n$, 有

$$S_j-S_{[cn]}=\xi_{[cn]+1}+\xi_{[cn]+2}+\cdots+\xi_j$$

由 Kolmogorov Ineq,

$$\mathcal{P}\left(\max_{[cn]\leq j\leq b_n}|S_j-S_{[cn]}| >\epsilon\sqrt{cn}\right)\leq\frac{\sigma^2(S_{b_n}-S_{[cn]})}{\epsilon^2 cn}\leq\frac{\epsilon^3[cn]}{\epsilon^2cn}\leq\epsilon$$

对于 $a_n\leq j<[cn]$ 同理, 结合两式,

$$\mathcal{P}\left(\max_{a_n\leq j\leq b_n}|S_j-S_{[cn]}|>\epsilon\sqrt{cn}\right)\leq 2\epsilon$$

从而当 $n\geq n_0(\epsilon)$ 时,

$$\begin{aligned} \mathcal{P}\left(\left|\frac{S_{\nu_n}-S_{[cn]}}{\sqrt{[cn]}}\right|>\epsilon\right) &=\sum_{j=1}^\infty\mathcal{P}\left(\nu_n=j;\left|\frac{S_{\nu_n}-S_{[cn]}}{\sqrt{[cn]}}\right|>\epsilon\right)\\ &\leq \sum_{a_n\leq j\leq b_n}\mathcal{P}\left(\nu_n=j;\max_{a_n\leq j\leq b_n}|S_j-S_{[cn]}|>\epsilon\sqrt{[cn]}\right)+\sum_{j\notin[a_n,b_n]}\mathcal{P}(\nu_n=j)\\ &\leq \mathcal{P}\left(\max_{a_n\leq j\leq b_n}|S_j-S_{[cn]}|>\epsilon\sqrt{[cn]}\right)+\mathcal{P}(\nu_n\notin[a_n,b_n])\\ &\leq 2\epsilon+1-\mathcal{P}(\Lambda)\leq 3\epsilon \end{aligned}$$

于是结论成立.

例 设 $\{\xi_n\}$ 独立, 满足 CLT, 证明 $\{\xi_n\}$ 满足大数定律的充要条件是

$$\frac{1}{n^2}\sum_{k=1}^nD(\xi_k)\to 0$$

证明 “$\Leftarrow$” 显然, 下证 “$\Rightarrow$” 成立.

考虑 $k_n=\frac{1}{n}(S_n-ES_n)\to0$, 而

$$\eta_n=\frac{S_n-ES_n}{\sqrt{D(S_n)}}\xrightarrow{d}\zeta\sim N(0,1) \quad \Rightarrow \quad \eta_n'=\frac{1}{\eta_n}\xrightarrow{d}\frac{1}{\zeta}$$

从而 $k_n\eta_n'=\frac{\sqrt{D(S_n)}}{n}\to 0$, $\frac{1}{n^2}\sum_{k=1}^nD(\xi_k)\to0$.

例 设 $\{\xi_n\}$ 为独立随机变量序列, 每个 $\xi_n$ 有分布 $\mathcal{P}(\xi_n = \pm n^\alpha) = \frac{1}{2}$. 试证:
(1) 当 $\alpha > -\frac{1}{2}$ 时, $\{\xi_n\}$ 满足 CLT;
(2) 当 $\alpha > 0$ 时, $\{\xi_n\}$ 服从大数定律的充要条件是 $\alpha < \frac{1}{2}$.

证明
(1) 由题 $E\xi_k = 0$, $D(\xi_k) = n^{2\alpha}$, $B_n^2 = \sum_{k=1}^n k^{2\alpha}$, 由 $2\alpha > -1$, 取 $\delta > 0$ s.t. $\alpha(2+\delta) \neq -1$, 于是

$$\frac{1}{B_n^{2+\delta}} \sum_{k=1}^n E|\xi_k|^{2+\delta} \sim \frac{\int_0^n x^{\alpha(2+\delta)}}{\left(\int_0^n x^{2\alpha}dx\right)^{1+\frac{\delta}{2}}} \sim n^{-\frac{\delta}{2}} \to 0 \quad as \quad n \to \infty$$

从而 $\{\xi_n\}$ 满足 Lyapunov 条件, 故满足 CLT.

(2) 由 (1), 此时 $\{\xi_n\}$ 为独立的满足 CLT 的随机变量列, $\{\xi_n\}$ 满足 SLLN 当且仅当

$$\frac{1}{n^2} D(S_n) = \frac{1}{n^2} \sum_{k=1}^n k^{2\alpha} \sim n^{2\alpha - 1} \to 0$$

此即 $\alpha < \frac{1}{2}$.

例 设 $\{\xi_n\}$ 独立同分布, $E\xi_n = 0$, $D(\xi_n) = 1$. 试证如下随机变量列为渐近正态分布的:

$$\eta_n = \sqrt{n} \frac{\xi_1 + \cdots + \xi_n}{\xi_1^2 + \cdots + \xi_n^2}, \zeta_n = \frac{\xi_1 + \cdots + \xi_n}{\sqrt{\xi_1^2 + \cdots + \xi_n^2}}$$

证明 记 $S_n = \sum_{k=1}^n \xi_k$, $T_n = \sum_{k=1}^n \xi_k^2$, 则 $ES_n = 0$, $D(S_n) = ET_n = n$. 再由 $\{\xi_n\}$, $\{\xi_n^2\}$ 均独立同分布, 且 $\xi_1$ 期望方差有限, $\xi_1^2$ 期望有限, 故 $\{\xi_n\}$ 满足 CLT, $\{\xi_n^2\}$ 满足 SLLN, 也满足 WLLN, 那么

$$\frac{S_n}{\sqrt{n}} \xrightarrow{d} N(0,1), \quad \frac{T_n}{n} \xrightarrow{\mathcal{P}} 1 \Rightarrow \frac{n}{T_n} \xrightarrow{\mathcal{P}} 1 \Rightarrow \eta_n = \frac{S_n}{\sqrt{n}}\frac{n}{T_n} \xrightarrow{d} N(0,1)$$

$$\frac{S_n}{\sqrt{n}} \xrightarrow{d} N(0,1), \quad \sqrt{\frac{n}{T_n}} \xrightarrow{\mathcal{P}} 1 \Rightarrow \zeta_n = \frac{S_n}{\sqrt{n}} \sqrt{\frac{n}{T_n}} \xrightarrow{d} N(0,1)$$