大数定律

总体表述

$$ E(X_i)=\mu \\\ \\ 在一定条件下 \\\ \\ Y=\frac{X_1+X_2+…+X_n}{n}收敛到\mu $$

依概率收敛

1. 定义

$$ 随机变量序列Y_i(i=1,2…) \\\ \\ 若存在某常数c，使得\forall \varepsilon \gt 0,都有\underset{n\rightarrow \infin}{lim} P \lbrace |Y_n-c|\ge \varepsilon\rbrace = 0 \\\ \\ 则称\lbrace Y_n,n\ge 1 \rbrace依概率收敛于常数c \\\ \\ 记为 Y_n \overset{P}{\longrightarrow} c \\\ $$

• 这是一种概率意义上的收敛，而不是数学意义上的收敛

2. 性质

• 若$X_n \overset{P}{\longrightarrow} a, Y_n\overset{P}{\longrightarrow} b$ , $g$在$(a,b)$上连续，则$g(X_n,Y_n)\overset{P}{\longrightarrow} g(a,b)$

• 若$X_n \overset{P}{\longrightarrow} a$，$f(x)$在点$a$连续，则$f(X_n)\rightarrow f(a)$

马尔可夫不等式与切比雪夫不等式

马尔可夫不等式

1. 定义

设随机变量$Y$的$k$阶矩存在$(k\gt 1)$，则对于$\forall \varepsilon \gt 0$，都有 $P\lbrace |Y|\ge \varepsilon \rbrace \le \frac{E(|Y^k|)}{\varepsilon^k}$

• 等价形式

$$ P\lbrace |Y| \le \varepsilon \rbrace \ge 1-\frac{E(|Y|^k)}{\varepsilon^k} $$

2. 证明

$$ 对于\forall \varepsilon \gt0 ，令Z =\begin{cases}\varepsilon & |Y|\ge \varepsilon \\ 0 & |Y| \lt \varepsilon \end{cases} \\\ \\ \therefore Z \le |Y| \Rightarrow Z^k \le |Y|^k \Rightarrow E(Z^k) \le E(|Y|^k) \\\ \\ 根据Z的定义 \\\ \\ E(Z^k) = \varepsilon^k P\lbrace |Y|\ge \varepsilon\rbrace \\\ \\ \therefore P\lbrace |Y|\ge \varepsilon\rbrace = \frac{E(Z^k)}{\varepsilon^k} \le \frac{E(|Y|^k)}{\varepsilon^k} $$

切比雪夫不等式 —— 马尔可夫不等式的特殊情况

1. 定义

对于$\forall \varepsilon \gt 0$，都有 $P\lbrace |X-E(X)| \ge \varepsilon \rbrace \le \frac{Var(X)}{\varepsilon^2}$

• 等价形式

$$ P\lbrace |X-E(X)| \lt \varepsilon \rbrace = 1 - \frac{Var(X)}{\varepsilon^2} $$

2. 证明

$$ 在马尔可夫不等式中， 令Y = X -E(X)，k = 2 \\\ \\ 有P(|X-E(X)|\ge \varepsilon ) = \frac{E[(X-E(X))^2]}{\varepsilon^2} = \frac{Var(X)}{\varepsilon^2} $$

样本均值的均值和方差

$$ \overline{X_n} = \frac{1}{n} (X_1 + … + X_n) \\\ \\ 样本的均值为\mu.方差为\sigma^2 \\\ \\ 那么 E(\overline{X_n}) = \mu,Var(\overline{X_n}) = \frac{\sigma^2}{n} $$

大数定律

(弱)大数定律

$$ 假设一随机样本中的X_i(i=1,2..)\pmb{均值为\mu,方差有限} \\\ \\ 那么\overline {X_n} \overset{p}{\longrightarrow }\mu $$

切比雪夫大数定律

$$ X_1, … X_n 构成一个随机样本，且均值和方差都存在\\\ \\ 并且Var(X_k) \le C(常数) \\\ \\ 那么随机变量\lbrace X_k \rbrace 服从大数定律 $$

独立同分布大数定律

$$ 若X_i(i=1…n)独立同分布 \\\ \\ 那么X_i服从大数定律 \\\ \\ 且\underset{n \rightarrow +\infin}{lim}Pr(|\overline{X_n} - \mu| \lt \sigma) = 1 $$

泊松大数定理

$$ 假设X_i独立同分布,且 \\\ \\ Pr(X_k =1) = p_k,Pr(X_k=0) =1-p_k \\\ \\ 那么X_i(i=1,2…)服从大数定律 $$

Bernulli大数定律

$$ 假设X_i独立同分布,且 \\\ \\ Pr(X_k =1) = p,Pr(X_k=0) =1-p \\\ \\ 那么X_i(i=1,2…)服从大数定律 $$

辛倾大数定律

$$ X_i(i=1,2…)独立同分布，且\pmb{均值存在} \\\ \\ 那么X_i服从大数定律 $$

强大数定律

$$ \underset{n \longrightarrow \infin} {lim}Pr(\overline {X_n} = \mu) = 1 $$

中心极限定律

简单阐述

当样本数足够大时，分布接近于正态分布($～N(\mu,\sigma^2)$)

变量的正态化

$$ 让X^* = \frac{X-E(X)}{\sqrt{Var(X)}} \\\ \\ 可以证明得到 E(X^) = 0,Var(X^) = 1 \\\ \\ 其中,\pmb{X^*叫做X的正态化} $$

Lindeberg and Levy 中心定律

$$ 若\overline{X_n}同分布，那么对于每一个x \\\ \\ \underset{n \rightarrow \infin}{lim}Pr\Big[ \frac{\overline{X_n} - \mu}{\sigma / \sqrt n} \le x \Big] = \Phi(x) $$

拉普拉斯中心极限定律

$$ 如果随机变量X_i(i=1,2,…) \\\ \\ Pr(X_k = 1) = p, Pr(X_k = 0) = 1-p \\\ \\ \underset{n \rightarrow \infin}{lim}Pr\Big[ \frac{\overline{X_n} - \mu}{\sigma / \sqrt n} \le x \Big] = \Phi(x) $$

分布收敛 渐进分布

$$ 如果\underset{n \longrightarrow \infin}{lim} F_n(x) = F^(x) \\\ \\ 那么X_n在分布上趋近于F^(x) $$