统计推断
统计量
-
一个布居有一个给定的分布:$X$
-
从$X$中抽取的个体:$X_i$
-
$X$的一个样本:$\lbrace X_i \rbrace$或者$\lbrace X_1,X_2,…,X_n \rbrace$
-
简单随机抽样产生独立同分布的样本:$\lbrace X_1,.X_2,…,X_n \rbrace$
-
样本值:$\lbrace x_1,x_2, … , x_n \rbrace$
-
统计量
$$ X_i(i=1,2,…,n)是一个被观察的随机变量 \\\ \\ r是一个随机实值函数 \\\ \\ 那么T = r(X_1,…,X_n)叫做\pmb{statistic} 统计量 $$
参数空间
- 样本参数
- 反映样本特征的量,均值、方差…
- 参数空间
- 构成参数的所有取值的集合$\Omega$或向量$(\theta_1,… ,\theta_n)$
先验分布 后验分布 似然函数
先验分布
- 定义
- 未得到数据前对结果进行猜测的分布
- 解释
- 不考虑条件概率的分布
后验分布
- 定义
- 考虑条件概率的分布
- 定理
$$ 假设X_i(i=1,2…)的分布为f(x|\theta) \\ \\\ 先验分布为\xi(\theta) \\ \\\ \xi(\theta|\pmb x) = \frac{f(x_1|\theta) …f(x_n|\theta) \xi(\theta)}{g_n(\pmb x)} \\\ \\ 其中,g_n(\pmb x)为X_i的边缘分布函数 $$
似然函数
$$ 将f(\pmb x|\theta)看成是\theta的函数 \\\ \\ 并且x_i 独立同分布 \\\ \\ 那么f_n(\pmb x|\theta) = f(x_1,x_2,…,x_n|\theta) \overset{i.i.d.}{=} \prod_{i=1}^nf(x_i|\theta) \\\ \\ 被称作似然函数 $$
Bayes 估计量
Estimate / Estimator
$$ 实值函数\delta (X_1,…,X_n)叫做X_1,…,X_n的估计量 \\\ \\ 若观察值为X_1 = x_1,…X_n =x_n \\\ \\ \delta(x_1,…,x_n)叫做\theta的估计 $$
损失函数
定义
$$ 实值函数L(\theta,a), \theta \in \Omega , a 是实数 $$
解释
- 如果参数为$\theta$,估计为a,那么会损失$L(\theta,a)$
分类
- 平方误差损失函数
$$ L(\theta,a) = (\theta -a)^2 $$
- 绝对误差损失函数
$$ L(\theta,a) = |\theta -a| $$
Bayes估计量
定义
$$ 损失函数 \\\ \\ E[L(\theta, a) | X] = \int_{\Omega} L(\theta,a)\xi(\theta | \pmb x)d \theta \\\ \\ 使得E[L(\theta, a) | X]最小的a = \xi^*叫做Bayes估计量 \\\ \\ 当X = x 被观察到时,\xi^*就叫做Bayes估计 $$
推论
- 平方误差损失函数
$$ 对于平方误差损失函数 \\\ 假设\theta是一个实值参数 \\\ \\ 且后验平均值E(\theta |X)有限,则 \\\ \\ \theta的Bayes估计量为 \xi^*(X) = E(\theta |X) $$
- 绝对误差损失函数
$$ 对于绝对误差损失函数 \\\ \\ \xi^*(X) = \theta后验分布的中位数 $$
几个分布
$\chi^2$分布
定义
$$ X_1 … X_n相互独立,X_i ~N(0,1),则 \\\ \\ \chi^2 ~ \sum_{i=1}^nX_i^2 服从自由度为n的\chi^2分布 \\\ \\ 记为\chi^2 ~\chi^2(n) $$
性质
-
设$\chi^2 ~\chi^2(n)$,则有$E(\chi^2) =n,Var(\chi^2) = 2n$
-
$\chi^2$分布可加性
- 设$Y~\chi^2(n),i=1,2…$,且$Y_1,Y_2$相互独立,有$Y_1 + Y_2 ~\chi^2(n_1+ n_2)$
t分布
定义
$$ 设 X ~N(0,1),Y~\chi^2(n),并且假设X,Y相互独立 \\\ \\ 则称 T = \frac{X}{\sqrt{Y/n}} 服从自由度为n的t分布 \\\ \\ 记为 T ~ t(n) \\\ \\ t(n)分布的概率密度函数为 \\\ \\ f(t) = \frac{\Gamma (\frac{n+1}{n})}{\sqrt{n\pi}\Gamma(\frac{n}{2})} (1+\frac{t^2}{n})^{-\frac{n+1}{2}},-\infin \lt t \lt + \infin $$
F分布
定义
$$ X~\chi^2(n_1),Y~\chi^2(n_2) \\\ \\ 称随机变量F = \frac{X/n_1}{Y/n_2}服从自由度(n_1,n_2)的F分布 \\\ \\ 记为F~F(n_1,n_2) \\\ \\ 其中,n_1为第一自由度,n_2为第二自由度 $$
性质
- $F~F(n_1,n_2)$,则$F^{-1}~F(n_2,n_1)$
正态分布下的抽样分布
定理1
$$ 设 X_1 … X_n是来自正态总体N(\mu,\sigma^2) 的简单随机样本,有 \\\ \\ \overline X ~ N\Big(\mu,\frac{\sigma^2}{n}\Big) \\\ \\ \frac{(n-1)S^2}{\sigma^2} ~ \chi^2(n-1)\\\ \\ \overline X 与S^2 相互独立 \\\ \\ \frac{\overline X - \mu}{S/\sqrt{n}} ~ t(n-1) $$