统计推断

统计量

一个布居有一个给定的分布：$X$
从$X$中抽取的个体：$X_i$
$X$的一个样本：$\lbrace X_i \rbrace$或者$\lbrace X_1,X_2,…,X_n \rbrace$
简单随机抽样产生独立同分布的样本：$\lbrace X_1,.X_2,…,X_n \rbrace$
样本值：$\lbrace x_1,x_2, … , x_n \rbrace$
统计量

$$ X_i(i=1,2,…,n)是一个被观察的随机变量 \\\ \\ r是一个随机实值函数 \\\ \\ 那么T = r(X_1,…,X_n)叫做\pmb{statistic} 统计量 $$

参数空间

样本参数

反映样本特征的量，均值、方差…

参数空间

构成参数的所有取值的集合$\Omega$或向量$(\theta_1,… ,\theta_n)$

先验分布后验分布似然函数

先验分布

定义

未得到数据前对结果进行猜测的分布

解释

不考虑条件概率的分布

后验分布

定义

考虑条件概率的分布

定理

$$ 假设X_i(i=1,2…)的分布为f(x|\theta) \\ \\\ 先验分布为\xi(\theta) \\ \\\ \xi(\theta|\pmb x) = \frac{f(x_1|\theta) …f(x_n|\theta) \xi(\theta)}{g_n(\pmb x)} \\\ \\ 其中，g_n(\pmb x)为X_i的边缘分布函数 $$

似然函数

$$ 将f(\pmb x|\theta)看成是\theta的函数 \\\ \\ 并且x_i 独立同分布 \\\ \\ 那么f_n(\pmb x|\theta) = f(x_1,x_2,…,x_n|\theta) \overset{i.i.d.}{=} \prod_{i=1}^nf(x_i|\theta) \\\ \\ 被称作似然函数 $$

Bayes 估计量

Estimate / Estimator

$$ 实值函数\delta (X_1,…,X_n)叫做X_1,…,X_n的估计量 \\\ \\ 若观察值为X_1 = x_1,…X_n =x_n \\\ \\ \delta(x_1,…,x_n)叫做\theta的估计 $$

损失函数

定义

$$ 实值函数L(\theta,a), \theta \in \Omega , a 是实数 $$

解释

如果参数为$\theta$,估计为a，那么会损失$L(\theta,a)$

Bayes估计量

定义

$$ 损失函数 \\\ \\ E[L(\theta, a) | X] = \int_{\Omega} L(\theta,a)\xi(\theta | \pmb x)d \theta \\\ \\ 使得E[L(\theta, a) | X]最小的a = \xi^*叫做Bayes估计量 \\\ \\ 当X = x 被观察到时，\xi^*就叫做Bayes估计 $$

推论

平方误差损失函数

$$ 对于平方误差损失函数 \\\ 假设\theta是一个实值参数 \\\ \\ 且后验平均值E(\theta |X)有限，则 \\\ \\ \theta的Bayes估计量为 \xi^*(X) = E(\theta |X) $$

绝对误差损失函数

$$ 对于绝对误差损失函数 \\\ \\ \xi^*(X) = \theta后验分布的中位数 $$

几个分布

$\chi^2$分布

定义

$$ X_1 … X_n相互独立，X_i ～N(0,1)，则 \\\ \\ \chi^2 ～ \sum_{i=1}^nX_i^2 服从自由度为n的\chi^2分布 \\\ \\ 记为\chi^2 ～\chi^2(n) $$

性质

设$\chi^2 ～\chi^2(n)$,则有$E(\chi^2) =n,Var(\chi^2) = 2n$
$\chi^2$分布可加性

设$Y～\chi^2(n),i=1,2…$，且$Y_1,Y_2$相互独立，有$Y_1 + Y_2 ～\chi^2(n_1+ n_2)$

t分布

定义

$$ 设 X ～N(0,1),Y～\chi^2(n)，并且假设X,Y相互独立 \\\ \\ 则称 T = \frac{X}{\sqrt{Y/n}} 服从自由度为n的t分布 \\\ \\ 记为 T ～ t(n) \\\ \\ t(n)分布的概率密度函数为 \\\ \\ f(t) = \frac{\Gamma (\frac{n+1}{n})}{\sqrt{n\pi}\Gamma(\frac{n}{2})} (1+\frac{t^2}{n})^{-\frac{n+1}{2}}，-\infin \lt t \lt + \infin $$

F分布

定义

$$ X～\chi^2(n_1)，Y～\chi^2(n_2) \\\ \\ 称随机变量F = \frac{X/n_1}{Y/n_2}服从自由度(n_1,n_2)的F分布 \\\ \\ 记为F～F(n_1,n_2) \\\ \\ 其中，n_1为第一自由度，n_2为第二自由度 $$

性质

$F～F(n_1,n_2)$，则$F^{-1}～F(n_2,n_1)$

正态分布下的抽样分布

定理1

$$ 设 X_1 … X_n是来自正态总体N(\mu,\sigma^2) 的简单随机样本，有 \\\ \\ \overline X ～ N\Big(\mu,\frac{\sigma^2}{n}\Big) \\\ \\ \frac{(n-1)S^2}{\sigma^2} ～ \chi^2(n-1)\\\ \\ \overline X 与S^2 相互独立 \\\ \\ \frac{\overline X - \mu}{S/\sqrt{n}} ～ t(n-1) $$