参数的点估计

矩估计法

用样本矩估计总体矩

以样本矩估计总体矩

$$ 设 \mu_k = E(X^k), k = 1, … m存在, v_k = E{[X-E(X)]^k} \\\ \\ 即\hat{\mu}k = A_k = \frac{1}{n}\sum{i=1}^nX_i ^k， \hat{v}k = B_k = \frac{1}{n}\sum{i=1}^n(X_i - \overline X)^k \\\ \\ \hat{g}(\mu_1…\mu_m) = g(A_1 … A_m)，其中g是连续函数 $$

基本步骤

$$ 设总体X有m个未知参数\theta_1 …\theta_m，\mu_1…\mu_m 存在 $$

1. 求前$m$阶矩关于$m$个参数的函数

$$ \mu_k = E(X^k) = g_k(\theta_1,…\theta_m)，k=1,…,m $$

2. 求各参数关于前m阶矩阵的反函数

$$ \theta_k =h_k(\mu_1,…,\mu_k)，k=1,…,m $$

3. 用样本各阶矩$A_1,…,A_m$代替总体各阶矩$\mu_1…,\mu_m$

$$ \hat{\theta}_k = h_k(A_1,…,A_k)，k=1,…,m $$

极大似然估计法(M.L.E.)

定义

选择参数$\theta$的估计量，使得似然函数的值最大

• 对于离散型变量 $$ L(\theta) = P\lbrace X_1=x_1,…,X_n=x_n \rbrace = p(x_1;\theta)…p(x_n;\theta) = \prod_{i=1} ^n p(x_i;\theta)\\\ \\ 极大似然原理为\\\ \\ L(\hat{\theta}(x_1,…,x_n)) = \underset{\theta \in \Theta}{max} L(\theta) \\\ \\ \hat{\theta}(x_1,…,x_n)被称为极大似然估计值 \\\ \\ 相应统计值\hat{\theta}(X_1,…,X_n) 被称为\theta 的极大似然估计量(MLE) $$

• 对于连续型随机变量

$$ f(x,\theta)，\theta \in \Theta \\\ \\ 对于样本(X_1,X_2,…,X_n)，其观察值(x_1,…,x_n)，似然函数为L(\theta) = \prod_{i=1}^n f(x_i,\theta) \\\ \\ 极大似然原理：L(\hat{\theta}(x_1,…,x_n)) = \underset{\theta \in \Theta}{max} \ L(\theta) \\\ \\ 其中，\theta = (\theta_1,…\theta_k) $$

极大似然估计的求解

1. 记$ln L(\theta) = l(\theta)$，称为对然似然函数

$$ 利用\frac{\partial l(\theta)}{\partial \theta}\Big|_{\hat{\theta},1\le i \le k} = 0,i=1,2…k解得\hat{\theta}，i=1,2…k $$

2. 利用$L(\theta)$关于某个$\theta_i$单调，此时$\hat{\theta_i}$即为$\theta_i$的极大似然估计值o

3. 若$\hat{\theta}(X_1,…,X_n)$ 是$\theta$的极大似然估计量，则$g(\theta)$的极大似然估计量为$g(\hat{\theta}(X_1,…X_n))$

从Bernulli分布中取样

$$ 对于Bernulli 分布，极大似然函数为 \\\ \\ f(\pmb x|\theta) = \theta^{x_i}(1-\theta)^{(1-x_i)} \\\ \\ L(\theta) =log f_n(\pmb x|\theta) = \sum_{i=1}^n x_ilog(\theta) + \sum_{i=1}^n(1-x_i) log(1-\theta) \\\ \\ L(\theta) = \Big(\sum_{i=1}^nx_i \Big) \ log(\theta) + \Big( n - \sum_{i-1}^n x_i \Big)log(1 - \theta) $$

从均值未知的正态函数中取样

$$ f(\pmb x | \mu) = \frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{1}{2\sigma^2}\sum_{i=1}^n(x_i - \mu)^2} \\\ \\ 显然，当Q(\mu) = \sum_{i=1}^n(x_i - \mu)^2最小时，上式最大 \\\ \\ \therefore 当\widehat{\mu} = \overline{x_n}时，上式最大 $$

从均值和方差均未知的正态函数中取样

$$ f_n(\pmb x|\mu,\sigma^2) \\\ \\ L(\theta) = log f_n(\pmb x|\mu,\sigma^2) \\\ \\ L(\theta) = -\frac{n}{2} ln(2\pi) - \frac{n}{2} ln(\sigma^2) - \frac{1}{2\sigma^2}\sum_{i=1}^n (x_i-\mu)^2 \\\ \\ 首先找到\widehat{\mu}(\sigma^2) = \overline{x_n},如上所示,并代入上式 \\\ \\ 然后求\frac{dL(\theta)}{d\theta} = 0 \\\ \\ 得到\sigma^2 = \frac{1}{n}\sum_{i=1}^n\Big( X_i - \overline{X_n} \Big) \\\ \\ 所以\widehat{\theta} = (\widehat{\mu},\sigma^2) = (\overline{X_n},\frac{1}{n}\sum_{i=1}^n\Big( X_i - \overline{X_n} \Big)) $$

从均匀分布中取样

$$ 当均匀分布的范围是[0,\theta] \\\ \\ f(\pmb x|\theta) = \begin{cases} \frac{1}{\theta} & 0 \le x \le \theta \\ 0 & otherwise \end{cases} \\\ \\ \therefore joint \ p.d.f. \\\ \\ f_n(\pmb x|\theta) = \begin{cases} \frac{1}{\theta^n} & 0 \le x_i \le \theta \\ 0 & otherwise \end{cases} \\\ \\ \therefore joint \ p.d.f. \\\ \\ \because \theta \ge x_i \\\ \\ 所以为了使f_n(\pmb x|b)最大 \\\ \\ \widehat{\theta} = max(X_1,…,X_n) $$

缺点与性质

1. 均匀分布的M.L.E.不存在

2. 有些时候，M.L.E.不唯一

3. 如果$\widehat{\theta}$是$\theta$的极大似然估计量,那么$g(\widehat{\theta})$也是$g(\theta)$的极大似然估计量

估计量的评选准则

无偏性准则(unbiased)

定义

$$ \delta是参数为\theta的函数g的估计量 \\\ \\ 那么若E_\theta(\delta(X)) = g(\theta)对于所有\theta都成立 \\\ \\ 那么\delta叫做\pmb{无偏估计量} $$

偏差 均方误差

$$ \Big[E_\theta(\delta(X)) - g(\theta)\Big]叫做\pmb{偏差} \\\ \\ E_\theta\Big[(\delta - g(\theta)) \Big]^2叫做\pmb{均方误差 \ M.S.E.} $$

实例

1. 均值的无偏估计

$$ X = (X_1,…,X_n)的均值和方差有限 \\\ \\ g(\theta) = E_\theta(X_i) \\\ \\ 那么显然,\overline{X_n}就是g(\theta)的无偏估计\\\ \\ 它的均方误差为\frac{Var_\theta(X_1)}{n} $$

2. 方差的无偏估计

$$ X = (X_1,…,X_n)的方差有限 \\\ \\ 那么X方差的无偏估计为 \\\ \\ \widehat{\sigma}1^2 = \frac{1}{n-1} \sum{i=1}^n(X_i - \overline{X_n})^2 $$

3. 从泊松分布中取样

$$ 假设一个泊松分布的均值\theta未知 \\\ \\ 那么\overline{X_n}和\hat{\sigma}_1^2 都是它的无偏估计 \\\ \\ 因为其均值和方差相等 \\\ \\ 所以\alpha \overline X_n + (1-\alpha)\hat{\sigma}_1^2也可以是\theta的无偏估计 \\\ \\ 因为上式的期望为\theta $$

有效性准则

1. 定义

设$\theta_1,\theta_2$是$\theta$的两个无偏估计，若$Var(\hat{\theta}_1)\le Var(\hat{\theta}_2)$对于一切$\theta \in \Theta$ 成立，且不等号至少对某一$\theta\in\Theta$成立,则称$\hat{\theta}_1$比$\hat{\theta}_2$有效

均方误差准则

$$ 设\hat{\theta}是参数\theta的点估计，方差存在\\\ \\ 则称E(\hat{\theta}-\theta)^2是估计量的均方误差，记为Mse(\hat{\theta}) \\\ \\ Mse(\hat{\theta}) = E(\hat{\theta} - \theta)^2 = Var(\hat{\theta})+[E(\hat{\theta})-\theta]^2 \\\ \\ 若\hat{\theta}是\theta的无偏估计 \\\ \\ 则有Mse(\hat{\theta}) = Var(\hat{\theta}) \\\ \\ 设\hat{\theta}_1 ,\hat{\theta}_2是\theta的两个估计量 \\\ \\ 如果Mse(\hat{\theta}_1) \le Mse(\hat{\theta}_2)对一切\theta \in \Theta 成立 \\\ \\ 且不等号至少对某一\theta \in \Theta成立，则称\hat{\theta}_1优于\hat{\theta}_2 $$

相合性准则

$$ 设\hat{\theta}_n = \hat{\theta}(X_1,…,X_n)为参数\theta的估计量 \\\ \\ 若对于任意\theta \in \Theta，当n \longrightarrow + \infin时，\hat{\theta}_n \overset{P}{\longrightarrow} \theta. \\\ \\ 即\forall \varepsilon \gt 0,有 \underset{n \longrightarrow + \infin}{lim}P \lbrace |\hat{\theta}_n - \theta| \ge \varepsilon \rbrace = 0成立 \\\ \\ 则称\hat{\theta_n}为\theta的\pmb{相合估计量}或\pmb{一致估计量} $$

置信区间

定义

$$ X = (X_1,…,X_n)是一个参数为\theta的分布 \\\ \\ g(\theta)是一个关于\theta的实值函数 \\\ \\ Pr(A\lt g(\theta) \lt B) \ge \gamma \\\ \\ 区间(A,B)叫做系数\gamma对于g(\theta)的\pmb{置信区间}\\\ \\ 如果上述不等式对于所有\theta都成立 \\\ \\ 那么我们称这个置信区间是\pmb{准确的} \\\ \\ 当观察到A =a,B=b时，(a,b)叫做置信区间的\pmb{观察值} $$

正态分布均值的置信区间

$$ A = \overline{X_n} - T_{n-1}^{-1}\Big( \frac{1 + \gamma}{2} \Big) \frac{\sigma’}{\sqrt{n}} \\\ \\ B = \overline{X_n} + T_{n-1}^{-1}\Big( \frac{1 + \gamma}{2} \Big) \frac{\sigma’}{\sqrt{n}} \\\ \\ 其中, T ～ t(n-1) ， p = T_{n-1}(c) = P\lbrace T \le c \rbrace，并且 c = T_{n-1}^{-1}(p) $$

单侧置信区间

定义

$$ Pr(A \lt g(\theta)) \ge \gamma \\\ \\ A叫做\pmb{置信下限}, (A,+\infin)叫做单侧置信区间 \\\ \\ 相对的,Pr(g(\theta) \lt B) \ge \gamma \\\ \\ B叫做\pmb{置信上限}, (-\infin,B)叫做单侧置信区间 \\\ $$

正态分布的单侧置信区间

$$ A = \overline{X_n} - T_{n-1}^{-1} (\gamma) \frac{\sigma’}{\sqrt{n}} \\\ \\ B = \overline{X_n} + T_{n-1}^{-1}(\gamma) \frac{\sigma’}{\sqrt{n}} \\\ \\ 其中, T ～ t(n-1) ， p = T_{n-1}(c) = P\lbrace T \le c \rbrace，并且 c = T_{n-1}^{-1}(p) $$

Pivotal 枢轴变量