数学期望
定义
离散型
设离散型随机变量$X$的分布律为$P(X=x_k)=p_k,k=1,2…$,若级数$\sum_{k=1}^{+\infin}|x_k|p_k\lt + \infin$,那么称该级数为$X$的数学期望, 记为
$$ E(X)=\sum_{k=1}^{+\infin}x_kp_k $$
连续型
$$ E(X)=\int_{-\infin}^{+\infin}xf(x)dx $$
随机变量函数的数学期望
一元随机变量函数
$Y=g(X)$,且级数收敛,则
$$ 对于\pmb{离散型} \\\ \\ E(Y)=E[g(X)] = \sum_{k=1}^{+\infin}g(x_k)p_k \\\ \\ 对于\pmb{连续型} \\\ \\ E(Y)=E(g(X)) = \int_{-\infin}^{+\infin}g(x)f(x)dx $$
二元随机变量函数
- 定义
- $Z=h(X,Y)$
$$ 对于\pmb{离散型} \\\ \\ E(Z)=E[h(X,Y)] = \sum_{i=1}^{+\infin}\sum_{j=1}^{+\infin}h(x_i,y_j)p_{ij} \\\ \\ 对于\pmb{连续型} \\\ \\ E(Z) = E(h(X,Y)) = \int_{-\infin}^{+\infin}\int_{-\infin}^{+\infin}h(x,y)f(x,y)dxdy $$
- 没有期望的p.d.f
- 定义
$$ 当\int_{-\infin}^0 xf(x)dx和\int_{0}^{\infin}xf(x)dx\pmb{都}是无穷的 \\\ \\ 那么E(X)不存在 $$
- 柯西分布
$$ f(x) = \frac{1}{\pi(1+x^2)} \\\ \\ \int_{-\infin}^{\infin}f(x)dx = 1 \\\ \\ 但是 \int_{-\infin}^0 x f(x) dx = -\infin \\\ \\ \int_{0}^{\infin}xf(x)dx = \infin \\\ \\ \therefore E(X)不存在 $$
没有期望的分布
- 普通分布
$$ f(x) = \begin{cases} \frac{1}{2|x|(|x| + 1)} & x = \pm1,\pm2,… \\ 0 & otherwise \end{cases} \\\ \\ E(X) = \sum_{x=-1}^{-\infin} x \frac{}{}f(x) = -\infin = \sum_{x=1}^{\infin}xf(x) = + \infin \\\ \\ \therefore E(X)不存在 $$
数学期望的特性
- 线性组合的数学期望
$$ E(c_0+\sum_{i=1}^nc_ix_i) = c_0+\sum_{i=1}^nc_iE(X_i) $$
- 随机变量的独立性
$$ 满足E(\prod_{i=1}^n X)=\prod_{i=1}^nE(X_i)的随机变量\\\ \\ X_i,i=1,2… n 相互独立 $$
- 函数的函数期望
$$ E(r(X)) = \int_{-\infin}^{\infin}r(x)f(x) = \sum r(x) f(x) $$
$$ Pr(X\ge a) = 1,那么E(X) \ge a \\\ \\ Pe(X\le b) = 1,那么E(X) \le b $$
条件期望
$$ E(Y|x) = \int_{-\infin}^{\infin} y g_2(y|x)dy \\\ \\ E(X|y) = \int_{-\infin}^{\infin} x g_2(x|y)dx \\\ \\ 用h(x)表示 $$
中位数(Median)
求法
$$ 已知 a \le x \le b \\\ \\ \int_0^mf(x)dx = \int_m^1f(x) dx = \frac{1}{2} $$
性质
- 一对一函数
$$ x的中位数为m,r(x)是一个one-one-function \\\ \\ 那么r(x)的中位数为r(m) $$
方差
定义
- 方差 $$ Var(X)=E\lbrace\big [X-E(X)\big ]^2\rbrace $$
记方差为$Var(X)$或$D(X)$
- 标准差
记$\sqrt{Var(X)}$为$\sigma(x)$,称为标准差或均方差,与$X$有相同的量纲
计算公式
$$ Var(X)=E\lbrace X^2-2XE(X)+E^2(X) \rbrace \\\ \\ \pmb {Var(X) =E(X^2)-E^2(X)} $$
方差的性质
- 线性组合的方差(独立)
$$ Var(c_0+\sum_{i=1}^n c_iX_i) = \sum_{i=1}^nc_i^2Var(X_i) $$
- 方差=0
$$ Var(X)=0\Leftrightarrow P(X=C)=1,C=E(X) $$
-
$Var(X) \ge 0$
-
多项方差
$$ Var(\sum_{i=1}^n X_i) = \sum_{i=1}^n Var(X_i) + 2\underset{i \lt j}{\sum\sum} Cov(X_i,X_j) \\\ \\ 当X_i之间线性不相关时,Var(\sum_{i=1}^n X_i) = \sum_{i=1}^n Var(X_i) $$
几种常见分布的均值和方差
分布 | 概率分布律或概率密度函数 | 数学期望 | 方差 |
---|---|---|---|
0-1分布 | $P(X=k)=p^k(1-p)^{1-k}$ | $p$ | $p(1-p)$ |
二项分布 | $P(X=k)=C_n^kp^k(1-p)^{1-k}$ | $np$ | $np(1-p)$ |
泊松分布 | $P(X=k)=\frac{e^{-\lambda}\lambda^k}{k!}$ | $\lambda$ | $\lambda$ |
均匀分布 | $f(x) = \begin{cases} 1/(b-a) & a\lt x \lt b \\ 0 & otherwise \end{cases}$ | $\frac{a+b}{2}$ | $\frac{(b-a)^2}{12}$ |
指数分布 | $f(x) =\begin{cases}\lambda e^{-\lambda x} & x \gt 0\\ 0 & otherwise \end{cases}$ | $1/\lambda$ | $1/\lambda^2$ |
正态分布 | $f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},x \in R$ | $\mu$ | $\sigma^2$ |
协方差和相关系数
协方差
- 定义
定义$E\lbrace[X-E(X)][Y-E(Y)]\rbrace$为协方差,记为$Cov(X,Y)$
$$ Cov(X,Y) = E\lbrace[X-\mu_X][Y-\mu_Y]\rbrace $$
- 计算公式
$$ 当\sigma^2_X \lt \infin,\sigma^2_Y \lt \infin时 \\\ \\ Cov(X,Y)=E(XY)-E(X)E(Y) $$
- 性质
-
$Cov(aX,bY)=ab\cdot Cov(X,Y)$
-
$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
-
当$Var(X)Var(Y)\neq 0$,$(Cov(X,Y))^2\le Var(X)Var(Y)$
-
$Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)$
相关系数
- 定义
$$ \rho_{XY}=\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y)}} \\\ \\ \rho_{XY}=Cov(\frac{X-E(X)}{\sqrt{Var(X)}},\frac{X-E(Y)}{\sqrt{Var(Y)}}) $$
- 性质
-
$\rho_{XY}^2 \le 1$
-
$Cov^2(X,Y) \le \sigma_X^2\sigma_Y^2$,当且仅当X与Y有线性关系时,等号成立
-
若$Y = aX + b , a\neq 0$,那么
- 若$a \gt 0,\rho(X,Y) = 1$
- 若$a \lt 0, \rho(X,Y) = -1$
- 作用
-
一个表征$X,Y$之间的线性关系紧密程度的量
-
当$\rho_{XY}\gt 0$,$X与Y$正相关
-
当$\rho_{XY}\lt 0$,$X与Y$负相关
-
当$\rho_{XY} = 0$,$X与Y$线性不相关(不代表没有非线性关系)
- 施瓦茨不等式
$$ E^2(UV) \le E(U^2)E(V^2) \\\ \\ 若右式 \lt \infin,那么 \\\ \\ 当且仅当\pmb{U与V成线性关系时} \\\ \\ \pmb{等号成立} $$
其他数字特征
k阶(原点)矩
- 定义
$$ E(X^k),k=1,2,… $$
- 定理
- 如果$E(|X|^k) \lt \infin$,那么对于$\forall j \le k$,都有$E(|X|^j) \lt \infin$
k阶中心矩
- 定义
$$ E\lbrace[X-E(X)]^k\rbrace,k=1,2… $$
- 也叫做$X$关于均值的$k$阶矩
矩生成函数(m.g.f)
- 定义
$$ \Psi(t) = E(e^{tx}) $$
- 定理
$$ 若\Psi(t)对于所有的t都是有限的 \\\ \\ E(X^n) = \Psi^{(n)}(0) $$
k+l阶混合(原点)矩
$$ E\lbrace X^kY^l\rbrace, k,l=1,2 $$
k+l阶混合中心矩
$$ E\lbrace[X-E(X)]^k[Y-E(Y)]^k\rbrace $$
多元随机变量的数字特征
数学期望向量
设n元随机变量$\pmb X =(X_1,X_2,…X_n)^T$,则称
$$ E(\pmb X)= (E(X_1),E(X_2),…E(X_n))^T $$
- 为$n$元随机变量的数学期望向量
Quadratic Equation
以下是一个例子:假设我们有一个随机变量X,其分布为指数分布,其概率密度函数为$f(x)=\lambda e^{-\lambda x}$,其中$\lambda$是正的常数。我们想要计算X的第p个百分位数。
为了计算指数分布的分位函数,我们可以使用以下公式:
$$Q(p)=-\frac{\ln(1-p)}{\lambda}$$
其中$0 \leq p \leq 1$。这个公式的意思是,我们要找到一个x,使得指数分布在0到x的区间内的累积概率为p。我们可以通过求解该方程来获得该值:
$$\int_0^{Q(p)} \lambda e^{-\lambda x}dx = p$$