数学期望

定义

离散型

设离散型随机变量$X$的分布律为$P(X=x_k)=p_k,k=1,2…$，若级数$\sum_{k=1}^{+\infin}|x_k|p_k\lt + \infin$，那么称该级数为$X$的数学期望, 记为

$$ E(X)=\sum_{k=1}^{+\infin}x_kp_k $$

连续型

$$ E(X)=\int_{-\infin}^{+\infin}xf(x)dx $$

随机变量函数的数学期望

一元随机变量函数

$Y=g(X)$,且级数收敛,则

$$ 对于\pmb{离散型} \\\ \\ E(Y)=E[g(X)] = \sum_{k=1}^{+\infin}g(x_k)p_k \\\ \\ 对于\pmb{连续型} \\\ \\ E(Y)=E(g(X)) = \int_{-\infin}^{+\infin}g(x)f(x)dx $$

二元随机变量函数

定义

$Z=h(X,Y)$

$$ 对于\pmb{离散型} \\\ \\ E(Z)=E[h(X,Y)] = \sum_{i=1}^{+\infin}\sum_{j=1}^{+\infin}h(x_i,y_j)p_{ij} \\\ \\ 对于\pmb{连续型} \\\ \\ E(Z) = E(h(X,Y)) = \int_{-\infin}^{+\infin}\int_{-\infin}^{+\infin}h(x,y)f(x,y)dxdy $$

没有期望的p.d.f

定义

$$ 当\int_{-\infin}^0 xf(x)dx和\int_{0}^{\infin}xf(x)dx\pmb{都}是无穷的 \\\ \\ 那么E(X)不存在 $$

柯西分布

$$ f(x) = \frac{1}{\pi(1+x^2)} \\\ \\ \int_{-\infin}^{\infin}f(x)dx = 1 \\\ \\ 但是 \int_{-\infin}^0 x f(x) dx = -\infin \\\ \\ \int_{0}^{\infin}xf(x)dx = \infin \\\ \\ \therefore E(X)不存在 $$

没有期望的分布

普通分布

$$ f(x) = \begin{cases} \frac{1}{2|x|(|x| + 1)} & x = \pm1,\pm2,… \\ 0 & otherwise \end{cases} \\\ \\ E(X) = \sum_{x=-1}^{-\infin} x \frac{}{}f(x) = -\infin = \sum_{x=1}^{\infin}xf(x) = + \infin \\\ \\ \therefore E(X)不存在 $$

数学期望的特性

线性组合的数学期望

$$ E(c_0+\sum_{i=1}^nc_ix_i) = c_0+\sum_{i=1}^nc_iE(X_i) $$

随机变量的独立性

$$ 满足E(\prod_{i=1}^n X)=\prod_{i=1}^nE(X_i)的随机变量\\\ \\ X_i，i=1,2… n 相互独立 $$

函数的函数期望

$$ E(r(X)) = \int_{-\infin}^{\infin}r(x)f(x) = \sum r(x) f(x) $$

$$ Pr(X\ge a) = 1，那么E(X) \ge a \\\ \\ Pe(X\le b) = 1，那么E(X) \le b $$

条件期望

$$ E(Y|x) = \int_{-\infin}^{\infin} y g_2(y|x)dy \\\ \\ E(X|y) = \int_{-\infin}^{\infin} x g_2(x|y)dx \\\ \\ 用h(x)表示 $$

中位数(Median)

求法

$$ 已知 a \le x \le b \\\ \\ \int_0^mf(x)dx = \int_m^1f(x) dx = \frac{1}{2} $$

性质

一对一函数

$$ x的中位数为m，r(x)是一个one-one-function \\\ \\ 那么r(x)的中位数为r(m) $$

方差

定义

方差 $$ Var(X)=E\lbrace\big [X-E(X)\big ]^2\rbrace $$

记方差为$Var(X)$或$D(X)$

标准差

记$\sqrt{Var(X)}$为$\sigma(x)$，称为标准差或均方差，与$X$有相同的量纲

计算公式

$$ Var(X)=E\lbrace X^2-2XE(X)+E^2(X) \rbrace \\\ \\ \pmb {Var(X) =E(X^2)-E^2(X)} $$

方差的性质

线性组合的方差(独立)

$$ Var(c_0+\sum_{i=1}^n c_iX_i) = \sum_{i=1}^nc_i^2Var(X_i) $$

方差=0

$$ Var(X)=0\Leftrightarrow P(X=C)=1,C=E(X) $$

$Var(X) \ge 0$
多项方差

$$ Var(\sum_{i=1}^n X_i) = \sum_{i=1}^n Var(X_i) + 2\underset{i \lt j}{\sum\sum} Cov(X_i,X_j) \\\ \\ 当X_i之间线性不相关时，Var(\sum_{i=1}^n X_i) = \sum_{i=1}^n Var(X_i) $$

几种常见分布的均值和方差

分布	概率分布律或概率密度函数	数学期望	方差
0-1分布	$P(X=k)=p^k(1-p)^{1-k}$	$p$	$p(1-p)$
二项分布	$P(X=k)=C_n^kp^k(1-p)^{1-k}$	$np$	$np(1-p)$
泊松分布	$P(X=k)=\frac{e^{-\lambda}\lambda^k}{k!}$	$\lambda$	$\lambda$
均匀分布	$f(x) = \begin{cases} 1/(b-a) & a\lt x \lt b \\ 0 & otherwise \end{cases}$	$\frac{a+b}{2}$	$\frac{(b-a)^2}{12}$
指数分布	$f(x) =\begin{cases}\lambda e^{-\lambda x} & x \gt 0\\ 0 & otherwise \end{cases}$	$1/\lambda$	$1/\lambda^2$
正态分布	$f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},x \in R$	$\mu$	$\sigma^2$

协方差和相关系数

协方差

定义

定义$E\lbrace[X-E(X)][Y-E(Y)]\rbrace$为协方差，记为$Cov(X,Y)$

$$ Cov(X,Y) = E\lbrace[X-\mu_X][Y-\mu_Y]\rbrace $$

计算公式

$$ 当\sigma^2_X \lt \infin，\sigma^2_Y \lt \infin时 \\\ \\ Cov(X,Y)=E(XY)-E(X)E(Y) $$

性质

$Cov(aX,bY)=ab\cdot Cov(X,Y)$
$Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)$
当$Var(X)Var(Y)\neq 0$，$(Cov(X,Y))^2\le Var(X)Var(Y)$
$Var(X+Y)=Var(X)+Var(Y)+2Cov(X,Y)$

其他数字特征

k阶(原点)矩

定义

$$ E(X^k)，k=1,2,… $$

定理

如果$E(|X|^k) \lt \infin$,那么对于$\forall j \le k$,都有$E(|X|^j) \lt \infin$

k阶中心矩

定义

$$ E\lbrace[X-E(X)]^k\rbrace，k=1,2… $$

也叫做$X$关于均值的$k$阶矩

矩生成函数(m.g.f)

定义

$$ \Psi(t) = E(e^{tx}) $$

定理

$$ 若\Psi(t)对于所有的t都是有限的 \\\ \\ E(X^n) = \Psi^{(n)}(0) $$

k+l阶混合(原点)矩

$$ E\lbrace X^kY^l\rbrace, k,l=1,2 $$

k+l阶混合中心矩

$$ E\lbrace[X-E(X)]^k[Y-E(Y)]^k\rbrace $$

多元随机变量的数字特征

数学期望向量

设n元随机变量$\pmb X =(X_1,X_2,…X_n)^T$,则称

$$ E(\pmb X)= (E(X_1),E(X_2),…E(X_n))^T $$

为$n$元随机变量的数学期望向量

Quadratic Equation

以下是一个例子：假设我们有一个随机变量X，其分布为指数分布，其概率密度函数为$f(x)=\lambda e^{-\lambda x}$，其中$\lambda$是正的常数。我们想要计算X的第p个百分位数。

为了计算指数分布的分位函数，我们可以使用以下公式：

$$Q(p)=-\frac{\ln(1-p)}{\lambda}$$

其中$0 \leq p \leq 1$。这个公式的意思是，我们要找到一个x，使得指数分布在0到x的区间内的累积概率为p。我们可以通过求解该方程来获得该值：

$$\int_0^{Q(p)} \lambda e^{-\lambda x}dx = p$$