随机变量

定义

设随机试验的样本空间为$S={e}$，若$X=X(e)$定义为S上的实值单值函数，则称$X=X(e)$为随机变量

一般采用大写字母$X,Y,Z$表示随机变量
引入随机变量是为了描述随机变量

解释

某随机变量的随机分布是该随机变量能够取到某些值的一系列概率的集合

离散型随机变量及其分布

定义

取值至多可数的随机变量称为离散型随机变量

概率分布律

$X$	$x_1$	$x_2$	…	$x_n$
$P$	$p_1$	$p_2$	…	$p_n$

性质

$p_i\geq 0$
$\sum_{i=1}^np_i=1$

几个重要的随机变量分布

0-1分布（两点分布）

若X的分布律为：

$X$	$0$	$1$
$p$	$q$	$1-q$

称$X ～ 0-1(P)$，或$B(1,p)$

分布律还可以写成 $P(X=k)=p^k(1-p)^{1-k},k=0,1$

二项分布

n重贝努利试验

设试验E只有两个可能的结果，将E独立、重复进行n次，称这一串独立重复试验为n重贝努利试验

二项分布的定义

设$A$在$n$重贝努力试验中发生X次，称$X$服从参数为$n,p$的二项分布

记为$X～B(n,p)$
概率分布律

二项分布与0-1分布的关系

一次实验: Bernoulli distribution
多次实验: Bernoulli trials

$$ P(X=k)=C_n^kp^k(1-p)^{n-k},k=0,1,…n $$

均匀分布

离散型函数的均匀分布

设$a$和$b$是两个整数,$X$可能是它们之间的任何一个整数，那么我们说$X$在整数$a,…,b$中具有均匀分布

$$ f(x) = \begin{cases} \frac{1}{b-a+1} & a \le x \le b \\ 0 & otherwise \end{cases} $$

连续型函数的均匀分布

$$ f(x) = \begin{cases} \frac{1}{b-a} & a \le x \le b \\ 0 & otherwise \end{cases} $$

泊松分布

服从概率分布律为

$$ P(X=k)=\frac{\lambda^ke^{-\lambda}}{k!},k=0,1,2…,\lambda\ge0 $$

的随机变量$X$服从参数为$\lambda$的泊松分布
记为 $X～P(\lambda)$

泊松定理

$$ 当n\gt 10,p\lt0.1时\\\ \\ C_n^kp^k(1-p)^{1-k}\approx \frac{e^{\lambda}\lambda^k}{k!},\lambda = np $$

超几何分布

满足 $$ P(X=k)=\frac{C_a^kC_b^{n-k}}{C_N^n},k=l_1,l_1+1…l_2\\\ \\ l_1=max(0,n-b),l_2=min(a,n) $$
则称$X$服从超几何分布
记为$X～H(N,n,M)$,N是总数，n是样本量，M是A或B

几何分布

满足

$$ P(X=k)=p(1-p)^{1-k},k=1,2,3…,0\lt p\lt 1 $$

称$X$服从参数$p$的几何分布
记为$X～GE(p)$

帕斯卡分布

定义

满足

$$ P(X=k)=C_{k-1}^{r-1}p^r(1-p)^{k-r},k=r,r+1…,0\lt p\lt 1 $$

称为帕斯卡分布

含义

每次试验成功概率为p,进行到成功r次为止的分布即位帕斯卡分布

其中，几何分布是帕斯卡分布中$r=1$的特殊情况

分布函数概率质量函数(概率函数)

分布函数(c.d.f)

定义

$X$为一随机变量，对任意实数$x$，函数$F(x)=P(X\le x)$记为$X$的分布函数

任何随机变量都有相应的分布函数

性质

$0\le F(x)\le 1$
$F(x)$单调不减
$F(-\infin)=0，F(+\infin)=1$
$F(x)$右连续，即$F(x+0^+)=F(x)$

定理

$P(X=x)=F(x)-F(x^-0)$
$P(x_1 \lt x \le x_2) = F(x_2) - F(x_1)$
$P(X \gt x) = 1 - F(x)$

概率质量函数(p.f.)

定义

$$ f(x) = P(X=x) \\\ \\ 其中,\lbrace x:f(x)\gt 0 \rbrace 叫做support \ of \ distribution \ of \ X $$

性质

$\sum_{i=1}^\infin f(x_i) =1$
$f(x) \ge 0$
$Pr(X\in C) = \sum_{x_i\in C} f(x_i)$

连续型随机变量及其概率密度函数

定义

对于随机变量$X$的分布函数$F(X)$,若存在非负的函数$f(x)$，使对于任意实数$x$

$$ F(x)=\int_{-\infin}^{\infin}f(t)dt $$

$X$为连续型随机变量
$f(x)$为概率密度函数($p.d.f$)，简称密度函数

$f(x)$的性质

$f(x)\ge 0$
$\int_{-\infin}^{+\infin}f(x)dx=1$
对于任意实数$x_1,x_2(x_2\gt x_1)$ $$ P{x_1\lt X\lt x_2}=F(x_2)-F(x_1)=\int_{x_1}^{x_2}f(t)dt $$
$P(X=a)=0,a\in R$
在$f(x)$的连续点，$F’(x)=f(x)$

几个重要的连续型随机变量分布

正态分布（高斯分布）

定义

满足

$$ f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}, -\infin \lt x \lt +\infin, \\\ \\ -\infin \lt \mu \lt +\infin，\sigma \gt 0 $$

称$X$服从参数为$\mu,\sigma$的正态分布
记为 $X～N(\mu,\sigma^2)$

性质

$f(x)$关于$x=\mu$对称
$f_{max}=f(\mu)=\frac{1}{\sqrt{2\pi}\sigma}$
$\underset{|x-\mu|\rightarrow\infin}{lim}f(x)=0$
独立的$n$个正态变量的线性组合仍然服从正态分布

标准正态分布

推导 $$ 令t=\frac{x-\mu}{\sigma}，dx=\sigma dt\\\ \\ f(x) = \frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}},-\infin\lt t \lt +\infin \\\ \\ $$
上述概率密度函数记为标准正态分布

$$ 密度函数\varphi(x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}\\\ \\ 分布函数\Phi(x)=\int_{-\infin}^x\frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt\\\ \\ 且\pmb{\Phi(x)+\Phi(-x)=1} $$

定理

前提

$$ 如果多个变量X_i相互独立,且均服从(\mu_i,\sigma_i^2)的正态分布 $$

定理1

$$ X_1 + … +X_n服从正态分布 \\\ \\ 均值为\sum_{i=1}^n\mu_i,方差为\sum_{i=1}^n\sigma_i^2 $$

定理2

$$ a_1,…,a_n至少有一个不为0 \\\ \\ 那么X_1 + … + X_n 服从正态分布 \\\ \\ 均值为\sum_{i=1}^na_iX_i + b \\\ \\ 方差为\sum_{i=1}^n a_i^2X_i^2 $$

指数分布

定义

满足

$$ f(x)=\begin{cases} \lambda e^{-\lambda x} &x\gt 0 \\ 0 & x \le 0 \end{cases} $$

的$X$服从参数为$\lambda$的指数分布
记为$X～E(\lambda)$

性质

分布函数

$$ F(x)= \begin{cases} 1 - e^{-\lambda x} & x\gt 0\\ 0 & x\le 0\end{cases} $$

无记忆性

$$ For \ t_0 \gt 0,t\gt 0\\\ \\ P(X\gt t_0+t|X\gt t_0)=\frac{P(X\gt t_0+t)}{P(X\gt t_0)}\\\ \\ =\frac{1-F(t_0+t)}{1-F(t_0)} = e^{-\lambda t}=P(X\gt t) $$

随机变量函数的分布

定理1

设$X～f_X(x)，-\infin \lt x\lt +\infin，g’(x)\neq 0. \ Y=g(X)，x=h(y)$,则$Y$的概率密度函数为

$$ f_Y(y)=\begin{cases}f_x(h(y))\cdot|h’(y)| & \alpha \lt x\lt \beta \\ 0 & otherwise\end{cases} $$

注意，此定理在$h(y)$不确定时不适用

定理2

一般的，若$X～N(\mu,\sigma^2)，Y=aX+b\Rightarrow Y～ N(a\mu+b,a^2\sigma^2)$

总结

对于$F(x)$,概率是函数值；对于$f(x)$，概率是面积
概率为1不一定是必然事件,概率为0不一定是不可能事件,积事件为0不一定为互斥事件
无记忆性说明在结束之前，变量$X$始终服从指数分布