第二章 一维随机变量

2-1 一维随机变量的定义

当考虑变量 $x$ 的取值频率时，其就成了一个一维随机变量 $X$。

2-2 概率密度函数

概率分布函数：$F_X(x)=P(\{X\le x\})$

性质：

1. $0\le F_X(x)\le 1$
2. ${\lim }_{x\to +\infty }{F}_X(x)=1$
3. ${\lim }_{x\to -\infty }{F}_X(x)=0$
4. $F_X(x)$ 单调递增
5. $F_X(x)$ 右连续，即 ${\lim }_{x\to a^{+}}{F}_X(x)=F_X(x)$
6. $P(a<X\le b)=F_X(b)-F_X(a)$
7. $P(X=a)=F_X(a)-F_X(a^{-});P(a\le X\le b)=F_X(b)-F_X(a^{-})$

概率密度函数定义为概率分布函数的广义导数： $$f_X(x)=\frac{d{F}_X(x)}{dx}$$

性质：

1. $f_X(x)\ge 0$
2. ${\int }_{-\infty }^{\infty }{f}_X(x)dx=1$
3. $P(a\le X<b)={\int }_a^{b^{-}}{f}_X(x)dx$
4. $F_X(x)={\int }_{-\infty }^x{f}_X(x)dx$

2-3 数字特征

• 均值: $m_X=E\{X\}={\int }_{-\infty }^{\infty }x{f}_X(x)\mathrm{d}x$
• 均方: ${\psi }_X^2=E\left\{X^2\right\}={\int }_{-\infty }^{\infty }{x}^2{f}_X(x)\mathrm{d}x$
• 方差: ${\sigma }_X^2=\mathrm{Var}\{X\}=E\{X^2\}-E^2\{X\}=E\left\{{\left(X-m_X\right)}^2\right\}$ $={\int }_{-\infty }^{\infty }{\left(x-m_X\right)}^2{f}_X(x)\mathrm{d}x={\psi }_X^2-m_X^2$
• $n$ 阶原点矩: $E\left\{X^n\right\}={\int }_{-\infty }^{\infty }{x}^n{f}_X(x)\mathrm{d}x$
• $n$ 阶鿇对原点矩: $E\left\{|X{|}^n\right\}={\int }_{-\infty }^{\infty }|x{|}^n{f}_X(x)\mathrm{d}x$
• $n$ 阶中心矩: $E\left\{{\left(X-m_X\right)}^n\right\}={\int }_{-\infty }^{\infty }{\left(x-m_X\right)}^n{f}_X(x)\mathrm{d}x$
• $n$ 阶绝对中心矩: $E\left\{{\left|X-m_X\right|}^n\right\}={\int }_{-\infty }^{\infty }{\left|x-m_X\right|}^n{f}_X(x)\mathrm{d}x$

2-3-3 熵

• 事件的信息量：$I(A)=-{\log }_{c}P(A)$
• 一维随机变量的熵：$$\begin{gathered} H(X)=E\{I(X)\}=-{\sum }_{n=1}^{N}P(x_n){\log }_{c}P(x_n) \\ =-{\int }_{-\infty }^{\infty }{f}_X(x){\log }_c{f}_X(x)dx \end{gathered}$$

常见分布

对数分布：$P(k)=-\frac{q^k}{k\lg p}$

Cauchy分布：

• 概率密度函数：$f_X(x)=\frac{\alpha /\pi }{x^2+{\alpha }^2},\alpha >0$
• 概率特征函数：${\Phi }_X(\omega )=e^{-\alpha |\omega |}$

Laplace分布：

• 概率密度函数：$f_X(x)=\frac{\alpha }{2}{e}^{-\alpha |x|},-\infty <x<\infty ,\alpha >0$
• 概率特征函数：${\Phi }_X(\omega )=\frac{{\alpha }^2}{{\omega }^2+{\alpha }^2}$

Poisson分布：

• 概率质量函数：$P_k=\frac{{\alpha }^k}{k!}{e}^{-\alpha },k=0,1,2,\dots$
• 概率生成函数：$G_X(z)=e^{\alpha (z-1)}$
• 均值：$E\{X\}=\alpha$
• 方差：$Var\{X\}=\alpha$

指数分布：

• 概率分布函数：$F_X(x)=1-e^{-\lambda x}$
• 概率密度函数：$f_X(x)=\lambda e^{-\lambda x},x\ge 0$
• 概率特征函数：${\Phi }_X(\omega )=\frac{\lambda }{\lambda -j\omega }$

概率质量函数和生成函数只能描述离散，而分布函数、密度函数和特征函数可以描述离散和连续

• 概率质量函数：$P(x_i)$，实际上是离散的概率密度函数
• 概率生成函数：$G_X(z)={\sum }_{k=0}^{\infty }{z}^{k}P(x_k)$，概率质量函数的 z 变换
• 概率分布函数：$F_X(x)=P(\{X\le x\})$，离散和连续都有
• 概率密度函数：$f_X(x)=\frac{d{F}_X(x)}{dx}$，pdf
• 概率特征函数：${\Phi }_X(\omega )={\int }_{-\infty }^{\infty }{f}_X(x)e^{j\omega x}dx=E\{e^{j\omega k}\}={\sum }_{k=0}^{\infty }{e}^{j\omega k}{P}_k=G_X(e^{j\omega })$，概率密度函数的 负Fourier 变换

第三章 多维随机变量

联合概率分布函数中令某个分量趋于无穷大，就得到边界概率分布函数

• 概率密度函数：$f(x,y)$，有 ${\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }f(x,y)dxdy=1$
• 联合概率密度函数：为联合概率分布函数的 n 阶导数
• 联合概率分布函数：$F_X(x)=P(X\le x),F_{XY}(x,y)={\int }_{-\infty }^y{\int }_{-\infty }^{x}f(x,y)dxdy$
• 边界概率密度函数：$f_X(x)={\int }_{-\infty }^{+\infty }f(x,y)dy$

3-3 数字特征

• 均值: $m_X=E\{X\}={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }x{f}_{XY}(x,y)\mathrm{d}x\mathrm{d}y$

• 均方：${\psi }_X^2={\int }_{-\infty }^{\infty }{\int }_{-\infty }^{\infty }{x}^2{f}_{XY}(x,y)\mathrm{d}x\mathrm{d}y$

• 方差：${\sigma }_X^2={\psi }_X^2-m_X^2$

• 相关矩: $R_{X_1{X}_2}=E\left\{X_1{X}_2\right\}={\int }_{{\mathbb{R}}^2}{x}_1{x}_2{f}_{X_1{X}_2}\left(x_1,x_2\right)\mathrm{d}{x}_1\mathrm{d}{x}_2$

• 协方差: $C_{X_1{X}_2}=\mathrm{Cov}\left\{X_1,X_2\right\}=E\left\{\left(X_1-m_{X_1}\right)\left(X_2-m_{X_2}\right)\right\}$ $=R_{X_1{X}_2}-m_{X_1}{m}_{X_2}$

• 相关系数: ${\rho }_{X_1{X}_2}=\frac{C_{X_1{X}_2}}{\sqrt{C_{X_1{X}_1}{C}_{X_2{X}_2}}}$

• 联合原点矩: $E\left\{X_1^m{X}_2^n\right\}={\int }_{{\mathbb{R}}^2}{x}_1^m{x}_2^n{f}_{X_1{X}_2}\left(x_1,x_2\right)\mathrm{d}{x}_1\mathrm{d}{x}_2$

• 联合中心矩: $E\left\{{\left(X_1-m_{X_1}\right)}^m{\left(X_2-m_{X_2}\right)}^n\right\}={\int }_{{\mathbb{R}}^2}{\left(x_1-m_{X_1}\right)}^m{\left(x_2-m_{X_2}\right)}^n{f}_{X_1{X}_2}\left(x_1,x_2\right)\mathrm{d}{x}_1\mathrm{d}{x}_2$

• 相关性：协方差不恒为 0

• 独立性：边界密度函数之积等于联合密度函数

3-4 多维随机变量分量间的关系

• 条件概率密度函数：$f_{X|Y}(x|y)=\frac{f_{XY}(x,y)}{f_Y(y)}$
• 条件期望：$E\{X|Y\}={\int }_{-\infty }^{\infty }x{f}_{X|Y}(x|Y)dx$

复随机变量

一维复随机变量：$Z=X+jY$

• 均值：$m_Z=E\{X\}+jE\{Y\}$
• 方差：${\sigma }_Z^2=E\{X^2\}+E\{Y^2\}-|m_Z{|}^2$