一、数学期望

• 离散型随机变量：$X$的分布律为$$P\{X=x_i\}=p_i,i=1,2,3,\dots$$若级数$\sum _{i=1}^{\infty }{x}_i{p}_i$绝对收敛，则该级数的和称为$X$的数学期望，记作$$E(X)=\sum _{i=1}^{\infty }{x}_i{p}_i.$$
• 连续型随机变量：$X$的密度函数为$f(x)$，若积分${\int }_{-\infty }^{+\infty }xf(x)dx$绝对收敛，则积分为$X$的数学期望，记作$$E(X)={\int }_{-\infty }^{+\infty }xf(x)dx.$$
• 随机变量函数的数学期望：设$Y$是随机变量$X$的函数$Y=g(X)$（$g(x)$是连续函数），则

1. $X$是离散型随机变量：若级数$\sum _{i=1}^{\infty }g(x_i)p_i$绝对收敛，则$$E(Y)=E[g(X)]=\sum _{i=1}^{\infty }g(x_i)p_i.$$
2. $Y$是连续型随机变量：若积分${\int }_{-\infty }^{+\infty }g(x)f(x)dx$绝对收敛，则$$E(Y)=E[g(X)]={\int }_{-\infty }^{+\infty }g(x)f(x)dx.$$

• 多个随机变量函数的数学期望：设$Z=g(X,Y)$，则

1. $(X,Y)$是二维离散型随机变量：$$E(Z)=E[g(X,Y)]=\sum _i\sum _{j}g(x_i,y_j)p_{ij}.$$
2. $(X,Y)$是二维连续型随机变量：$$E(Z)=E[g(X,Y)]={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }g(x,y)f(x,y)dxdy.$$特别的，当$Z=g(X,Y)=X$或$Z=g(X,Y)=Y$时，有$$\begin{gathered} E(Z)=E(X)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }xf(x,y)dxdy={\int }_{-\infty }^{+\infty }x{f}_X(x)dx \\ E(Z)=E(Y)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }yf(x,y)dxdy={\int }_{-\infty }^{+\infty }y{f}_Y(y)dy. \end{gathered}$$

• 数学期望的性质：$E(X),E(Y)$分别是随机变量$X,Y$的数学期望。

1. $E(c)=c$，$c$是常数。
2. $E(cX)=cE(X)$，$c$是常数。
3. $E(X+Y)=E(X)+E(Y).$（可以推广到$n$个）
4. 若$X,Y$相互独立，则$E(XY)=E(X)E(Y).$（可以推广到$n$个）

• 常用分布的数学期望：

二、方差

• 方差与标准差：设$X$是随机变量，若$E[X-E(X){]}^2$存在，则称$E[X-E(X){]}^2$为$X$的方差，记作$$D(X)=E[X-E(X){]}^2.$$称$\sqrt{D(X)}$为$X$的标准差或均方差，记作$\sigma (X).$
• 离散型随机变量：$$D(X)=\sum _{i=0}^{\infty }[x_i-E(X){]}^2{p}_i.$$
• 连续型随机变量：$$D(X)={\int }_{-\infty }^{+\infty }[x-E(X){]}^{2}f(x)dx.$$
• 方差的计算公式：$$D(X)=E(X^2)-[E(X){]}^2.$$
• 方差的部分性质：设随机变量$X,Y$的方差$D(X),D(Y)$存在。

1. $D(c)=0$，$c$是常数。
2. $D(cX)=c^{2}D(X)$，$c$是常数。
3. $D(X\pm Y)=D(X)+D(Y)\pm 2E[(X-E(X))(Y-E(Y))].$
4. 若$X,Y$相互独立，则$D(X\pm Y)=D(X)+D(Y).$

• 常用分布的方差：

• 关于正态分布的重要结论：

1. 正态分布随机变量的密度函数中的两个参数$\mu ,\sigma$分别是随机变量的数学期望和标准差。
2. 若$X_i\sim N({\mu }_i,{\sigma }_i^2),i=1,2,3,\dots$，且它们相互独立，则它们的线性组合$c_1{X}_1+c_2{X}_2+c_3{X}_3+\dots +c_n{X}_n$，（$c_1,c_2,c_3,\dots c_n$是不全为0的常数）仍然服从正态分布，且有$$c_1{X}_1+c_2{X}_2+c_3{X}_3+\dots +c_n{X}_n\sim N(\sum _{i=1}^n{c}_i{\mu }_i,\sum _{i=1}^n{c}_i^2{\sigma }_i^2).$$

三、协方差与相关系数

• 协方差：设$(X,Y)$是二维随机变量，则$E\{[X-E(X)][Y-E(Y)]\}$称为$X,Y$的协方差，记作$cov(X,Y)$，即 $$cov(X,Y)=E\{[X-E(X)][Y-E(Y)]\}.$$

1. 特别地，有$$\begin{gathered} cov(X,X)=E\{[X-E(X)][X-E(X)]\}=D(X) \\ cov(Y,Y)=E\{[Y-E(Y)][Y-E(Y)]\}=D(Y). \end{gathered}$$故方差是协方差的特殊情况。
2. 由协方差和方差的性质可得$$D(X\pm Y)=D(X)+D(Y)\pm 2cov(X,Y).$$
3. 协方差性质：
   (1) 若$X,Y$相互独立，则$cov(X,Y)=0.$
   (2) $cov(X,Y)=cov(Y,X).$
   (3) $cov(aX,bY)=abcov(X,Y).$
   (4) $cov(X_1+X_2,Y)=cov(X_1,Y)+cov(X_2,Y).$

• 协方差计算公式：$$cov(X,Y)=E(XY)-E(X)E(Y).$$
• 若$(X,Y)$是二维离散型随机变量，则$$cov(X,Y)=\sum _i\sum _j[x_i-E(X)][y_j-E(Y)]p_{ij}.$$
• 若$(X,Y)$是二维离散型随机变量，则$$cov(X,Y)={\int }_{-\infty }^{+\infty }{\int }_{-\infty }^{+\infty }[x-E(X)][y-E(Y)]f(x,y)dxdy.$$
• 相关系数（标准协方差）：$${\rho }_{XY}=\frac{cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}.$$
• 关于相关系数的定理：设$D(X)>0,D(Y)>0$，${\rho }_{XY}$为$(X,Y)$的相关系数。

1. 若$X,Y$相互独立，则${\rho }_{XY}=0.$
2. $|{\rho }_{XY}|\le 1.$
3. $|{\rho }_{XY}|=1.$的充分必要条件为存在常数$a,b$使（$X,Y$线性相关）$$P\{X=aY+b\}=1,a\ne 0.$$

• 当${\rho }_{XY}=0$时，称$X,Y$不相关。由定理1可知$X,Y$相互独立时，${\rho }_{XY}=0$，即$X,Y$不相关，但反之不一定成立，即$X,Y$不相关，$X,Y$不一定相互独立。
• 当$(X,Y)$是二维正态分布随机变量时，$X,Y$不相关与$X,Y$相互独立是等价的。

四、矩、协方差矩阵

• 矩：

1. $k$阶原点矩：$$E(X^k),k=1,2,\dots$$$X$的一阶原点矩为$X$的数学期望。
2. $k$阶中心矩：$$E[X-E(X){]}^k,k=1,2,\dots$$$X$的二阶中心矩为$X$的方差。
3. $k+l$阶混合矩：$$E(X^k{Y}^l),k,l=1,2,\dots$$
4. $k+l$阶混合中心矩：$$E\{[X-E(X){]}^k[Y-E(Y){]}^l\},k,l=1,2,\dots$$$X$的1+1阶中心矩为$X$的协方差。

• $n$维随机变量的协方差矩阵：设$n$维随机变量$(X_1,X_2,\dots X_n)$的1+1阶混合中心矩${\sigma }_{ij}=cov(X_i,Y_j)=E\{[X_i-E(X_i)][Y_j-E(Y_j)]\},i,j=1,2,3,\dots$都存在，则称矩阵 $$\Sigma =\left(\begin{array}{cccc}{\sigma }_{11}& {\sigma }_{12}& \dots & {\sigma }_{1n}\\ {\sigma }_{21}& {\sigma }_{22}& \dots & {\sigma }_{2n}\\ ⋮& ⋮& & ⋮\\ {\sigma }_{n1}& {\sigma }_{n2}& \dots & {\sigma }_{nn}\end{array}\right)$$为$n$维随机变量$(X_1,X_2,\dots X_n)$的协方差矩阵。由${\sigma }_{ij}={\sigma }_{ji}$可知$\Sigma$是一个对称矩阵。