当前位置：网站首页>Mathematica 数据分析(简明)

Mathematica 数据分析(简明)

2022-08-09 14:52:00 【Chandler_river】

特征统计
- 集中趋势度量
  - 位置平均数
  - 众数
  - 中位数
  - 密度曲线
  - 简单算术平均值
  - 加权算术平均值
- 离中趋势度量
  - 极差与分位差
  - 方差与标准差
    - $D(x)=\int_{-\infty}^{+\infty}[x-E(x)]^2f(x)dx$
    - 简化：
    - 标准化随机变量
      - $X^*=\frac{X-u}{\sigma}$
    - 方差的性质
  - 协方差与相关系数
    - 对于相互独立的变量有 $E\begin{Bmatrix} \begin{bmatrix} X-E(X) \end{bmatrix}\begin{bmatrix} Y-E(Y) \end{bmatrix} \end{Bmatrix}=0$
    - 随机变量的协方差 $cov(X,Y)=E\begin{Bmatrix} \begin{bmatrix} X-E(X) \end{bmatrix}\begin{bmatrix} Y-E(Y) \end{bmatrix} \end{Bmatrix}=E(XY)-E(X)E(Y)$
    - 协方差的性质
      - $\begin{matrix} cov(aX,bY)=abcov(X,Y)\\ cov(C,X)=0\\ cov(X_1+X_2,Y)=cov(X_1,Y)+cov(X_2,Y)\\ D(X\pm Y)=D(X)+D(Y)\pm 2cov(X,Y) \end{matrix}$
    - 相关系数(说明线性相关性）
      - 对变量做标准化， $\rho_{XY}=\frac{cov(X,Y)}{\sqrt{D(X)D(Y)}}$
      - 若，则当且仅当存在常数a,b使 $P\begin{Bmatrix} Y=aX+b \end{Bmatrix}=1$ 时， $\begin{vmatrix} \rho_{XY} \end{vmatrix}=1$
      - 均方误差
        $a_0=\frac{cov(X,Y)}{D(X)}$
        均方误差最小，为 $e=D(Y)(1-\rho_{XY}^2)$
  - 离散系数/变异系数
    - 标准差比平均值
  - 异众比率
  - 样本k阶原点矩
    - $A_k=\frac{1}{n}\sum_{i=1}^nX_i^k,k=1,2,3...$
  - 样本k阶中心矩
    - $B_k=\frac{1}{n}\sum^n_{i=1}(X_i-\bar{X})^k$
- 检验异常数据
  - 经验法则
  - 切比雪夫不等式
    - $P\begin{Bmatrix} |X-E(X)|> \varepsilon \end{Bmatrix}\leq \frac{D(X)}{\varepsilon ^2}$
    - $P\begin{Bmatrix} |X-E(X)|\leq \varepsilon \end{Bmatrix}\geq 1-\frac{D(X)}{\varepsilon ^2}$
  - 大数定律
    - 设随机变量相互独立，且具有相同的期望和方差
    - 记,对任意有
      - $\lim_{n->\infty}P\begin{Bmatrix} |Y_n-u|<\varepsilon \end{Bmatrix}=1$
  - 中心极限理论设随机变量Xi相互独立，且服从同一分布
    - $\lim_{n\rightarrow \infty}P\begin{Bmatrix} \frac{\sum^n_{i=1}X_i-nu}{\sigma \sqrt{n}}\leq x \end{Bmatrix}=\int_{-\infty}^{x}\frac{1}{\sqrt{2\pi}}e^{-t^2/2}dt$
  - 棣莫佛-拉普拉斯定理
  - $\lim_{n\rightarrow \infty}P\begin{Bmatrix} \frac{\sum^n_{i=1}X_i-np}{\sqrt{np(1-p)}}\leq x \end{Bmatrix}=\int _{-\infty}^x\frac{1}{\sqrt{{2\pi}}}e^{-\frac{t^2}{2}}dt=\phi(x)$
  - 设随机变量Xi相互独立且满足参数为p的两点分布
概率分布
- F分布
  - 且X,Y相互独立
    - $F=\frac{X/m}{Y/n}$ 服从自由度为(m,n)的F分布
  - $f(x)=\left\{\begin{matrix} \frac{\Gamma\begin{bmatrix} (m+n)/2 \end{bmatrix}}{\Gamma(m/2)\Gamma(n/2)}(\frac{m}{n})(\frac{m}{n}x)^{\frac{m}{2}-1}(1+\frac{m}{n}x)^{-\frac{1}{2}(m+n)}\\ 0 \end{matrix}\right.$
  - 如 $X\sim t(n)\rightarrow X^2 \sim F(1,n)$
  - $F\sim F(m,n)\rightarrow \frac{1}{F} \sim F(n,m)$
- t分布
  - X服从0-1分布，Y服从卡方分布且X与Y互相独立
    - $T=\frac{X}{\sqrt{Y/n}}$ 服从自由度为n的t分布
  - 概率密度 $f(x)=\frac{\Gamma\begin{bmatrix} (n+1)/2 \end{bmatrix}}{\sqrt{n\pi}\Gamma(n/2)}(1+\frac{x^2}{n})^{-\frac{n+1}{2}},-\infty<x<+\infty$
- 泊松分布
  - 概率质量函数 $P(x=k)=\frac{e^{-\lambda}\lambda ^k}{k!}$
  - 期望 $E(x)=\lambda$
- 卡方分布
  - $f(x)=\left\{\begin{matrix} \frac{1}{2^{n/2}\Gamma(n/2)}x^{\frac{n}{2}-1}e^{-\frac{1}{2}x}& x>0\\ 0&x\leq 0 \end{matrix}\right.$
  - - $\Gamma(a+1)=a\Gamma(a)$
    - $\Gamma(n)=(n-1)!$
    - $\Gamma(\frac{1}2{})=\sqrt{\pi}$
  - $\begin{matrix} E(\chi ^2)=n\\ D(\chi^2)=2n\\ \chi_1^2,\chi_2^2\sim \chi^2(m),\chi^2(n)\rightarrow \chi_1^2+\chi_2^2 \end{matrix}$ 服从于\chi^2(m+n)
- 正态分布
  - $f(x)=\frac{1}{\sqrt{2\pi \sigma ^2}}e^{-\frac{(x-u)^2}{2 \sigma ^2}}$
  - 是的平均值， $\sigma ^2$ 是的方差
  - 三原则
    - $\begin{matrix} (u-\sigma ,u+\sigma) & 0.6827\\ (u-2\sigma,u+2\sigma)& 0.9544\\ (u-3\sigma,u+3\sigma) & 0.9974 \end{matrix}$
- 伯努利分布
  - 概率质量函数 $P(x)=p^x(1-p)^{1-x}$
  - 期望 $E(x)=\sum xP(x)=p$
  - 方差 $Var(x)=\sum_{i=1}^\infty [x_i - E(X)]p_i$
- 二项分布
  - 概率质量函数 $P(x)=C_n^x p^x (1-p)^{n-x} = \frac{n!}{x!(n-x)!}p^x (1-p)^{n-x}$
  - 期望
  - 方差 $np\begin{pmatrix} 1-p \end{pmatrix}$
- 抽样分布
  - 单正态总体的抽样分布
  - 双正态总体的抽样分布
  - 一半总体抽样分布的极限分布
数理统计
- 总体与总体分布
- 样本与样本分布
- 常用统计分布
  - 分位数
    - $P(X)>F_\alpha=\alpha$
参数估计
- 点估计问题
- 置信区间
假设检验
方差分析和回归分析
降维
过采样与欠采样
贝叶斯统计