概率论基础 - 9 - 中心极限定理

中心极限定理（Central Limit Theorem，CTL），是指概率论中讨论随机变量序列部分和分布渐近于正态分布的一类定理。。

概述

定理是数理统计学和误差分析的理论基础，指出了大量随机变量近似服从正态分布的条件。它是概率论中最重要的一类定理，有广泛的实际应用背景。在自然界与生产中，一些现象受到许多相互独立的随机因素的影响，如果每个因素所产生的影响都很微小时，总的影响可以看作是服从正态分布的。中心极限定理就是从数学上证明了这一现象。 ——百度百科

• 中心极限定理（CLT）指出，如果样本量足够大，则变量均值的采样分布将近似于正态分布，而与该变量在总体中的分布无关。

独立同分布

• 设随机变量X_1, X_2,\dots,X_n独立同分布，且具有数学期望\mu和方差\sigma^2，前n个变量之和为\overline S = \sum\limits_{i = 1}^n {{X_i}} \\
• 那么\overline S_n的期望和方差为n\mu和n\sigma^2，\overline S_n的标准化变量为：

定义

• 中心极限定理的内容为：Y_n的概率分布函数F_n(x)对于任意x满足：

证明

通过观察某个分布的采样均值可以发现近似服从正态分布，我们的目标就是证明这个变量与正态分布的特征函数相同

• 引入一些特征函数的结论
• 正态分布的特征函数：

标准正态分布的特征函数

• 随机变量X_i的特征函数用{\varphi_x (t)}表示
• \overline S_n的特征函数为：

独立变量和的特征函数

• X_i均值\overline X=\frac{1}{n}\overline {S_n}的特征函数：

常数线性变换的特征函数

• Y_n=\frac{\overline S_n - n\mu}{\sqrt n\sigma}=\frac{\overline X - \mu}{\frac{\sigma}{\sqrt n}}=\frac{\sqrt n}{\sigma}\overline X - \frac{\sqrt n}{\sigma} \mu 的特征函数：

思路1

• 取对数：

• 令p=\frac{t}{\sigma \sqrt{n}}, 当 n \rightarrow \infty 时, p \rightarrow 0 又 ：

• 有 ：

思路2

• \phi(t) 为 \eta_{i} 的特征函数
• \phi\left(\frac{t}{\sigma \sqrt{n}}\right) 在0点处的泰勒展开形式为:

• 所以, \varphi(t) 为:

都得出结论

• 即有：

• Y_n特征函数与正态分布相同，故有当 n \rightarrow \infty时，Y_n服从正态分布的结论

应用思路

• 均值方差为\mu和\sigma^2，的独立同分布的随机变量X_i前n项之和\overline S_n的标准变化量Y_n，当n充分大时，其分布近似于标准正态分布
• 即在n充分大时，\overline S_n分布近似于N(n\mu,n\sigma^2)
• 一般情况下，很难求出n个随机变量之和的分布函数。因此当n充分大时，可以通过正态分布来做理论上的分析或者计算

独立不同分布

• 相互独立, 具有数学期望和方差:

• 记: B_{n}{2}=\sum_{k=1}{n} \sigma_{k}^{2} 若存在正数 \delta, 使得当 n \rightarrow \infty 时，有：

• 则随机变量之和 \overline{S X_{n}}=\sum_{k=1}^{n} X_{k} 的标准变化量:

• 概率分布函数 F_{n}(x) 对于任意 x 满足:

• 其物理意义为： 相互独立的随机变量 X_{1}, X_{2}, \cdots, X_{n}, \cdots 之和 \overline{S X_{n}}=\sum_{k=1}^{n} X_{k} 的衍生随机变量序列 Z_{n}=\frac{\overline{S X_{n}}-\sum_{k=1}^{n} \mu_{k}}{B_{n}}, 当 n 充分大时, 其分布近似与标准正态分布。
• 这里并不要求 X_{1}, X_{2}, \cdots, X_{n}, \cdots 同分布。

棣莫佛－拉普拉斯定理

• Demoiver-Laplace 定理：设随机变量序列 \eta_{n}, n=1,2, \ldots 服从参数为 (n, p) 的二项分布，其中 0<p<1x, 有:

• 该定理表明, 正态分布是二项分布的极限分布。当 n 充分大时，可以利用正态分布来计算二项分布的概率。

参考资料

• https://baike.baidu.com/item/中心极限定理/829451?fr=aladdin
• https://baijiahao.baidu.com/s?id=1665261046335447411&wfr=spider&for=pc
• http://www.huaxiaozhuan.com/数学基础/chapters/2_probability.html
• https://www.zhihu.com/question/25956080/answer/1375064657
• https://zhuanlan.zhihu.com/p/93738110