正态分布的前世今生(五)

（六) 开疆扩土，正态分布的进一步发展

19世纪初，随着拉普拉斯中心极限定理的建立与高斯正态误差理论的问世，正态分布开始崭露头角， 逐步在近代概率论和数理统计学中大放异彩。在概率论中，由于拉普拉斯的推动，中心极限定理发展 成为现代概率论的一块基石。而在数理统计学中，在高斯的大力提倡之下，正态分布开始逐步畅行于天下。

1. 论剑中心极限定理

先来说说正态分布在概率论中的地位，这个主要是由于中心极限定理的影响。 1776 年，拉普拉斯开始考虑一个天文学中的彗星轨道的倾角的计算问题，最终的问题涉及 独立随机变量求和的概率计算，也就是计算如下的概率值

在这个问题的处理上，拉普拉斯充分展示了其深厚的数学分析功底和高超的概率计算技巧，他首次引入了 特征函数(也就是对概率密度函数做傅立叶变换)来处理概率分布的神妙方法，而这一方法经过几代概率学家的发展， 在现代概率论里面占有极其重要的位置。基于这一分析方法，拉普拉斯通过近似计算， 在他的1812年发表的名著《概率分析理论》中给出了中心极限定理的一般描述：

[定理 Laplace, 1812] 假设 $ e_i (i=1, \cdots n)$ 为独立同分布的测量误差， 具有均值$\mu$ 和方差 $\sigma^2$。如果 $\lambda_1, \cdots, \lambda_2$ 为常数，$a>0$, 则有

理科专业的本科生学习《概率论与数理统计》这门课程的时候， 除了学习棣莫弗-拉普拉斯中心极限定理，通常还学习如下中心极限定理的一般形式：

[Lindeberg-Levy 中心极限定理] 设$X_1,\cdots, X_n$ 独立同分布，且具有有限的均值 $\mu$ 和方差 $\sigma^2$ ， 则在 $n \rightarrow \infty$ 时,有

多么奇妙的性质，随意的一个概率分布中生成的随机变量， 在序列和(或者等价的求算术平均)的操作之下，表现出如此一致的行为，统一的规约到正态分布。 概率学家们进一步的研究结果更加令人惊讶，序列求和最终要导出正态分布的条件并不需要这么苛刻， 即便$X_1,\cdots, X_n$ 并不独立，也不具有相同的概率分布形式，很多时候他们求和的最终的归宿仍然是正态分布。 一切的纷繁芜杂都在神秘的正态曲线下被消解，这不禁令人浮想联翩。 中心极限定理恐怕是概率论中最具有宗教神秘色彩的定理，如果有一位牧师拿着 一本圣经向我证明上帝的存在，我是丝毫不会买账；可是如果他向我展示中心极限定理并且声称那是神迹， 我会很乐意倾听他的布道。如果我能坐着时光机穿越到一个原始部落中，我也一定带上中心极限定理，并 劝说部落的酋长把正态分布作为他们的图腾。

中心极限定理虽然表述形式简洁，但是严格证明它却非常困难。 中心极限定理就像一张大蜘蛛网，棣莫弗和拉普拉斯编织了它的雏形，可是这张网上漏洞太多，一个多世纪来， 数学家们就像蜘蛛一样前赴后继，努力想把所有的漏洞都补上。 在十九世纪，珀松(Poission)、狄利克莱(Dirichlet)、柯西(Cauchy)、贝塞尔(Bessel)这些大蜘蛛 都曾经试图对把这张网上的漏洞补上。从现代概率论来看角度， 整个十九世纪的经典概率理论并没有能输出一个一般意义下严格的证明。 而真正把漏洞补上的是来自俄罗斯的几位蜘蛛侠：切比雪夫(Chebyshev)、马尔可夫(Markov)和李雅普诺夫(Lyapunov)。 俄罗斯是一个具有优秀的数学传统的民族，产生过几位顶尖的的数学家，在现代概率论的发展中， 俄罗斯的圣彼得堡学派可以算是顶了半边天。 把漏洞补上的严格方案的雏形是从切比雪夫1887年的工作开始的，不过切比雪夫的证明存在一些漏洞。 马尔可夫和李雅普诺夫都是切比雪夫的学生，马尔科夫沿着老师的基于矩法的思路在蜘蛛网上辛勤编织，但洞还是补得不够严实； 李雅普诺夫不像马尔可夫那样深受老师的影响，他沿着拉普拉斯当年提出的基于特征函数的思路，于1901年给出了一个补洞的方法， 切比雪夫对这个方法大加赞赏，李雅普诺夫的证明被认为是第一个在一般条件下的严格证明； 而马尔科夫也不甘示弱，在1913年基于矩法也把洞给补严实了。

20世纪初期到中期，中心极限定理的研究几乎吸引了所有的概率学家，这个定理俨然成为了概率论的明珠，成为了各大概率论 武林高手华山论剑的场所。不知道大家对中心极限定理中的“中心”一词如何理解，许多人都认为"中心"这个词描述的是这个定理的 行为：以正态分布为中心。这个解释看起来确实合情合理，不过并不符合该定理被冠名的历史。 事实上，20世纪初概率学家大都称呼该定理为极限定理(Limit Theorem)，由于该定理在概率论中 处于如此重要的中心位置，如此之多的概率学武林高手为它魂牵梦绕， 于是数学家波利亚(Polya)于1920年在该定理前面冠以"中心"一词，由此后续人们都称之为中心极限定理。

论剑中心极限定理

数学家们总是及其严谨苛刻的，给定了一个条件下严格证明了中心极限定理。数学家就开始 探寻中心极限定理成立的各种条件，询问这个条件是否充分必要条件，并且进一步追问序列和在该条件下以 什么样的速度收敛到正态分布。 1922年 Lindeberg 基于一个比较宽泛容易满足的条件，给中心极限定理提出了一个很容易理解的初等证明。 这个条件我们现在称之为Lindeberg 条件。然后概率学家 Feller 和 Levy 就开始追问Lindeberg 条件是充分必要的吗？ 基于 Lindeberg 的工作， Feller 和 Levy 都于 1935 年独立的得到了中心极限定理成立的充分必要条件， 这个条件可以用直观的非数学语言描述如下：

[中心极限定理充要条件]  假设独立随机变量序列 $X_i$ 的中值为0, 要使序列和 $S=\sum_{i=1}^n X_i$ 的分布函数逼近正态分布，以下条件是充分必要的:

1. 如果 $X_i$相对于序列和$S$的散布(也就是标准差)是不可忽略的，则 $X_i$ 的分布必须接近正态分布
2. 对于所有可忽略的 $X_i$, 取绝对值最大的那一项，相对于可忽略项这个子序列和的散布，这个绝对值也是可忽略的

事实上这个充分必要条件发现的优先权，Feller 和 Levy 之间还出现了一定的争论。 在 Levy 证明这个充分必要条件的过程中， Levy发现了正态分布的一个有趣的性质。 我们在数理统计中都学过，如果两个独立随机变量 $X,Y$ 具有正态分布，则$S=X+Y$ 也具有正态分布。奇妙的是这个定理的逆定理也成立：

[正态分布的血统] 如果 $X,Y$ 是独立的随机变量，且 $S=X+Y$ 是正态分布，那么 $X,Y$ 也是正态分布。

正态分布真是很奇妙，就像蚯蚓一样具有再生的性质，你把它一刀两断，它生成两个正态分布； 或者说正态分布具有及其高贵的优良血统，正态分布的组成成分中只能包含正态分布，而不可能含有其它杂质。 1928 年 Levy 就猜到了这个定理，并使用这个定理于1935年对中心极限定理的充分必要条件作了证明。 但是 Levy 却无法证明正态分布的这个看上去及其简单的再生性质。直到 1936 年 Cramer 才给出了证明。

中心极限定理成为了现代概率论中首屈一指的定理，事实上中心极限定理在现代概率论里面已经不是指一个定理， 而是指一系列相关的定理。 统计学家们也基于该定理不断的完善拉普拉斯提出的元误差理论(the hypothesis of elementary errors)， 并据此解释为何世界上正态分布如此常见。而中心极限定理同时成为了现代统计学中大样本理论的基础。