正态分布的前世今生(七)

(七)正态魅影

Everyone believes in it: experimentalists believing that it is a
mathematical theorem, mathematicians believing that it is an empirical fact.
---- Henri Poincare

E.T. Jaynes 在《Probability Theory, the Logic of Science》提出了两个问题:

1. 为什么正态分布被如此广泛的使用？
2. 为什么正态分布在实践使用中非常的成功？

E.T. Jaynes 指出，正态分布在实践中成功的被广泛应用，更多的是因为正态分布在数学方面的具有多方面的稳定性质，这些性质包括：

• 两个正态分布密度的乘积还是正态分布
• 两个正态分布密度的卷积还是正态分布，也就是两个正态分布的和还是正态分布
• 正态分布的傅立叶变换还是正态分布
• 中心极限定理保证了多个随机变量的求和效应将导致正态分布
• 正态分布和其它具有相同均值、方差的概率分布相比，具有最大熵

前三个性质说明了正态分布一旦形成,就容易保持该形态的稳定， Landon 对于正态分布的推导也表明了， 正态分布可以吞噬较小的干扰而继续保持形态稳定。后两个性质则说明， 其它的概率分布在各种的操作之下容易越来越靠近正态分布。 正态分布具有最大熵的性质，所以任何一个对指定概率分布的操作， 如果该操作保持方差的大小，却减少已知的知识，则该操作不可避免的增加概率分布的信息熵， 这将导致概率分布向正态分布靠近。

正由于正态分布多种的稳定性质，使得它像一个黑洞一样处于一个中心的位置， 其它的概率分布形式在各种操作之下都逐渐向正态分布靠拢，Jaynes 把它描述为概率分布中重力现象(gravitating phenomenon)。

我们在实践中为何总是选择使用正态分布呢，正态分布在自然界中的频繁出现只是原因之一。Jaynes 认为还有一个重要的原因 是正态分布的最大熵性质。在很多时候我们其实没有任何的知识知道数据的真实分布是什么， 但是一个分布的均值和方差往往是相对稳定的。因此我们能从数据中获取到的比较好的知识就是均值和方差， 除此之外没有其它更加有用的信息量。因此按照最大熵的原理，我们应该选择在给定的知识的限制下，选择熵最大的 概率分布，而这就恰好是正态分布。即便数据的真实分布不是正态分布，由于我们对真实分布 一无所知，如果数据不能有效提供除了均值和方差之外的更多的知识，那这时候正态分布就是最佳的选择。

当然正态分布还有更多令人着迷的数学性质，我们可以欣赏一下:

• 二项分布 $B(n,p)$ 在 $n$很大逼近正态分布 $N(np, np(1-p))$
• 泊松分布 $Poisson(\lambda)$ 在 $\lambda$ 较大时逼近正态分布 $N(\lambda,\lambda)$
• $\chi^2_{(n)}$在 $n$很大的时候接近正态分布 $N(n,2n)$
• $t$分布在 $n$ 很大时接近标准正态分布 $N(0,1)$
• 正态分布的共轭分布还是正态分布
• 几乎所有的极大似然估计在样本量$n$增大的时候都趋近于正态分布
• Cramer 分解定理(之前介绍过)：如果 $X,Y$ 是独立的随机变量，且 $S=X+Y$ 是正态分布，那么 $X,Y$ 也是正态分布
• 如果 $X,Y$ 独立且满足正态分布$N(\mu, \sigma^2)$, 那么 $X+Y$, $X-Y$ 独立且同分布，而正态分布是唯一满足这一性质的概率分布
• 对于两个正态分布$X,Y$, 如果$X,Y$ 不相关则意味着$X,Y$独立，而正态分布是唯一满足这一性质的概率分布