【概率论】客观概率论 私人回顾

本科期间学过概率论，随机过程，读研期间又学了随机过程。这次做一个总结和回顾，把概率论要紧的知识点和我的理解放在这篇blog里。这是一篇全文字不加图的blog，如果没有学过概率论来看我写的这个东西，很可能看一段就看不懂了。选择的是浙大版的《概率论与数理统计》第四版，由于我是工科生，不是数学系，可能对概念的理解不如数学系理解的深入。

这一篇blog是概率论基础和客观概率。

一、 概率公理化

略过高中的概率理论（也就是概率基础知识，基本概念）不谈，直接讲出知识点。这些基础的知识点包括，概率的定义，样本空间，随机事件（构成一个集合），建立在集合论基础上的∩、∪、差集的概率及相互关系，古典等概模型，条件概率，乘法公式，全概率模型，贝叶斯公式，事件独立公式。

条件概率，乘法公式：针对所有事件都成立的公式，可以当做公理。

全概率公式：全概率公式里给出了一种模型，也就是将整个样本空间拆分成多块，事件在整个样本空间中的概率就是在各个分块上的条件概率之和，体现的是整分的思想。

贝叶斯公式：由全概率公式得出，一开始看到贝叶斯公式的时候我感觉有点费解，实际上它给出了两个事件之间的关系，两个事件A和B，相互计算条件概率，之间存在必然的联系。这个必然的联系就是A和B本身在样本空间中的概率。这样看来，四个变量，得其三个，剩下一个必然求得出。

期望：本质是在下一次时间发生时，事件的理论化的，绝对化的取值，体现了绝对性、一致性、集中性、线性。由于期望本身就是一个绝对化、理想化的函数，所以满足复合函数的性质。也满足叠加性。

方差：衡量了样本空间的差异化，衡量的是不一致性、个体性、非线性。但是叠加性是满足的。

二、 客观概率和主观概率

概率论分客观概率和主观概率，即贝叶斯概率理论。从客观角度讲，概率是一个样本空间中必然的性质；拿抛掷硬币为例，我们都知道概率基本上是一半对一半，但是，当我们确定了手抛出硬币的力度的大小，硬币距离桌面的高度，硬币翻转的角速度，等等信息之后，我们会确定地根据物理公式计算出这个硬币到底是正面朝上还是反面朝上，也就是说，在确定了某一次事件的时候，事件就确定下来，和概率没有一毛钱关系。基于这样的条件，我们能否构造一种机器，确保根据计算机计算得到的结果，决定机器抛出时的受力，高度，等等各种参数变量，使每一次抛出的硬币结果都是正面呢？这当然理论上是可行的。但是实际的空间当中有太多的因素影响抛硬币的结果，风速、空气密度、硬币的材质、重量、桌面的弹性，等等。也就是说，现阶段我们不可能构造出这样的一种机器来，使抛掷结果始终为正面，可以理解为影响因素有无限维度。这样，不论怎么抛掷，甚至我们无法左右抛掷的概率可否正面大一些，反面小一些。这样看来，概率是这个样本空间的固有性质，无法改变，所有的概率讨论的都是不可控的样本空间。

反过来想，当我们预测下一次抛掷结果的时候，根据的是之前的经验，比如已经抛掷1000下，502次为正，498次为反，所以我们可以预测下一次的为正的可能性和为反差不多。归结为概率，也就是说我们可以根据概率去估计未来的事件到底是样本空间中的哪一个。有估计就有检验，如果看估计的对不对，就是要对估计的结果和真实的情况做对比，这种真实情况是确定的，只不过我们太无能，无法根据已有信息得出确定的结果来。这个估计又可以称为对下一次情况发生的假设，又称假设检验。假设的结果从估计而来。这样对未来情况的判知就是主观概率。

再举一个例子，通信当中，我们从信源发送1或0 信号到信宿，比如说此时发送了一个1，但是由于热噪声、外界干扰、信号衰减等作用，导致了在信宿接收信号的时候，完全无法判断到底是1还是0，全靠蒙了，蒙对的概率是一半。之所以蒙，是因为人类无法掌握影响信号结果的各种影响因素到底是如何叠加在一起的。但是在信源发送1的时候加一个功率放大器，使信号的振幅一点一点的，从1.1倍，到2倍，再到10倍，最后放到原来的100倍大，其它噪声都是加性噪声，这时候信宿判断的结果也就从一开始完全靠蒙到60%几率接收对了，再到90%几率接收对了，最后到99.999%接收对了传来的1信号。在这个例子中，主要体现了一个随机猜测的信号是如何一点点变成确定信号的，主要就是我们对事件的控制，我们对事件的控制力越强，结果就越确定，反之则弱。

综合可以看出，概率学的诞生就是因为人类的无知。概率本身就是对人类对某件事的无知的衡量，也就是说，概率只是一个测度，是在西格玛代数下，范围为 0 到1的一个测度。如果人类能够掌握整个宇宙所有的知识，我们可以掌握抛掷硬币时所有的影响因素，那么就完全不用衍生出概率学的学科了，每次对以后事件的走向也是确定性的，可预测的，我就是个机械唯物主义者。但这却完全做不到。有时候我会感觉，概率学衡量了人类对宇宙认识的深浅，由于我们无知，所以只能从无知当中获取一些知识。扯远了。

我们在讨论概率的时候，总喜欢假设某个事件，某一些事件是相互之间独立同分布，这里事件的独立性是保证能讨论下去的前提，这就类似于线性代数里的线性空间，要保证等分均匀且等比缩放，信号与系统里的线性时不变系统，让系统的性质始终处于不变的状态。可实际上的环境是，自然界很少有独立事件，可能根本就没有什么独立事件，我现在打下了这些文字，美国有个人正在强杀黄种人，这两者之间真的没有关系吗？就像蝴蝶效应一样，只是人们没有发现这种必然的关系罢了。就像计算机产生的psudo 序列一样，看似随机不可预测，其实都是计算机一个个的算出来的，看似独立，只不过透漏出人类的无知。

三、常用分布

伯努利二项分布：这个分布在很多实验测量时用到，在机器学习中，对学习模型结果的评估只有两个结果，预测正确和失败，多次预测的模型就是二项分布，用于根据多次预测结果估计模型的真实效能。

泊松分布：分布公式里有常数e，表明这个分布是自然界的常态分布，体现了不确定事件的叠加性，以及不确定性的叠加性。和二项分布之间是极限关系，因为两者都是0-1分布的加和，只不过伯努利分布式n个0-1分布相加，泊松分布是无限个，所以当n逼近无限时，无限关系自然存在。

正态分布：也是一种自然分布。泊松分布是0-1分布的加和，而正太分布是随便一个连续分布的加和的结果。

四、二维分布

二维分布和边缘分布，我认为可以对应到二元函数和二元函数给定其中一元确定值，得出的一元函数。二元实数函数的取值范围为实数域，而二维分布的取值则是样本空间，样本空间连群都算不上，只是个集合。边缘分布则是全概率公式的一个特例应用；同样地，得知二元函数的偏导数就可以得到x轴或y轴上的一元函数。

二维分布的随机变量之间的独立性，类似于考察二元函数的两个变量是否满足正交性，若不正交则相互依赖。

连续二维分布中的两个变量X和Y的加和得到的新变量Z的分布，等于各自分布的卷积。我在信号与系统的blog里讲过了卷积的物理意义，卷积的本质就是线性叠加。两个变量相加，就是满足线性叠加的条件，而概率密度本身的含义就是强度，一个变量去某个值的强度，从二维分布可以扩展到多维分布，也是一个道理。

从离散的二维分布中的两个变量加和得到新变量的过程，就是卷积离散的最好体现，卷积本质上是连续化的加权加和。

二维分布中，X和Y的乘除得到的新的变量Z的分布，就是利用复合函数的性质转化一下，得到一个一维分布。不仅仅是乘除，其它的形式可替换的变量都是可以按照复合函数方式来求解的，包括上面的加和，只不过复合函数求加和，恰巧变成了卷积而已。

五、概率度量

方差和期望不赘述。协方差从定义上来看，如果变量X和Y无关，甚至独立，那么当其中一个变量取到某个值时，另一个变量依然在随机游走，则可以说协方差取值比较任意，否则不够任意。协方差满足线性。

这个概念从线性空间处比较容易类比，线性相关和线性无关是相反的两个概念，随机变量的相关性和不相关性也是这样；但是两个向量如果正交，则一定线性无关，这好比两个随机变量独立，就一定是不相关的，但是不独立就一定相互有关联。相关是一个弱概念，它只是指明了两个随机变量之间一定存在某些不一样的地方，但是有时候也会体现出一些一致性，而比相关性更强则是确定性关系，两个随机变量之间就完全可以拿一个确定函数来描述其间的关系了。不相关的意思就是两个变量之间不存在相互关联；而从具体的某个个体来看，这两个变量可能还有一些关联，但是从总体看来，两者没有关联。独立性的含义也很明显，我们不可能拿出一个函数来描述两个变量之间的关系，因为这两个变量之间没有一丝关系，究其个体而言，也是没有任何关联。所以相关性是专门针对随机变量而言的。

概率度量扩展开来，随机变量的次方，称为阶数，不变称为原点，期望称为中心，则可得到一系列度量矩，这些矩构成协方差矩阵。其中所有的元素都是二阶中心矩。这里解释一下协方差矩阵，从线性空间角度讲，该矩阵对应的线性空间是若干随机变量张成的线性空间，其取值都是各自的样本空间。若两两互不相关，该矩阵就成了一个对角阵，但是如果两两存在相关，矩阵就变得多样化起来，也就是说，协方差矩阵对应的线性空间就是这N个随机变量相互关系的所有可能性张成的空间。协方差矩阵的本质就是描述这N个随机变量之间的相互关系。

六、大数定理

弱大数定理：频率趋于收敛，说明这个极限是一个收敛的稳定的值，是建立在客观实验基础上的归纳和总结，符合客观概率论。大数定理是客观概率论的基础，其基本思想仍然是极限，从具体的频率走向抽象的概率的过程。

独立同分布中心极限定理：独立是前提，同分布是关键，加和结果是高斯分布，之前在高斯分布处也提到了。
李雅普诺夫定理：将独立同分布条件改为独立条件，称只要满足一个比同分布更宽松的条件，同样可以加和得到高斯分布，所以同分布是一个强条件。
迪莫佛-拉普拉斯定理：建立了二项分布和高斯分布之间的关系，指出二项分布的极限是泊松分布，但是之前提到了二项分布按照另外一种逼近是泊松分布，如果画一个图就可以知道了，二项分布是正态分布和泊松分布之间的过度形式。