条件概率和全概率和贝叶斯公式适用范围,全概率公式和贝叶斯公式适用于哪些问题

  条件概率和全概率和贝叶斯公式适用范围,全概率公式和贝叶斯公式适用于哪些问题

  

导读:

本文从条件概率入手,介绍事件间独立性的相关概念,进而引出全概率公式和贝叶斯公式的基本内容,让读者从概率的角度初步认识现实世界。

  作者:原味猕猴桃

  来源:大数据数据库(id:hzdashuju))。

  

01 从概率到条件概率

  至于概率,相信大家都不知道。比如最简单的掷骰子概率场景,得到5分的概率是多少?我们会毫不犹豫地说出答案。概率是1/6。

  这个问题太简单了。如果我们如此满足,那么研究的意义就无足轻重了。然后,给这个问题加个限定条件。知道掷出的骰子数是奇数,求掷出的骰子数变成5的概率。是的,我明白了。这个问题没有直接问投票概率5,而是加入了已知分数为奇数的前提。

  生活中这样的场景比较多,但是我们一般不会直接去推断某个事件的可能性。因为,其实没有任何意义,也不容易猜到结果。

一般而言事件是不会孤立发生的,都会伴随其他一些条件。

比如下雨的概率是多少?可能有雾。它在哪里?什么时候?那天的云有多厚?没有预设,就无法得到有意义、有价值的推定结果。

  因此,在实际应用中,我们关心的是在给定条件概率即部分信息的基础上,估计所关心事件的概率。给定的信息是事件的附加条件,是我们研究的重点。

  

02 条件概率的具体描述

  首先我来详细解释一下条件概率。假设一个事件B发生,我们想知道另一个事件A发生的可能性。此时,需要构造条件概率,在考虑事件B已经发生的信息后,计算事件A发生的概率。

  这个条件概率表示当一个事件B发生时,事件A发生的概率,用p(ab)表示。

  让我们回到骰子的问题。在奇数骰子的前提下,5分的概率是多少?有{1,3,5} 3个奇数的分数,其中5的概率是1/3。很明显,计算结果和单独问分数5的概率是不一样的。

  

下面我们来抽象一下条件概率的应用场景。

  回归最简单易懂的经典概率模型进行分析。假设一个实验有n种可能的结果。事件A和B分别包含M1和M2结果,M12表示共同结果,即事件A和事件B同时发生,即事件AB包含的实验结果数。

  试着在图1-1中再次想象上述场景。

  图1-1事件和事件同时发生的场景

  事件A和事件B分别发生的概率是多少?读者会脱口而出M1/N和m2/n,然后,考虑条件概率。在事件发生的前提下,事件发生的概率是多少?

  此时我们考虑的范围从最初的N个所有可能的结果缩小到现在的M2结果,也就是事件B的结果范围,但只有M12个结果对应事件A的发生,条件概率p(ab) M12。

  

03 条件概率的表达式分析

  为了更深入地挖掘其含义,将条件概率p(ab )=M12/M2的公式进一步展开,将公式的上下两部分同时除以所有可能的结果。

  从而得到了条件概率p(ab )=p) ab )/p) b)的一般定义。

  

04 两个事件的独立性

  进一步分析上面的例子,给出事件A的无条件概率p(a)

  固定事件B下的条件概率P(AB)明显不同P(AB)P(A)即也是很常见的情况,无条件概率和条件概率的概率值一般都不一样。

  实际上,这种情况也反映了这两个事件之间存在某种联系。如果P(AB)P(A)满足,可以说事件B的发生增加了事件A的可能性,即事件B促进了事件A的发生。

  但是P(A)=P(AB)的情况也是存在的,而且这是一个很重要的情况,也就是说事件B的发生对事件A的发生没有影响,这个时候我们就把这两个事件A和B称为

独立

,通过条件概率的定义进行转换得到:

  其实我们用上面的表达式来描述事件独立性,比单纯用P(A)=P(AB)要好,因为P(AB)=P(A)P(B)不受概率P(B)是否为0的限制。

  因此,如果两个事件A和B满足P(AB)=P(A)P(B),则称事件A和事件B是独立的。

  

05 从条件概率到全概率公式

  让我们假设B1,B2,B3,Bn是有限或无限可数的事件,相互排斥且每个实验中至少有一个事件发生,如图1-2所示。

  图1-2事件是互斥的,每个实验中至少有一个事件发生。

  用表达来描述:

  现在我们介绍另一个事件A,如图1-3所示。

  图1-3介绍实验中的事件A

  从图1-3可以看出,由于是必然事件(即整个事件的全集),所以方程P(A)=P(A)成立,进一步推导如下:

  P(A)=P(A)=P(AB1 AB2 AB3.荷兰银行.因为事件B1和Bj是互斥的,那么显然AB1、AB2、AB3,和ABN是互斥的,所以有:

  P(A)=P(AB1) P(AB2) P(AB3).荷兰银行

  将条件概率公式P(ABi)=P(Bi)P(ABi)代入:

  P(A)=P(B1)P(AB1) P(B2)P(AB2).(英国)石油公司

  这就是我们最终得到的

全概率公式

。“全”字的意思是将总概率P(A)分解为多个部分概率之和。

  回顾全概率公式的表达式,可以发现事件A的概率P(A)应该在最小值P(ABi)和最大值P(ABj)之间。不是所有条件概率P(ABk)的算术平均,因为事件的机会权重(即P(Bi))不同,所以总概率P(A)。

  

06 聚焦贝叶斯公式

  知道了全概率的公式后,我们进一步处理条件概率的表达式,得到如下等式:

  这就是著名的

贝叶斯公式

  不要觉得平淡无奇,只是数学公式的推导和令人耳目一新的钻石。

实际上,这个公式里包含了全概率公式、条件概率、贝叶斯准则。

我们来探讨一下其中蕴含的重要内涵。

  贝叶斯公式将条件概率P(AB)和条件概率P(BA)紧密联系在一起,其最根本的数学基础是P(AB)P(B)=P(BA)P(A),两者都等于P(AB)。

  这里面有什么具体而深刻的内涵?我们继续往下看。

  

07 本质内涵:由因到果,由果推因

  现实中,我们可以把事件A看成结果,事件B1,B2,导致这一结果的原因是多方面的。所以,我们引入的全概率公式

  P(A)=P(B1)P(AB1) P(B2)P(AB2).(英国)石油公司

  也就是说,从各种原因推断的结果事件发生的概率是

由因到果

  但是,实际上还有一个重要的应用场景:我们在日常生活中经常会观察到某个现象,然后推导出这个现象的各种成因的概率。简单来说就是

由果推因

  通过贝叶斯公式

  最终条件概率P(BiA)是在已经观测到结果事件A的情况下,推断结果事件A是由原因Bi引起的概率,以此来支持我们后续的判断。

  P(Bi)称为先验概率,是指没有其他前提信息的概率值。这个值一般需要靠我们的经验来估算。条件概率P(BiA)称为后验概率,表示在获得“结果事件A发生”的信息后,原因Bi发生的概率。可以说后验概率是获得新信息后对先验概率的修正。

  从概率、条件概率、全概率公式开始,最后聚焦贝叶斯公式,主要梳理概念层面,帮助读者快速形成基于条件概率的认知视角。概率的重要性不言而喻,它将贯穿概率统计的整个课程体系。

  作者简介:平原猕猴桃,人工智能技术专家,毕业于清华大学计算机系,长期从事人工智能领域相关研究工作。熟悉机器学习算法的应用及其背后的数学理论基础。目前已经出版了一批以机器学习数学为基础的畅销书,并入选JD.COM推荐书目,深受读者欢迎。

  本文摘自《机器学习中的概率统计 Python语言描述》。

  延伸阅读《机器学习中的概率统计》

  长按上方二维码了解购买。

  请联系微信:DoctorData。

  

推荐语:

由资深AI技术专家撰写,清华大学毕业,升级GitChat畅销专栏,系统讲解机器学习中概率统计的核心知识和计算技巧。

  更多精彩评论

  书讯二月书讯看新书,过年。

  资料 DB-Engines二月数据库排名:三大霸主是否集体“亮红灯”?不应低估少数群体数据库。

  书单你的寒假是怎么过的?经典的计算机教科书帮助你在弯道超车。

  干货盘点7个最重要的Python库

  收藏2021最新网络发展趋势

  点击

阅读全文

购买。

条件概率和全概率和贝叶斯公式适用范围,全概率公式和贝叶斯公式适用于哪些问题