条件概率和全概率和贝叶斯公式适用范围,全概率公式和贝叶斯公式适用于哪些问题
导读:
本文从条件概率入手,介绍事件间独立性的相关概念,进而引出全概率公式和贝叶斯公式的基本内容,让读者从概率的角度初步认识现实世界。作者:原味猕猴桃
来源:大数据数据库(id:hzdashuju))。
01 从概率到条件概率
至于概率,相信大家都不知道。比如最简单的掷骰子概率场景,得到5分的概率是多少?我们会毫不犹豫地说出答案。概率是1/6。
这个问题太简单了。如果我们如此满足,那么研究的意义就无足轻重了。然后,给这个问题加个限定条件。知道掷出的骰子数是奇数,求掷出的骰子数变成5的概率。是的,我明白了。这个问题没有直接问投票概率5,而是加入了已知分数为奇数的前提。
生活中这样的场景比较多,但是我们一般不会直接去推断某个事件的可能性。因为,其实没有任何意义,也不容易猜到结果。
一般而言事件是不会孤立发生的,都会伴随其他一些条件。
比如下雨的概率是多少?可能有雾。它在哪里?什么时候?那天的云有多厚?没有预设,就无法得到有意义、有价值的推定结果。因此,在实际应用中,我们关心的是在给定条件概率即部分信息的基础上,估计所关心事件的概率。给定的信息是事件的附加条件,是我们研究的重点。
02 条件概率的具体描述
首先我来详细解释一下条件概率。假设一个事件B发生,我们想知道另一个事件A发生的可能性。此时,需要构造条件概率,在考虑事件B已经发生的信息后,计算事件A发生的概率。
这个条件概率表示当一个事件B发生时,事件A发生的概率,用p(ab)表示。
让我们回到骰子的问题。在奇数骰子的前提下,5分的概率是多少?有{1,3,5} 3个奇数的分数,其中5的概率是1/3。很明显,计算结果和单独问分数5的概率是不一样的。
下面我们来抽象一下条件概率的应用场景。
回归最简单易懂的经典概率模型进行分析。假设一个实验有n种可能的结果。事件A和B分别包含M1和M2结果,M12表示共同结果,即事件A和事件B同时发生,即事件AB包含的实验结果数。
试着在图1-1中再次想象上述场景。
图1-1事件和事件同时发生的场景
事件A和事件B分别发生的概率是多少?读者会脱口而出M1/N和m2/n,然后,考虑条件概率。在事件发生的前提下,事件发生的概率是多少?
此时我们考虑的范围从最初的N个所有可能的结果缩小到现在的M2结果,也就是事件B的结果范围,但只有M12个结果对应事件A的发生,条件概率p(ab) M12。
03 条件概率的表达式分析
为了更深入地挖掘其含义,将条件概率p(ab )=M12/M2的公式进一步展开,将公式的上下两部分同时除以所有可能的结果。
从而得到了条件概率p(ab )=p) ab )/p) b)的一般定义。
04 两个事件的独立性
进一步分析上面的例子,给出事件A的无条件概率p(a)
固定事件B下的条件概率P(AB)明显不同P(AB)P(A)即也是很常见的情况,无条件概率和条件概率的概率值一般都不一样。
实际上,这种情况也反映了这两个事件之间存在某种联系。如果P(AB)P(A)满足,可以说事件B的发生增加了事件A的可能性,即事件B促进了事件A的发生。
但是P(A)=P(AB)的情况也是存在的,而且这是一个很重要的情况,也就是说事件B的发生对事件A的发生没有影响,这个时候我们就把这两个事件A和B称为
独立
,通过条件概率的定义进行转换得到:其实我们用上面的表达式来描述事件独立性,比单纯用P(A)=P(AB)要好,因为P(AB)=P(A)P(B)不受概率P(B)是否为0的限制。
因此,如果两个事件A和B满足P(AB)=P(A)P(B),则称事件A和事件B是独立的。
05 从条件概率到全概率公式
让我们假设B1,B2,B3,Bn是有限或无限可数的事件,相互排斥且每个实验中至少有一个事件发生,如图1-2所示。
图1-2事件是互斥的,每个实验中至少有一个事件发生。
用表达来描述:
现在我们介绍另一个事件A,如图1-3所示。
图1-3介绍实验中的事件A
从图1-3可以看出,由于是必然事件(即整个事件的全集),所以方程P(A)=P(A)成立,进一步推导如下:
P(A)=P(A)=P(AB1 AB2 AB3.荷兰银行.因为事件B1和Bj是互斥的,那么显然AB1、AB2、AB3,和ABN是互斥的,所以有:
P(A)=P(AB1) P(AB2) P(AB3).荷兰银行
将条件概率公式P(ABi)=P(Bi)P(ABi)代入:
P(A)=P(B1)P(AB1) P(B2)P(AB2).(英国)石油公司
这就是我们最终得到的
全概率公式
。“全”字的意思是将总概率P(A)分解为多个部分概率之和。回顾全概率公式的表达式,可以发现事件A的概率P(A)应该在最小值P(ABi)和最大值P(ABj)之间。不是所有条件概率P(ABk)的算术平均,因为事件的机会权重(即P(Bi))不同,所以总概率P(A)。
06 聚焦贝叶斯公式
知道了全概率的公式后,我们进一步处理条件概率的表达式,得到如下等式:
这就是著名的
贝叶斯公式
。不要觉得平淡无奇,只是数学公式的推导和令人耳目一新的钻石。
实际上,这个公式里包含了全概率公式、条件概率、贝叶斯准则。
我们来探讨一下其中蕴含的重要内涵。贝叶斯公式将条件概率P(AB)和条件概率P(BA)紧密联系在一起,其最根本的数学基础是P(AB)P(B)=P(BA)P(A),两者都等于P(AB)。
这里面有什么具体而深刻的内涵?我们继续往下看。
07 本质内涵:由因到果,由果推因
现实中,我们可以把事件A看成结果,事件B1,B2,导致这一结果的原因是多方面的。所以,我们引入的全概率公式
P(A)=P(B1)P(AB1) P(B2)P(AB2).(英国)石油公司
也就是说,从各种原因推断的结果事件发生的概率是
由因到果
。但是,实际上还有一个重要的应用场景:我们在日常生活中经常会观察到某个现象,然后推导出这个现象的各种成因的概率。简单来说就是
由果推因
。通过贝叶斯公式
最终条件概率P(BiA)是在已经观测到结果事件A的情况下,推断结果事件A是由原因Bi引起的概率,以此来支持我们后续的判断。
P(Bi)称为先验概率,是指没有其他前提信息的概率值。这个值一般需要靠我们的经验来估算。条件概率P(BiA)称为后验概率,表示在获得“结果事件A发生”的信息后,原因Bi发生的概率。可以说后验概率是获得新信息后对先验概率的修正。
从概率、条件概率、全概率公式开始,最后聚焦贝叶斯公式,主要梳理概念层面,帮助读者快速形成基于条件概率的认知视角。概率的重要性不言而喻,它将贯穿概率统计的整个课程体系。
作者简介:平原猕猴桃,人工智能技术专家,毕业于清华大学计算机系,长期从事人工智能领域相关研究工作。熟悉机器学习算法的应用及其背后的数学理论基础。目前已经出版了一批以机器学习数学为基础的畅销书,并入选JD.COM推荐书目,深受读者欢迎。
本文摘自《机器学习中的概率统计 Python语言描述》。
延伸阅读《机器学习中的概率统计》
长按上方二维码了解购买。
请联系微信:DoctorData。
推荐语:
由资深AI技术专家撰写,清华大学毕业,升级GitChat畅销专栏,系统讲解机器学习中概率统计的核心知识和计算技巧。更多精彩评论
书讯二月书讯看新书,过年。
资料 DB-Engines二月数据库排名:三大霸主是否集体“亮红灯”?不应低估少数群体数据库。
书单你的寒假是怎么过的?经典的计算机教科书帮助你在弯道超车。
干货盘点7个最重要的Python库
收藏2021最新网络发展趋势
点击