10.8.1
先验概率、似然函数、后验概率、贝叶斯公式

联合概率的乘法公式:

(如果随机变量独立的,则

由乘法公式可得条件概率公式

全概率公式:,其中

,则可轻易推导出上式)

贝叶斯公式:

又名后验概率公式、逆概率公式:后验概率=似然函数×先验概率/证据因子。解释如下,假设我们根据“手臂是否很长”这个随机变量(取值为“手臂很长”或“手臂不长”)的观测样本数据来分析远处一个生物是猩猩类别还是人类类别假设总共只有这两种类别)。我们身处一个人迹罕至的深山老林里,且之前就有很多报道说这里有猩猩出没,所以无须观测样本数据就知道是猩猩的先验概率(Prior Probability较大,比如根据历史数据估计有70%0.7。接着,我们得到了观测样本数据:“手臂很长”─而猩猩类别表现为这种特征的类条件概率,或者说这种“可能性”似然(Likelihood相比于人类表现为“手臂很长”的似然较大。所以经这次观测之后加强了我们的判断:是一只猩猩的后验概率(Posterior Probability变得比先验概率更大,超过了之前的70%!反之,如果观测发现这个生物的手臂不长,而猩猩类别表现为“手臂不长”的似然较小,则会减弱我们的判断,猩猩的后验概率将小于70%。因此,后验概率包含了先验信息以及观测样本数据提供的后验信息,对先验概率进行了修正,更接近真实情况。此外,证据因子(Evidence,也被称为归一化常数)可仅看成一个权值因子,以保证各类别的后验概率总和为1从而满足概率条件。

如果我们的目标仅仅是要对所属类别做出一个判别:是“猩猩”还是“人类”,则无须去计算后验概率的具体数值,只需计算哪个类别的后验概率更大即可。假设猩猩和人类出现的先验概率相等,,则此时类别的判定完全取决于似然的大小。因此,似然函数Likelihood,“可能性”)的重要性不是它的具体取值,而是当参数(如类别参数)变化时,函数到底变小还是变大,以便反过来对参数进行估计求解(估计出是还是)。