一、条件概率和贝叶斯定理
条件概率:
贝叶斯定理:
贝叶斯分类器:若样本x有n个特征,用()表示,
将其分到类的可能性为:。
根据上面的公式可以求x属于各个分类的可能性,取最大可能性的分类。
二、伯努利模型
处理布尔型特征(true和false,或者1和0),使用伯努利模型。
如果特征值为1,那么
如果特征值为0,那么
三、多项式模型
处理离散的特征使用多项式模型。多用在文本分类case中。
多项式模型在计算先验概率和条件概率时,会做一些平滑处理,其公式为:
是类别为的样本个数,n是特征的维数,是类别为的样本中,第i维特征的值是的样本个数,α是平滑值。
四、高斯模型
处理连续的特征变量采用高斯模型。
高斯模型假设每个特征都符合高斯分布:
表示类别为的样本中,第i维特征的均值。
表示类别为的样本中,第i维特征的方差。