100字范文 > 机器学习：朴素贝叶斯算法对新闻分类

机器学习：朴素贝叶斯算法对新闻分类

时间：2020-05-24 06:36:43

相关推荐

机器学习：朴素贝叶斯算法对新闻分类

概率基础

概率定义：一件事情发生的可能性

1、联合概率

包含多个条件，且所有条件同时成立的概率

记作：P(A,B)=P(A)P(B)P(A, B) = P(A)P(B)P(A,B)=P(A)P(B)

2、条件概率

事件A在另一个事件B已经发生的条件下发生的概率

记作：P(A∣B)P(A|B)P(A∣B)

特性：P(A1,A2∣B)=P(A1∣B)P(A2∣B)P(A1, A2|B) = P(A1|B)P(A2|B)P(A1,A2∣B)=P(A1∣B)P(A2∣B)

注意：此条件概率的成立，是由于A1，A2相互独立的结果

朴素贝叶斯

特征独立

贝叶斯公式

P(C∣W)=P(W∣C)P(C)P(W)P(C|W) = \frac{P(W|C)P(C)}{P(W)} P(C∣W)=P(W)P(W∣C)P(C)

=> P(C∣W)P(W)=P(W∣C)P(C)P(C|W)P(W) = P(W|C)P(C)P(C∣W)P(W)=P(W∣C)P(C)

说明：

W为给定文档的特征值（频数统计，预测文档提供）

C为文档类别

公式理解为：

P(C∣F1,F2...)=P(F1,F2...∣C)P(C)P(F1,F2...)P(C|F1,F2...) = \frac{P(F1,F2...|C)P(C)}{P(F1,F2...)}P(C∣F1,F2...)=P(F1,F2...)P(F1,F2...∣C)P(C)

公式分为三个部分

P(C)P(C)P(C) 每个文档类别的概率（某文档类别数/总文档数量）

P(W∣C)P(W|C)P(W∣C) 给定类别下特征（被预测文档中出现的词）的概率

计算方法： P(F1∣C)=Ni/NP(F1|C) = Ni/NP(F1∣C)=Ni/N

Ni 为该F1词在C类别所有文档中出现的次数

N 为所属类别C下的文档所有词出现的次数和

P(F1, F2…) 预测文档中每个词的频率

举例：

训练集统计结果

特征科技类（30）娱乐类（60）汇总（90）商场 9 5160影院 8 5664支付宝 35云计算 630 63汇总 100 121 221

现有预测文档，出现词汇：影院，支付宝，云计算

计算属于科技，娱乐的类别概率

娱乐的概率为0，这是不合理的

改进方法

拉普拉斯平滑系数

P(F1|C) = (Ni + a)/(N + am)

a为指定的系数，一般为1

m为训练文档中统计出的特征词个数

作用：防止分类概率为0

改进计算

P(科技|影院，支付宝，云计算) = ((8+1)/(100+1*4))*((20+1)/(100+1*4))*((63+1)/(100+1*4))*(30/90)= 0.0036P(娱乐|影院，支付宝，云计算) = ((56+1)/(121+1*4))*((15+1)/(121+1*4))*((0+1)/(121+1*4))*(60/90)= 0.0003

新闻分类

20newsgroups 数据集下载地址：

/~jason/20Newsgroups/20news-bydate.tar.gz

如果直接拷贝pkl文件，需要注意python版本

代码示例

# -*- coding: utf-8 -*-from sklearn.datasets import fetch_20newsgroupsfrom sklearn.feature_extraction.text import TfidfVectorizerfrom sklearn.model_selection import train_test_splitfrom sklearn.naive_bayes import MultinomialNBimport sslssl._create_default_https_context = ssl._create_unverified_context# 如果获取不到就下载data = fetch_20newsgroups(subset="all")# 数据分割X_train, X_test, y_train, y_test = train_test_split(data.data, data.target, test_size=0.33, random_state=42)# 特征抽取tfidf = TfidfVectorizer()# 以训练集中的词列表对每篇文章做重要性统计X_train = tfidf.fit_transform(X_train)print(tfidf.get_feature_names())X_test = tfidf.transform(X_test)# 朴素贝叶斯算法预测，alpha是拉普拉斯平滑系数mlt = MultinomialNB(alpha=1.0)mlt.fit(X_train, y_train)score = mlt.score(X_test, y_test)print("socre: {}".format(score))# socre: 0.83

特点：

训练误差大，结果肯定不好

不需要调参

优点：

1、朴素贝叶斯模型发源于古典数学理论，有稳定的分类效率

2、对缺失数据不太敏感，算法也比较简单，常用于文本分类

3、分类准确度高，速度快

缺点：

假设文章中一些词语和另一些词语是独立关系，不太靠谱

由于使用了样本属性独立性的假设，所以样本属性有关联时，效果不好

训练集中进行统计词，会对结果造成干扰

文本分类