欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

机器学习初探之朴素贝叶斯优化

程序员文章站 2024-02-10 16:39:40
...

一、前言

  在上篇文章中,讲解了朴素贝叶斯的基础知识。本篇文章将在此基础上进行扩展:


二、拉普拉斯平滑

  上篇文章提到过,算法存在一定的问题,需要进行改进。那么需要改进的地方在哪里呢?利用贝叶斯分类器对文档进行分类时,要计算多个概率的乘积以获得文档属于某个类别的概率,即计算p(w0|1)p(w1|1)p(w2|1)。如果其中有一个概率值为0,那么最后的成绩也为0。我们拿出上一篇文章的截图。
机器学习初探之朴素贝叶斯优化

机器学习初探之朴素贝叶斯优化
  从上图可以看出,在计算的时候已经出现了概率为0的情况。如果新实例文本,包含这种概率为0的分词,那么最终的文本属于某个类别的概率也就是0了。显然,这样是很不合理的,为了降低这种影响,可以将所有词的出现数初始化为1,并将分母初始化为2(分母为什么要初始为2呢?),先验概率也要改,分子+1/分母+2。这种做法就叫做拉普拉斯平滑(Laplace Smoothing)又被称为加1平滑,是比较常用的平滑方法,它就是为了解决0概率问题

  除此之外,另外一个遇到的问题就是下溢出,这是由于太多很小的数相乘造成的。学过数学的人都知道,两个小数相乘,越乘越小,这样就造成了下溢出。在程序中,在相应小数位置进行四舍五入,计算结果可能就变成0了。正如下图所示:我们知道侮辱类词汇中stupid的概率时0.15789474,garbarge的概率是0.05263158,两个相乘在乘上先验概率0.5,它的结果不可能是0 ,但是由于下溢出的问题,变成了0。

机器学习初探之朴素贝叶斯优化
  为了解决这个问题,对乘积结果取自然对数。通过求对数可以避免下溢出或者浮点数舍入导致的错误。同时,采用自然对数进行处理不会有任何损失。下图给出函数f(x)和ln(f(x))的曲线。

机器学习初探之朴素贝叶斯优化
  检查这两条曲线,就会发现它们在相同区域内同时增加或者减少,并且在相同点上取到极值。它们的取值虽然不同,但不影响最终结果。因此对函数tranin(trainMatrix,trainCategory):函数进行更改,修改如下:

机器学习初探之朴素贝叶斯优化
结果如下:
机器学习初探之朴素贝叶斯优化
这样我们得到的结果就没有问题了,不存在0概率的情况。当然除此之外,我们还需要对代码进行修改classifyNB(vec2Classify, p0Vec, p1Vec, pClass1)函数,修改如下:
机器学习初探之朴素贝叶斯优化

这样,我们的朴素贝叶斯分类器就改进完毕了。
现在让我们来看看测试结果吧:
机器学习初探之朴素贝叶斯优化
现在还遗留一个小问题,就是拉普拉斯平滑中,我们的分母为什么要加2。

在这里参考下西瓜书上的内容。
机器学习初探之朴素贝叶斯优化
在来给个例子方便理解:
机器学习初探之朴素贝叶斯优化
机器学习初探之朴素贝叶斯优化
可看到由于训练集中的类别由1和-1两类,所以在先验概率中分母需要加上2。

在条件概率中,X(1)这个特征可能取的数有{1,2,3}这三种,X(2)这个特征可能取的数有{S,M,L}这三种,所以Ni=3,即分母需要加上3。

最后附上代码:

import numpy as np   
from functools import reduce 
"""
函数说明:创建实验样本
Parameters:
	无
Returns:
	postingList - 实验样本切分的词条
	classVec - 类别标签向量
"""
def loadDataSet():
	postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], #切分的词条
				['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
				['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
				['stop', 'posting', 'stupid', 'worthless', 'garbage'],
				['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
				['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
	classVec = [0,1,0,1,0,1]   					#类别标签向量,1代表侮辱性词汇,0代表不是
	return postingList,classVec
"""
函数说明:将切分的实验样本词条整理成不重复的单词列表,也就是词汇表
Parameters:
	dataSet - 整理的样本数据集
Returns:
vocabSet - 返回不重复的词条列表,也就是词汇表
"""
def createVocabList (dataset): 
    vocabSet =set([])       # 创建一个空的不重复列表
    for document in dataset:
        vocabSet = vocabSet | set(document)     #取并集
    return list(vocabSet)
"""
函数说明:根据vocabList词汇表,将输入inputSet(文档)向量化,向量的每个元素为1或0
Parameters:
	vocabList - createVocabList返回的词汇表
	inputSet - 切分的词条列表
Returns:
	returnVec - 文档向量,词集模型
"""
def setOfWords2Vec(vocabList, inputSet):
	returnVec = [0] * len(vocabList)		#创建一个其中所含元素都为0的向量
	for word in inputSet:					#遍历每个词条
		if word in vocabList:				#如果词条存在于词汇表中,则置1
			returnVec[vocabList.index(word)] = 1
		else: print("the word: %s is not in my Vocabulary!" % word)
	return returnVec			# 返回文档向量
def get_trainmat(dataset):
    trainmat=[]
    vocablist1=createVocabList(dataset)
    for inputset in dataset:
        re=setOfWords2Vec(vocablist1,inputset)
        trainmat.append(re) 
    return trainmat
"""
函数说明:朴素贝叶斯分类器训练函数
Parameters:
	trainMatrix - 训练文档矩阵,即setOfWords2Vec返回的returnVec构成的矩阵
	trainCategory - 训练类别标签向量,即loadDataSet返回的classVec
Returns:
	p0Vect - 非的条件概率数组
	p1Vect - 侮辱类的条件概率数组
	pAbusive - 文档属于侮辱类的概率
"""
def trainNB0(trainMatrix,trainCategory):
	numTrainDocs = len(trainMatrix)							# 计算训练的文档数目
	numWords = len(trainMatrix[0])							# 计算每篇文档的词条数
	pAbusive = (sum(trainCategory)+1)/(numTrainDocs+2)		# 文档属于侮辱类的概率
	p0Num = np.ones(numWords); p1Num = np.ones(numWords)	# 创建numpy.zeros数组
	p0Denom = 2.0; p1Denom = 2.0                        	# 分母初始化为0.0
	for i in range(numTrainDocs):
		if trainCategory[i] == 1:   #统计属于侮辱类的,条件概率所需的数据,即P(w0|1),P(w1|1),P(w2|1)···
			p1Num += trainMatrix[i]
			p1Denom += sum(trainMatrix[i])     # 该词条的总的词数目   这压样求得每个词条出现的概率 P(w1),P(w2), P(w3)...
		else:									#统计属于非侮辱类的条件概率所需的数据,即P(w0|0),P(w1|0),P(w2|0)···
			p0Num += trainMatrix[i]
			p0Denom += sum(trainMatrix[i])
	p1Vect = np.log(p1Num/p1Denom)			#避免最下限,取对数log        
	p0Vect = np.log(p0Num/p0Denom)          
	return p0Vect,p1Vect,pAbusive	#返回属于侮辱类的条件概率数组,属于非侮辱类的条件概率数组,文档属于侮辱类的概率
"""
函数说明:朴素贝叶斯分类器分类函数
Parameters:
	vec2Classify - 待分类的词条数组
	p0Vec - 非侮辱类的条件概率数组
	p1Vec -侮辱类的条件概率数组
	pClass1 - 文档属于侮辱类的概率
Returns:
	0 - 属于非侮辱类
	1 - 属于侮辱类
"""
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1):
	p1 = sum(vec2Classify * p1Vec)+np.log(pClass1)    #对应元素相乘  这里需要好好理解一下 
	p0 = sum(vec2Classify * p0Vec)+np.log(1.0 - pClass1)
	print('p0:',p0)
	print('p1:',p1)
	if p1 > p0:
		return 1
	else: 
		return 0    
def testingNB():
	listOPosts,listClasses = loadDataSet()									#创建实验样本
	myVocabList = createVocabList(listOPosts)								#创建词汇表
	trainMat=[]
	for postinDoc in listOPosts:
		trainMat.append(setOfWords2Vec(myVocabList, postinDoc))				#将实验样本向量化
	p0V,p1V,pAb = trainNB0(trainMat,listClasses)		#训练朴素贝叶斯分类器
	testEntry = ['love', 'my', 'dalmation']									#测试样本1
	thisDoc = setOfWords2Vec(myVocabList, testEntry)				#测试样本向量化
	if classifyNB(thisDoc,p0V,p1V,pAb):
		print(testEntry,'属于侮辱类')										#执行分类并打印分类结果
	else:
		print(testEntry,'属于非侮辱类')										#执行分类并打印分类结果
	testEntry = ['stupid', 'garbage']										#测试样本2
	thisDoc = np.array(setOfWords2Vec(myVocabList, testEntry))				#测试样本向量化
	if classifyNB(thisDoc,p0V,p1V,pAb):
		print(testEntry,'属于侮辱类')										#执行分类并打印分类结果
	else:
		print(testEntry,'属于非侮辱类')										#执行分类并打印分类结果
if __name__ == '__main__':
	 testingNB()


参考:http://blog.csdn.net/c406495762 这位博主的文章。

相关标签: 机器学习 算法