kNN分类算法实例1:用kNN改进约会网站的配对效果
@
实战内容
海伦女士一直使用在线约会网站寻找适合自己的约会对象。尽管约会网站会推荐不同的人选,但她并不是喜欢每一个人。经过一番总结,她发现自己交往过的人可以进行如下分类:
不喜欢的人 魅力一般的人 极具魅力的人
海伦收集约会数据已经有了一段时间,她把这些数据存放在文本文件datingtestset.txt中,每个样本数据占据一行,总共有1000行。
海伦收集的样本数据主要包含以下3种特征:
每年获得的飞行常客里程数 玩视频游戏所消耗时间百分比 每周消费的冰淇淋公升数
任务:试建立一个分类器,使得在下次输入数据后,程序可以帮助海伦预测海伦对此人的印象。
原著中,所有归一化、knn算法,分类器都是作者自己写的。代码可以用于理解算法原理,用于使用就没有必要,而且代码基于的版本是2.7,难以直接使用。
源代码及其详解可以参考以下链接:
机器学习实战—k近邻算法(knn)02-改进约会网站的配对效果
既然有了优秀的sklearn库可以为我们提供现成的knn函数,为什么不直接调用它呢?这正是python较其他语言强大的所在呀!
用sklearn自带库实现knn算法分类
大致流程:
- 导入数据,打印数据的相关信息,初步了解数据
- 绘制图像更直观的分析数据
- 切分数据成测试集和训练集,可以用sklearn自带库随机切割,也可以将数据前半部分和后半部分切割,后者更有利于代入测试集人工检验
- 数据预处理,之后的代码仅有归一化
- 用sklearn自带库训练算法,然后打分正确率
- 完善分类器功能,允许后期输入参数真正实现分类
可以参考以下链接,更详细的了解sklearn自带的knn算法做分类的流程:
以下是代码(更多细节请参考附在最后的参考资料):
#!/usr/bin/env python # -*- coding:utf-8 -*- import numpy as np import pandas as pd import seaborn as sns import matplotlib.pyplot as plt from sklearn import preprocessing from sklearn.model_selection import train_test_split from sklearn.neighbors import kneighborsclassifier #转化文件格式 第一次执行后,在文件夹下会生成.csv文件,之后就不需要重复执行这段代码了 ''' txt = np.loadtxt('datingtestset2.txt') txtdf = pd.dataframe(txt) txtdf.to_csv('datingtestset2.csv', index=false) #no index ''' #load csv, learn more about it. dataset = pd.read_csv('datingtestset2.csv') dataset.columns = ['miles', 'galons', 'percentage', 'label'] print(dataset.head()) print(dataset.dtypes) print(np.unique(dataset['label'])) print(len(dataset)) #analyze our set through seaborn # 绘制散点图 第一次执行后,三个特征对结果的影响就会有个印象,后面也可以不再执行 ''' sns.lmplot(x='galons', y='percentage', data=dataset, hue='label',fit_reg=false) sns.lmplot(x='miles', y='percentage', data=dataset, hue='label',fit_reg=false) sns.lmplot(x='miles', y='galons', data=dataset, hue='label',fit_reg=false) plt.show() ''' #cut dataset randomly ''' dataset_data = dataset[['miles', 'galons', 'percentage']] dataset_label = dataset['label'] print(dataset_data.head()) data_train, data_test, label_train, label_test = train_test_split(dataset_data, dataset_label, test_size=0.2, random_state=0) ''' #cut dataset dataset_data = dataset[['miles', 'galons', 'percentage']] dataset_label = dataset['label'] data_train = dataset.loc[:800,['miles', 'galons', 'percentage']] #我让训练集取前800个 print(data_train.head()) label_train = np.ravel(dataset.loc[:800,['label']]) data_test = dataset.loc[800:,['miles', 'galons', 'percentage']] label_test = np.ravel(dataset.loc[800:,['label']]) #preprocessing, minmaxscaler min_max_scaler = preprocessing.minmaxscaler() data_train_minmax = min_max_scaler.fit_transform(data_train) data_test_minmax = min_max_scaler.fit_transform(data_test) print(data_train_minmax) #training and scoring knn = kneighborsclassifier(n_neighbors=15) knn.fit(data_train_minmax,label_train) score = knn.score(x=data_test_minmax,y=label_test,sample_weight=none) print(score) #completion def classifyperson(): #此为手动输入参数预测结果需要的函数 percentage = float(input('percentage of time spent playing video games?')) ffmiles = float(input('frequent flier miles earned per year?')) icecream = float(input('liters of ice-cream consumed per year?')) inarr = np.array([[percentage, ffmiles, icecream]]) inarr_minmax = min_max_scaler.fit_transform(inarr) return inarr_minmax #inarr_minmax = classifyperson() label_predict = knn.predict(data_test_minmax) #此代码与之前人工切分数据集结合,用于人工校对正确率 print(label_predict)
当k取15的时候,正确率试过来是最高的,能达到0.935
以下是测试集代入分类器后得到的结果,可以将其与文本文件里最后200个标签一一对照一下,可以发现正确率确实还是蛮高的。
将内含非数值型的txt文件转化为csv文件
原作中,作者已经将obj型标签帮我们转化成数值型了,因此在上面的代码中,我们可以直接将转化好的文件拿来用。但是如果要我们自己转化数据类型,该怎么转化?
其实只需要将原作中的第一个函数略加改造即可。代码如下:
# 将文本记录转换为numpy的解析程序 def file2matrix(filename): fr = open(filename) #得到文件行数 arrayoflines = fr.readlines() numberoflines = len(arrayoflines) #创建返回的numpy矩阵 returnmat = np.zeros((numberoflines,3)) classlabelvector = [] #解析文件数据到列表 index = 0 for line in arrayoflines: line = line.strip() #注释1 listfromline = line.split('\t') #注释2 returnmat[index,:] = listfromline[0:3] classlabelvector.append(listfromline[-1]) index += 1 return returnmat,classlabelvector #调用函数,读取数据 datingdatamat,datinglabels = file2matrix('datingtestset.txt') #拼接标签和特征 datingdatamat_df = pd.dataframe(datingdatamat) datinglabels_df = pd.dataframe(datinglabels) txtdf = pd.concat([datingdatamat_df,datinglabels_df],axis=1) #横向拼接 txtdf.to_csv('datingtestset.csv', index=false) #这里,datingtestset.csv中的标签是[largedoses, smalldoses, didn't like] #读取datingtestset.csv dataset = pd.read_csv('datingtestset.csv') dataset.columns = ['miles', 'galons', 'percentage', 'label'] print(dataset.head())
得到的新dataframe如下:
用sns.lmplot绘图反映几个特征之间的关系
以下列出了三个特征两两之间的关系(没有列全),通过它们大致能感觉出三个特征值对结果的影响。
参考资料
(此办法只适用于只有数值型的文件,或者说标签已经被转化为数值型了,如何将含object型的txt文件导入见后)
如何对dataframe的列名重新命名?
如何改变dataframe某一列的数据类型?
如何获取dataframe的行数和列数?
如何选取dataframe列?官网
如何用sklearn自带库归一化?官网
如何使用with open()as filename?
如何用python提取txt数据转化为dataframe?