机器学习 k-近邻算法 5
程序员文章站
2024-02-10 16:04:52
...
k-近邻算法以及案例预测入住位置
分类算法k-近邻算法(KNN):
封面类算法的判定依据:离散型
思想:通过你的“邻居”来推断你的类型,相似的样本,特征之间的值应该都是相近的。
定义:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。
来源:KNN算法最早是由Cover和Hart提出的一种分类算法。
两个样本的距离可以通过如下公式计算,又叫欧式距离:
在计算两个样本数据的距离时,需要对数据做标准化处理。
sklearn k-近邻算法API:sklean.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')
案例:预测入住位置
预测一个人 住的位置。
分类:
- 特征值:x,y坐标,定位准确性,(时间戳。。。。日,时,周)
- 目标值:入住位置的ID
处理: 0<x<10 0<y<10
- 由于数据量过大,节省时间,对x,y缩小。
- 时间戳进行(年,月,日,周,时分秒),当作新的特征。
- 几千~几万,少于指定签到人数的位置删除。
源代码:
from sklearn.neighbors import KNeighborsClassifier
import pandas as pd
from sklearn.preprocessing import StandardScaler
def knncls():
"""
k-紧邻预测用户签到位置
"""
#读取数据
pd.read_csv("./data/train.csv")
#print(data.head(10))#打印前十行
#处理数据
#1、缩小数据,查询数据筛选
data=data.query("x>1.0 & x<1.25 & y>2.5 & y<2.75")
#2\处理时间的数据
time_value=pd.to_datatime(data["time"],unit='s')
print(time_value)
#把日期格式转换成字典格式
pd.DatetimeIndex(time_value)
#构造一些特征
data['day']=time_value.day
data['hour']=time_value.hour
data["weekday"]=time_value.weekday
#把时间戳特征删除
data= data.drop("['time'],axis=1")
print(data)
#把签到数量少于n个目标位置删除
place_count = data.groupby('place_id').count()
tf = place_count[place_count.row_id > 3].reset_index()
data=data[data['place_id'].isin(tf.place_id)]
#取出数据当中的特征值和目标值
y=data['place_id']
x=data.drop(['place_id'],axis=1)
#进行数据的分割训练集和测试集
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.25)
#特征工程(标准化)
std=StandardScaler()
#对测试机和训练集的特征值进行标准化
x_train = std.fit_transform(x_train)
std.transform(x_test)
#进行算法流程
knn=KNeighborsClassifier(n_neighbors=5)
#fit predict score
knn.fit(x_train,y_train)
#得出预测结果
y_predict = knn.predict(x_test)
print('预测的目标签到位置为:',y_predict)
# 得出准确率
print('预测的准确率:',knn.score(x_test,y_test))
return None
if __name__=="__main__":
knncls()
输出的前十行数据:
输出处理时间的数据:
输出把时间戳删除后的数据data:
标准化以前的预测值 :
标准化以后的预测值:
标准化以后,预测值从。0.2到了0.4,有明显的提高。
总结:
1、k值取多大?有什么影响?
k值取很小时:容易受异常点影响。
k值取很大时:容易受k值数量(类别)的波动
2、性能问题?
如果样本越来越大,运算时间非常长。
3、优点:
简单,容易理解,易于实现,无需顾忌参数,无需训练。
4、缺点:
懒惰算法,对测试样本分类的计算量大,内存开销大。
必须指定k值,k值选择不当则分类精度不能保证。
5、使用场景:
小数据场景,几千~几万样本,具体场景具体业务去测试。