欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

机器学习 k-近邻算法 5

程序员文章站 2024-02-10 16:04:52
...

k-近邻算法以及案例预测入住位置

分类算法k-近邻算法(KNN):

封面类算法的判定依据:离散型
思想:通过你的“邻居”来推断你的类型,相似的样本,特征之间的值应该都是相近的。

定义:如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别,则该样本也属于这个类别。

来源:KNN算法最早是由Cover和Hart提出的一种分类算法。

两个样本的距离可以通过如下公式计算,又叫欧式距离:
机器学习 k-近邻算法 5

在计算两个样本数据的距离时,需要对数据做标准化处理。

sklearn k-近邻算法API:
sklean.neighbors.KNeighborsClassifier(n_neighbors=5,algorithm='auto')

机器学习 k-近邻算法 5

案例:预测入住位置

预测一个人 住的位置。
分类:

  • 特征值:x,y坐标,定位准确性,(时间戳。。。。日,时,周)
  • 目标值:入住位置的ID

处理: 0<x<10 0<y<10

  • 由于数据量过大,节省时间,对x,y缩小。
  • 时间戳进行(年,月,日,周,时分秒),当作新的特征。
  • 几千~几万,少于指定签到人数的位置删除。

源代码:

from sklearn.neighbors import KNeighborsClassifier
import pandas as pd
from sklearn.preprocessing import StandardScaler
def knncls():
    """
    k-紧邻预测用户签到位置
    """
    #读取数据
    pd.read_csv("./data/train.csv")
    #print(data.head(10))#打印前十行
   
    #处理数据
    #1、缩小数据,查询数据筛选
    data=data.query("x>1.0 & x<1.25 & y>2.5 & y<2.75")
    
    #2\处理时间的数据
    time_value=pd.to_datatime(data["time"],unit='s')
    print(time_value)
    
    #把日期格式转换成字典格式
    pd.DatetimeIndex(time_value)
    
    #构造一些特征
    data['day']=time_value.day
    data['hour']=time_value.hour
    data["weekday"]=time_value.weekday
    
    #把时间戳特征删除
    data= data.drop("['time'],axis=1")
    print(data)
    
    #把签到数量少于n个目标位置删除
    
    place_count = data.groupby('place_id').count()
    tf = place_count[place_count.row_id > 3].reset_index()
    
    data=data[data['place_id'].isin(tf.place_id)]
    
    #取出数据当中的特征值和目标值
    y=data['place_id']
    x=data.drop(['place_id'],axis=1)
    
    #进行数据的分割训练集和测试集
    x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.25)
    
    #特征工程(标准化)
    std=StandardScaler()
    #对测试机和训练集的特征值进行标准化
    x_train = std.fit_transform(x_train)
    std.transform(x_test)
    
    
    #进行算法流程
    knn=KNeighborsClassifier(n_neighbors=5)
    #fit  predict  score
    knn.fit(x_train,y_train)
    #得出预测结果
    y_predict = knn.predict(x_test)
    print('预测的目标签到位置为:',y_predict)
    # 得出准确率
    print('预测的准确率:',knn.score(x_test,y_test))
    
   
    return None
    


if __name__=="__main__":
    knncls()
    

输出的前十行数据:
机器学习 k-近邻算法 5

输出处理时间的数据:
机器学习 k-近邻算法 5
输出把时间戳删除后的数据data:机器学习 k-近邻算法 5

标准化以前的预测值 :机器学习 k-近邻算法 5
标准化以后的预测值:
机器学习 k-近邻算法 5
标准化以后,预测值从。0.2到了0.4,有明显的提高。

总结:

1、k值取多大?有什么影响?
k值取很小时:容易受异常点影响。
k值取很大时:容易受k值数量(类别)的波动

2、性能问题?
如果样本越来越大,运算时间非常长。

3、优点:
简单,容易理解,易于实现,无需顾忌参数,无需训练。

4、缺点:
懒惰算法,对测试样本分类的计算量大,内存开销大。
必须指定k值,k值选择不当则分类精度不能保证。

5、使用场景:
小数据场景,几千~几万样本,具体场景具体业务去测试。

相关标签: 机器学习 算法