欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

python实现PCA算法02

程序员文章站 2022-03-03 10:40:29
python实现PCA 运行version: Python 3.5.2 |Anaconda 4.2.0 (64-bit) 编写端version: Python 2.7.12 |...

python实现PCA

运行version: Python 3.5.2 |Anaconda 4.2.0 (64-bit)

编写端version: Python 2.7.12 |Anaconda 4.2.0 (64-bit)

2. scikit-learn 实现

此代码的流程完整,涉及预测,有训练集和预测集,在得到主成份对应的特征向量后,在预测集上进行映射,对应模型给出预测集的预测值。

鉴于数据的上传问题,在此给出完整代码以及详细注释。在运行过程中操作者带入本地数据,注意数据格式的衔接即可顺利得到结果。

2.1 导入模块

# -*- coding: utf-8 -*-
# @Time    : 2017/8/2 14:18
# @Author  : LinYimeng
# @Site    : 
# @File    : sklearnPCA.py
# @Software: PyCharm Community Edition
from sklearn.decomposition import PCA
from sklearn import preprocessing  ##标准化使用
import pandas as pd
import numpy as np

2.2数据准备,同法1一样,需要将数据转化为 array

def ready_pca(train,test):
###pca程序1 ,准备程序
    #选出自变量
    trainX =train.ix[:,['暴风影音', '乐视网', '爱奇艺', '腾讯视频', '爱音乐', '唱吧', '有杀气童话', '金山电池医生']].fillna(0)
    ##如果最后一列为因变量,选取所有自变量则可以
    ##trainX = train.ix[:,:len(train.T)]    #包头不包尾部因变量
    testX =test.ix[:,['暴风影音', '乐视网', '爱奇艺', '腾讯视频', '爱音乐', '唱吧', '有杀气童话', '金山电池医生']].fillna(0)
    trainX  = preprocessing.scale(trainX ) #标准化
    testX  = preprocessing.scale(testX )   #标准化
    colume = list(trainX.columns)
    trainX1 = np.array(trainX)
    testX1 = np.array(testX)
    return trainX1,testX1,colume

2,3 主成份

def pca_train(trainX1,testX1,colume):
#pca 程序2,主程序
    pca=PCA(copy=True, n_components=3, whiten=False)
    ##  n_components ,如果带入参数为整数,则参数为选取的主成份的个数;如果带入参数为小于1大于0的小数,则按照选取的主成份的个数
    ## 当whiten,True(默认为假)时,将将component_矢量乘以n_samples的平方根,然后除以奇异值,以确保具有单位分量方差的不相关输出。将从变换的信号(组的相对方差尺度)中消除一些信息,但有时可以通过使其数据符合一些硬连线的假设,来提高下游估计量的预测精度。
    ## copy : bool (default True),如果False,传递给fit的数据将被覆盖并运行适合(X).transform(X)将不会产生预期结果,请改用fit_transform(X)。
    pca.fit(trainX1)                                 #### 将trainX1传入定义好的pca模型
    components = pca.components_                     ####选取的特征向量对应的系数array
    pacTrainX = pca.transform(trainX1)               #####将trainX1在构造好的pca模型上进行映射
    pcaTestX = pca.transform(testX1)                 ####test主成份
    ratio = pca.explained_variance_ratio_            ####选取的主成份分别对应的方差解释率                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                差占比
    sum_rati0 = reduce(lambda x,y:x+y,ratio)        ####选取主成份的解释方差

    print('pacTrainX,pca.fit',pca)
    print('pcaTestX,ratio',ratio)
    print('sum_rati0',sum_rati0)
    defen_train = pd.DataFrame(pacTrainX,columns = colume)
    components_train = pd.DataFrame(components,columns = colume)
    defen_test = pd.DataFrame(pcaTestX ,columns = colume)
    return pacTrainX,pcaTestX,defen_train,components_train,ratio,sum_rati0,defen_test

2.4 对生成主成份的数据进行线性预测

def Linear(pacTrainX,trainy,pcaTestX):
    pca_svc = LinearSVC()
    pca_svc.fit(defen_train,trainy)
    pca_y_predict= pca_svc.predict(defen_test )
    return pca_y_predict
if __name__ == "__main__": 
    train = pd.read_csv("F:\\wo\\train.csv")
    test = pd.read_csv("F:\\wo\\test.csv")

    jiangwei_train1,jiangwei_test1,pca334_colume=ready_pca(train,test)
    defen_train,components_train,ratio,sum_rati0,defen_test=pca_train(jiangwei_train1,jiangwei_test1)
    defen_train.to_csv("F:\\wo\\defen_train.csv")
    defen_train.to_csv("F:\\wo\\defen_test.csv")
    components_train.to_csv("F:\\wo\\components_train.csv")