欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

机器学习——决策树与随机森林

程序员文章站 2022-05-02 18:28:58
...

优点:
简单的理解和解释,树可视化
需要很少的数据准备,不需要数据的归一化
缺点:
容易过拟合
改进:
剪枝cart算法(API中已经实现)
随机森林

机器学习——决策树与随机森林
机器学习——决策树与随机森林

from sklearn.model_selection import train_test_split
import pandas as pd
from sklearn.feature_extraction import DictVectorizer #字典特征抽取
from sklearn.tree import DecisionTreeClassifier,export_graphviz
titan=pd.read_csv(r"C:\Users\10991\Desktop\titanic\titanic_train.csv")
#处理数据
x=titan[['Pclass','Age','Sex']]
y=titan['Survived']
print(x)
#缺失值处理
x['Age'].fillna(x['Age'].mean(),inplace=True)
#分割数据
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3)
#特征处理:类别—》one-hot
dic=DictVectorizer(sparse=False)
x_train=dic.fit_transform(x_train.to_dict(orient='records')) #按行转化为字典
print(dic.get_feature_names())
x_test=dic.transform(x_test.to_dict(orient='records'))
print(x_train)
#用决策树预测
dec=DecisionTreeClassifier(max_depth=5)
dec.fit(x_train,y_train)
print("预测的准确率:",dec.score(x_test,y_test))
#导出决策树的结构
export_graphviz(dec,out_file=r"C:\Users\10991\Desktop\titanic\titanic.dot",feature_names=['Age', 'Pclass', 'Sex=female', 'Sex=male'])

随机森林:(集成学习)
过程:
单个树的建立过程:
N个样本,M个特征
1、 随机在N个样本中选择一个样本,重复N次(随机有放回的抽样,bootstrap)
2、 随机在M个特征中选m个特征,m<<M
多个决策树,样本,特征大多不一样

优点:
极好的准确率
有效运行在大数据集上
能够处理具有高维特征的输入样本,不需要降维‘
能够评估各个特征在分类问题上的重要性

机器学习——决策树与随机森林

from sklearn.model_selection import train_test_split,GridSearchCV
import pandas as pd
from sklearn.feature_extraction import DictVectorizer #字典特征抽取
from sklearn.ensemble import RandomForestClassifier
titan=pd.read_csv(r"C:\Users\10991\Desktop\titanic\titanic_train.csv")
#处理数据
x=titan[['Pclass','Age','Sex']]
y=titan['Survived']
print(x)
#缺失值处理
x['Age'].fillna(x['Age'].mean(),inplace=True)
#分割数据
x_train,x_test,y_train,y_test=train_test_split(x,y,test_size=0.3)
#特征处理:类别—》one-hot
dic=DictVectorizer(sparse=False)
x_train=dic.fit_transform(x_train.to_dict(orient='records')) #按行转化为字典
print(dic.get_feature_names())
x_test=dic.transform(x_test.to_dict(orient='records'))
print(x_train)

#随机森林进行预测
rf=RandomForestClassifier()
#网格搜索与交叉验证
param={"n_estimators":[120,200,300],"max_depth":[5,8,15]}
gc=GridSearchCV(rf,param_grid=param,cv=2)
gc.fit(x_train,y_train)
print("准确率:",gc.score(x_test,y_test))
print("查看选择的参数模型:",gc.best_params_)