深度学习详解之初试机器学习
机器学习可应用在各个方面,本篇将在系统性进入机器学习方向前,初步认识机器学习,利用线性回归预测波士顿房价;
原理简介
利用线性回归最简单的形式预测房价,只需要把它当做是一次线性函数y=kx+b即可。我要做的就是利用已有数据,去学习得到这条直线,有了这条直线,则对于某个特征x(比如住宅平均房间数)的任意取值,都可以找到直线上对应的房价y,也就是模型的预测值。
从上面的问题看出,这应该是一个有监督学习中的回归问题,待学习的参数为实数k和实数b(因为就只有一个特征x),从样本集合sample中取出一对数据(xi,yi),xi代入kx+b得到输出y^i,mse可以衡量预测输出与样本标注的接近程度,所以把mse作为这个问题的损失函数,对于共m mm个样本的集合,损失函数计算为:j(k,b)=1i=1∑m(yi−yi)2
一般需要遍历数据集迭代多次,才能得到一个较好的结果
波士顿房价数据集
房价预测的实现将基于sklearn(scikit-learn),sklearn中有多种数据集:
- 自带的小数据集(packaged dataset):sklearn.datasets.load_<name>
- 可在线下载的数据集(downloaded dataset):sklearn.datasets.fetch_<name>
- 自定义生成的数据集(generated dataset):sklearn.datasets.make_<name>
首先从sklearn的数据集获取内置数据集中的即波士顿房价数据:
导入其他功能包和模块,导入线性回归模型:
加载数据集:
取出一个特征作为x:
划分为训练集和测试集,测试集取20%:
使用到sklearn.model_selection.train_test_split,函数形式为:
- test_size:浮点数,在0 ~ 1之间,表示测试样本占比
- random_state:随机种子,种子不同,每次调用时采样的样本不同;种子相同,每次调用时采样一致
- shuffle = true,打乱样本数据的顺序
严格来说,对于有监督学习的数据集应分为训练集,验证集,测试集;训练集和验证集有标注,测试集没有标注,泛化能力在验证集上进行检验
划分后的训练数据:
建立线性回归模型
在sklearn下,机器学习建模非常方便:
- 实例化模型,输入合适的超参数会使模型性能提升
- 输入数据训练
- 验证模型
建立线性回归模型如下:
注意到模型直到接收到训练数据,才最终确定具体形式,比如发现输入数据是(404,1),才确定线性回归形式为kx+b,而不是kx+cx+b
打印模型参数有(注意区分参数和超参数):
结果为:
斜率:[9.11163398], 截距:-34.47557789280662
到此这篇关于初试机器学习的文章就介绍到这了,更多相关初识机器学习内容请搜索以前的文章或继续浏览下面的相关文章,希望大家以后多多支持!
推荐阅读
-
机器学习之第4部分:比较深度学习方式方法 博客分类: 机器学习
-
好书快翻--《Python深度学习第二版》第五章 机器学习基础
-
情感分析中机器学习和深度学习的运用
-
python基础教程:决策树剪枝算法的python实现方法详解本文实例讲述了决策树剪枝算法的python实现方法。分享给大家供大家参考,具体如下: 决策树是一种依托决策而建立起来的一种树。在机器学习中
-
《深度实践Spark机器学习》第9章 构建Spark ML回归模型
-
Spring cloud Feign 深度学习与应用详解
-
机器学习——决策树,DecisionTreeClassifier参数详解,决策树可视化查看树结构
-
“Siri之父”:AI远不只是深度学习和机器智能
-
机器学习10大经典算法详解
-
深度学习机器听得懂巴赫 还能谱出同样风格曲目