欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Java实现线性回归模型算法

程序员文章站 2024-03-20 23:15:04
...

今天跟大家一起学习机器学习比较简单的一个算法,也就是线性回归算法。

让我们通过一个例子开始:这个例子就是预测住房价格的,我们要使用一个数据集,数据集包含一个地方的住房价格,这里我们要根据不同房屋尺寸所售出的价格,画出我们的数据集,比方说,如果你朋友的房子是1250平方尺大小,你要告诉他这个房子能卖多少钱。那么,你可以做的一件事就是构建一个模型,也许是条直线,从这个数据模型上来看,也许你可以告诉你的朋友,他能以大约220000(美元)左右的价格卖掉这个房子。这就是监督学习算法的一个例子。

它被称作监督学习是因为对于每个数据来说,我们给出了“正确的答案”,即告诉我们:根据我们的数据来说,房子实际的价格是多少,而且,更具体来说,这是一个回归问题。回归一词指的是,我们根据之前的数据预测出一个准确的输出值,对于这个例子就是价格。同时,还有另外一种最常见的监督学洗方式,叫做分类问题,当我们想要预测离散的输出值,例如,我们正在薛兆癌症肿瘤,并想要确定肿瘤是良性还是恶性的,这就是0/1离散输出的问题。更近一步说,在监督学习中我们有一个数据集,这个数据集被称作是训练集。

下面就是实现一元线性回归模型的Java版本的代码,其中绘制数据集,和绘制回归模型使用的是JfreeChart,核心代码如下:

package cn.rocket.ml;


import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

import cn.rocket.data.DataSet;
import cn.rocket.utils.ScatterPlot;

public class LinearRegression {

    private double theta0 = 0.0 ;  //截距
    private double theta1 = 0.0 ;  //斜率
    private double alpha = 0.01 ;  //学习速率

    private int max_itea = 20000 ; //最大迭代步数

    private DataSet dataSet = new DataSet() ;

    public  LinearRegression() throws IOException{
        dataSet.loadDataFromTxt("datas/house_price.txt", ",",1);
    }


    public double predict(double x){
        return theta0+theta1*x ;
    }

    public double calc_error(double x, double y) {
        return predict(x)-y;
    }



    public void gradientDescient(){
        double sum0 =0.0 ;
        double sum1 =0.0 ;

        for(int i = 0 ; i < dataSet.getSize() ;i++) {
            sum0 += calc_error(dataSet.getDatas().get(i).get(0), dataSet.getLabels().get(i)) ;
            sum1 += calc_error(dataSet.getDatas().get(i).get(0), dataSet.getLabels().get(i))*dataSet.getDatas().get(i).get(0) ;
        }

        this.theta0 = theta0 - alpha*sum0/dataSet.getSize() ; 
        this.theta1 = theta1 - alpha*sum1/dataSet.getSize() ; 

    }

    public void lineGre() {
        int itea = 0 ;
        while( itea< max_itea){
            //System.out.println(error_rate);
            System.out.println("The current step is :"+itea);
            System.out.println("theta0 "+theta0);
            System.out.println("theta1 "+theta1);
            System.out.println();
            gradientDescient();
            itea ++ ;
        }
    } ;

    public static void main(String[] args) throws IOException {
        LinearRegression linearRegression = new LinearRegression() ;
        linearRegression.lineGre();
        List<Double> list = new ArrayList<Double>() ;

        for(int i = 0 ; i < linearRegression.dataSet.getSize() ;i++) {
            list.add(linearRegression.dataSet.getDatas().get(i).get(0));
        }


        ScatterPlot.data("Datas", list, linearRegression.dataSet.getLabels(),linearRegression.theta0,linearRegression.theta1);

    }

}

这段代码值得我们注意的问题有很多,一个是学习步长alpha的设置,如果设置的太大最后结果会无法收敛,但是如果设置的太小训练会非常缓慢。

下面是结果,我们可以看到,散点图是训练数据,红色的直线表示我们训练出来的一元线性模型,我们可以看出该模型能对训练数据做一个较好的线性拟合。

Java实现线性回归模型算法

该项目的项目源码我已经放在GitHub上。项目地址:https://github.com/ShengPengYu/MachineLearning