欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

python机器学习逻辑回归随机梯度下降法

程序员文章站 2022-06-27 16:53:05
目录写在前面随机梯度下降法参考文献写在前面随机梯度下降法就在随机梯度上。意思就是说当我们在初始点时想找到下一点的梯度,这个点是随机的。全批量梯度下降是从一个点接着一点是有顺序的,全部数据点都要求梯度且...

写在前面

随机梯度下降法就在随机梯度上。意思就是说当我们在初始点时想找到下一点的梯度,这个点是随机的。全批量梯度下降是从一个点接着一点是有顺序的,全部数据点都要求梯度且有顺序。

全批量梯度下降虽然稳定,但速度较慢;

sgd虽然快,但是不够稳定

随机梯度下降法

随机梯度下降法(stochastic gradient decent,
sgd)是对全批量梯度下降法计算效率的改进算法。本质上来说,我们预期随机梯度下降法得到的结果和全批量梯度下降法相接近;sgd的优势是更快地计算梯度。

代码

'''
随机梯度下降法(stochastic gradient decent, sgd)
是对全批量梯度下降法计算效率的改进算法。本
质上来说,我们预期随机梯度下降法得到的结果和全批量梯度下降法相接近;
sgd的优势是更快地计算梯度。
'''
import pandas as pd
import numpy as np
import os
os.getcwd()
# f:\\pythonproject3\\data\\data\\train.csv
# dataset_path = '..'
# 这是一个全批量梯度下降(full-batch gradient descent)的应用。
# 这个问题是一个回归问题
# 我们给出美国某大型问答社区从2010年10月1日到2016年11月30日,
# 每天新增的问题的个数和回答的个数。
# 任务是预测2016年12月1日到2017年5月1日,该问答网站每天新增的问题数和回答数。
train = pd.read_csv('..\\train.csv')
# 导入数据
# train = pd.read_csv('train.csv')
test = pd.read_csv('..\\test.csv')
submit = pd.read_csv('..\\sample_submit.csv')
path1=os.path.abspath('.')
print("path1@@@@@",path1)
path2=os.path.abspath('..')
print("path2@@@@@",path2)
print(train)
# 初始设置
beta = [1,1] #初始点
alpha = 0.2 #学习率,也就是步长
tol_l = 0.1 #阈值,也就是精度
# 对x进行归一化,train 是训练数据的二维表格
max_x = max(train['id']) #max_x是总共的id数
x = train['id'] / max_x #所有的id都除于max_x
y = train['questions'] # train二维表格中的questions列赋给y
type(train['id'])
print("train['id']#######\n",train['id'])
print("type(train['id'])###\n\n",x)
print("max_x#######",max_x)
#为了计算方向
def compute_grad_sgd(beta, x, y):
    '''
    :param beta: 是初始点
    :param x: 是自变量
    :param y: 是真是值
    :return: 梯度数组
    '''
    grad = [0, 0]
    r = np.random.randint(0, len(x)) #在0-len(x)之间随机生成一个数
    grad[0] = 2. * np.mean(beta[0] + beta[1] * x[r] - y[r]) #求beta[1,1],中第1个数的梯度
    grad[1] = 2. * np.mean(x * (beta[0] + beta[1] * x - y))#求beta[1,1],中第2个数的梯度
    return np.array(grad)
#为了计算下一个点在哪,
def update_beta(beta, alpha, grad):
    '''
    :param beta: 第一点,初始点
    :param alpha: 学习率,也就时步长
    :param grad: 梯度
    :return:
    '''
    new_beta = np.array(beta) - alpha * grad
    return new_beta
# 定义计算rmse的函数
# 均方根误差(rmse)
def rmse(beta, x, y):
    squared_err = (beta[0] + beta[1] * x - y) ** 2 # beta[0] + beta[1] * x是预测值,y是真实值,
    res = np.sqrt(np.mean(squared_err))
    return res
# 进行第一次计算
grad = compute_grad_sgd(beta, x, y) #调用计算梯度函数,计算梯度
loss = rmse(beta, x, y) #调用损失函数,计算损失
beta = update_beta(beta, alpha, grad) #更新下一点
loss_new = rmse(beta, x, y) #调用损失函数,计算下一个损失
# 开始迭代
i = 1
while np.abs(loss_new - loss) > tol_l:
    beta = update_beta(beta, alpha, grad)
    grad = compute_grad_sgd(beta, x, y)
    if i % 100 == 0:
        loss = loss_new
        loss_new = rmse(beta, x, y)
        print('round %s diff rmse %s'%(i, abs(loss_new - loss)))
    i += 1
print('coef: %s \nintercept %s'%(beta[1], beta[0]))
res = rmse(beta, x, y)
print('our rmse: %s'%res)
from sklearn.linear_model import linearregression
lr = linearregression()
lr.fit(train[['id']], train[['questions']])
print('sklearn coef: %s'%lr.coef_[0][0])
print('sklearn coef: %s'%lr.intercept_[0])
res = rmse([936.051219649, 2.19487084], train['id'], y)
print('sklearn rmse: %s'%res)

参考文献

随机梯度下降法