Python實(shí)現(xiàn)多元線性回歸的梯度下降法

更新時(shí)間：2022年08月09日 10:27:47 作者：侯小啾

梯度下降法的機(jī)器學(xué)習(xí)的重要思想之一，梯度下降法的目標(biāo)，是使得代價(jià)函數(shù)最小。本文主要和大家分享的是python實(shí)現(xiàn)多元線性回歸的梯度下降法，感興趣的可以了解一下

1. 讀取數(shù)據(jù)

首先要做的就是讀取數(shù)據(jù)，請(qǐng)自行準(zhǔn)備一組適合做多元回歸的數(shù)據(jù)即可。這里以data.csv為例，這里做的是二元回歸。導(dǎo)入相關(guān)庫(kù)，及相關(guān)代碼如下。

import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D


data = np.loadtxt("data.csv", delimiter=",")
# 提取特征數(shù)據(jù)與標(biāo)簽
x_data = data[:,0:-1]
y_data = data[:,-1]

2.定義代價(jià)函數(shù)

回歸模型形如：

接下來(lái)我們需要初始化相關(guān)參數(shù)，并定義出代價(jià)函數(shù)。因?yàn)榇嬖诙鄠€(gè)系數(shù)參數(shù)，這里代價(jià)函數(shù)的寫(xiě)法與一元回歸時(shí)的情況略有不同，稍微有所調(diào)整。具體如下：

# 初始化一系列參數(shù)
# 截距
theta0 = 0
# 系數(shù)
theta1 = 0
theta2 = 0

# 學(xué)習(xí)率
learning_rate = 0.0001
# 初始化迭代次數(shù)
n_iterables = 1000


# 定義代價(jià)函數(shù)（損失函數(shù)）
def compute_mse(theta0, theta1, theta2, x_data, y_data):
    total_error = 0
    for i in range(len(x_data)):
        # 計(jì)算損失 真實(shí)值:y_data  預(yù)測(cè)值h(x)=theta0 + theta1*x1 + theta2*x2
        total_error += (y_data[i] - (theta0 + theta1 * x_data[i, 0] + theta2 * x_data[i, 1])) ** 2

    mse_ = total_error / len(x_data) / 2
    return mse_

3. 梯度下降

多元回歸的梯度下降與一元回歸的差不多，在一元回歸中只需要求一個(gè)導(dǎo)數(shù)，而現(xiàn)在求多個(gè)偏導(dǎo)數(shù)。代碼過(guò)程如下：

def gradient_descent(x_data, y_data, theta0, theta1, theta2, learning_rate, n_iterables):
    m = len(x_data)

    # 循環(huán) --> 迭代次數(shù)
    for i in range(n_iterables):
        # 初始化 theta0 theta1 theta2 的偏導(dǎo)值
        theta0_grad = 0
        theta1_grad = 0
        theta2_grad = 0

        # 計(jì)算偏導(dǎo)的總和再平均
        # 遍歷m次
        for j in range(m):
            theta0_grad += (1 / m) * ((theta1 * x_data[j, 0] + theta2 * x_data[j, 1] + theta0) - y_data[j])
            theta1_grad += (1 / m) * ((theta1 * x_data[j, 0] + theta2 * x_data[j, 1] + theta0) - y_data[j]) * x_data[
                j, 0]
            theta2_grad += (1 / m) * ((theta1 * x_data[j, 0] + theta2 * x_data[j, 1] + theta0) - y_data[j]) * x_data[
                j, 1]

        # 更新theta
        theta0 = theta0 - (learning_rate * theta0_grad)
        theta1 = theta1 - (learning_rate * theta1_grad)
        theta2 = theta2 - (learning_rate * theta2_grad)
    return theta0, theta1, theta2


print(f"開(kāi)始：截距theta0={theta0},theta1={theta1},theta2={theta2},損失={compute_mse(theta0,theta1,theta2,x_data,y_data)}")
print("開(kāi)始運(yùn)行")
theta0,theta1,theta2 = gradient_descent(x_data,y_data,theta0,theta1,theta2,learning_rate,n_iterables)
print(f"迭代{n_iterables}次后：截距theta0={theta0},theta1={theta1},theta2={theta2},損失={compute_mse(theta0,theta1,theta2,x_data,y_data)}")

執(zhí)行結(jié)果輸出如下：

1000次迭代之后，損失值由23.64變?yōu)?.3865。

4.可視化展示

可視化展示常常作為機(jī)器學(xué)習(xí)過(guò)程的補(bǔ)充，可以使得機(jī)器學(xué)習(xí)的效果更為生動(dòng)，直觀。

# 可視化散點(diǎn)分布
fig = plt.figure()
ax = Axes3D(fig)
ax.scatter(x_data[:,0],x_data[:,1],y_data)
plt.show()


# 可視化散點(diǎn)分布
fig = plt.figure()
ax = Axes3D(fig)
ax.scatter(x_data[:,0],x_data[:,1],y_data)

# 繪制預(yù)期平面
# 構(gòu)建x
x_0 = x_data[:,0]
x_1 = x_data[:,1]

# 生成網(wǎng)格矩陣
x_0,x_1 = np.meshgrid(x_0,x_1)

y_hat = theta0 + theta1*x_0 + theta2*x_1

# 繪制3D圖
ax.plot_surface(x_0,x_1,y_hat)

# 設(shè)置標(biāo)簽
ax.set_xlabel("Miles")
ax.set_ylabel("nums")
ax.set_zlabel("Time")

plt.show()

散點(diǎn)圖輸出如下：