scikit-learn線性回歸，多元回歸，多項式回歸的實現(xiàn)
匹薩的直徑與價格的數(shù)據(jù)
%matplotlib inline import matplotlib.pyplot as plt def runplt(): plt.figure() plt.title(u'diameter-cost curver') plt.xlabel(u'diameter') plt.ylabel(u'cost') plt.axis([0, 25, 0, 25]) plt.grid(True) return plt plt = runplt() X = [[6], [8], [10], [14], [18]] y = [[7], [9], [13], [17.5], [18]] plt.plot(X, y, 'k.') plt.show()
訓(xùn)練模型
from sklearn.linear_model import LinearRegression
import numpy as np
# 創(chuàng)建并擬合模型
model = LinearRegression()
model.fit(X, y)
print('預(yù)測一張12英寸匹薩價格：$%.2f' % model.predict(np.array([12]).reshape(-1, 1))[0])
預(yù)測一張12英寸匹薩價格：$13.68
一元線性回歸假設(shè)解釋變量和響應(yīng)變量之間存在線性關(guān)系；這個線性模型所構(gòu)成的空間是一個超平面（hyperplane）。
超平面是n維歐氏空間中余維度等于一的線性子空間，如平面中的直線、空間中的平面等，總比包含它的空間少一維。
在一元線性回歸中，一個維度是響應(yīng)變量，另一個維度是解釋變量，總共兩維。因此，其超平面只有一維，就是一條線。
上述代碼中sklearn.linear_model.LinearRegression類是一個估計器（estimator）。估計器依據(jù)觀測值來預(yù)測結(jié)果。在scikit-learn里面，所有的估計器都帶有:
- fit()
- predict()
fit()用來分析模型參數(shù)，predict()是通過fit()算出的模型參數(shù)構(gòu)成的模型，對解釋變量進行預(yù)測獲得的值。
因為所有的估計器都有這兩種方法，所有scikit-learn很容易實驗不同的模型。
一元線性回歸模型：
y=α+βx
一元線性回歸擬合模型的參數(shù)估計常用方法是:
- 普通最小二乘法（ordinary least squares ）
- 線性最小二乘法（linear least squares）
首先，我們定義出擬合成本函數(shù)，然后對參數(shù)進行數(shù)理統(tǒng)計。
plt = runplt() plt.plot(X, y, 'k.') X2 = [[0], [10], [14], [25]] model = LinearRegression() model.fit(X, y) y2 = model.predict(X2) plt.plot(X, y, 'k.') plt.plot(X2, y2, 'g-') plt.show()
plt = runplt() plt.plot(X, y, 'k.') y3 = [14.25, 14.25, 14.25, 14.25] y4 = y2 * 0.5 + 5 model.fit(X[1:-1], y[1:-1]) y5 = model.predict(X2) plt.plot(X, y, 'k.') plt.plot(X2, y2, 'g-.') plt.plot(X2, y3, 'r-.') plt.plot(X2, y4, 'y-.') plt.plot(X2, y5, 'o-') plt.show()
成本函數(shù)（cost function）也叫損失函數(shù)（loss function），用來定義模型與觀測值的誤差。模型預(yù)測的價格與訓(xùn)練集數(shù)據(jù)的差異稱為殘差（residuals）或訓(xùn)練誤差（training errors）。后面我們會用模型計算測試集，那時模型預(yù)測的價格與測試集數(shù)據(jù)的差異稱為預(yù)測誤差（prediction errors）或訓(xùn)練誤差（test errors）。
模型的殘差是訓(xùn)練樣本點與線性回歸模型的縱向距離，如下圖所示：
plt = runplt() plt.plot(X, y, 'k.') X2 = [[0], [10], [14], [25]] model = LinearRegression() model.fit(X, y) y2 = model.predict(X2) plt.plot(X, y, 'k.') plt.plot(X2, y2, 'g-') # 殘差預(yù)測值 yr = model.predict(X) for idx, x in enumerate(X): plt.plot([x, x], [y[idx], yr[idx]], 'r-') plt.show()
我們可以通過殘差之和最小化實現(xiàn)最佳擬合，也就是說模型預(yù)測的值與訓(xùn)練集的數(shù)據(jù)最接近就是最佳擬合。對模型的擬合度進行評估的函數(shù)稱為殘差平方和（residual sum of squares）成本函數(shù)。就是讓所有訓(xùn)練數(shù)據(jù)與模型的殘差的平方之和最小化，如下所示：
其中，
import numpy as np
print('殘差平方和: %.2f' % np.mean((model.predict(X) - y) ** 2))
殘差平方和: 1.75
解一元線性回歸的最小二乘法
通過成本函數(shù)最小化獲得參數(shù)，我們先求相關(guān)系數(shù) ββ 。按照頻率論的觀點，我們首先需要計算 xx 的方差和 xx 與 yy 的協(xié)方差。
方差是用來衡量樣本分散程度的。如果樣本全部相等，那么方差為0。方差越小，表示樣本越集中，反正則樣本越分散。方差計算公式如下：
Numpy里面有var方法可以直接計算方差，ddof參數(shù)是貝塞爾(無偏估計)校正系數(shù)（Bessel's correction），設(shè)置為1，可得樣本方差無偏估計量。
print(np.var([6, 8, 10, 14, 18], ddof=1))
23.2
協(xié)方差表示兩個變量的總體的變化趨勢。如果兩個變量的變化趨勢一致，也就是說如果其中一個大于自身的期望值，另外一個也大于自身的期望值，那么兩個變量之間的協(xié)方差就是正值。 如果兩個變量的變化趨勢相反，即其中一個大于自身的期望值，另外一個卻小于自身的期望值，那么兩個變量之間的協(xié)方差就是負值。如果兩個變量不相關(guān)，則協(xié)方差為0，變量線性無關(guān)不表示一定沒有其他相關(guān)性。協(xié)方差公式如下：
其中，
import numpy as np print(np.cov([6, 8, 10, 14, 18], [7, 9, 13, 17.5, 18])[0][1])
22.65
現(xiàn)在有了方差和協(xié)方差，就可以計算相關(guān)系統(tǒng)
算出
將前面的數(shù)據(jù)帶入公式就可以求出
模型評估
前面我們用學(xué)習(xí)算法對訓(xùn)練集進行估計，得出了模型的參數(shù)。有些度量方法可以用來評估預(yù)測效果，我們用R方（r-squared）評估匹薩價格預(yù)測的效果。R方也叫確定系數(shù)（coefficient of determination），表示模型對現(xiàn)實數(shù)據(jù)擬合的程度。計算R方的方法有幾種。一元線性回歸中R方等于皮爾遜積矩相關(guān)系數(shù)（Pearson product moment correlation coefficient或Pearson's r）的平方。種方法計算的R方一定介于0～1之間的正數(shù)。其他計算方法，包括scikit-learn中的方法，不是用皮爾遜積矩相關(guān)系數(shù)的平方計算的，因此當模型擬合效果很差的時候R方會是負值。下面我們用scikit-learn方法來計算R方。
R方是0.6620說明測試集里面過半數(shù)的價格都可以通過模型解釋?，F(xiàn)在，讓我們用scikit-learn來驗證一下。LinearRegression的score方法可以計算R方：
# 測試集 X_test = [[8], [9], [11], [16], [12]] y_test = [[11], [8.5], [15], [18], [11]] model = LinearRegression() model.fit(X, y) model.score(X_test, y_test)
0.66200528638545164
多元回歸
from sklearn.linear_model import LinearRegression
X = [[6, 2], [8, 1], [10, 0], [14, 2], [18, 0]]
y = [[7], [9], [13], [17.5], [18]]
model = LinearRegression()
model.fit(X, y)
X_test = [[8, 2], [9, 0], [11, 2], [16, 2], [12, 0]]
y_test = [[11], [8.5], [15], [18], [11]]
predictions = model.predict(X_test)
for i, prediction in enumerate(predictions):
print('Predicted: %s, Target: %s' % (prediction, y_test[i]))
print('R-squared: %.2f' % model.score(X_test, y_test))
Predicted: [ 10.06250019], Target: [11]
Predicted: [ 10.28125019], Target: [8.5]
Predicted: [ 13.09375019], Target: [15]
Predicted: [ 18.14583353], Target: [18]
Predicted: [ 13.31250019], Target: [11]
R-squared: 0.77
多項式回歸
上例中，我們假設(shè)解釋變量和響應(yīng)變量的關(guān)系是線性的。真實情況未必如此。下面我們用多項式回歸，一種特殊的多元線性回歸方法，增加了指數(shù)項?，F(xiàn)實世界中的曲線關(guān)系都是通過增加多項式實現(xiàn)的，其實現(xiàn)方式和多元線性回歸類似。本例還用一個解釋變量，匹薩直徑。讓我們用下面的數(shù)據(jù)對兩種模型做個比較：
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
X_train = [[6], [8], [10], [14], [18]]
y_train = [[7], [9], [13], [17.5], [18]]
X_test = [[6], [8], [11], [16]]
y_test = [[8], [12], [15], [18]]
# 建立線性回歸，并用訓(xùn)練的模型繪圖
regressor = LinearRegression()
regressor.fit(X_train, y_train)
xx = np.linspace(0, 26, 100)
yy = regressor.predict(xx.reshape(xx.shape[0], 1))
plt = runplt()
plt.plot(X_train, y_train, 'k.')
plt.plot(xx, yy)
quadratic_featurizer = PolynomialFeatures(degree=2)
X_train_quadratic = quadratic_featurizer.fit_transform(X_train)
X_test_quadratic = quadratic_featurizer.transform(X_test)
regressor_quadratic = LinearRegression()
regressor_quadratic.fit(X_train_quadratic, y_train)
xx_quadratic = quadratic_featurizer.transform(xx.reshape(xx.shape[0], 1))
plt.plot(xx, regressor_quadratic.predict(xx_quadratic), 'r-')
plt.show()
print(X_train)
print(X_train_quadratic)
print(X_test)
print(X_test_quadratic)
print('1 r-squared', regressor.score(X_test, y_test))
print('2 r-squared', regressor_quadratic.score(X_test_quadratic, y_test))
[[6], [8], [10], [14], [18]]
[[ 1. 6. 36.]
[ 1. 8. 64.]
[ 1. 10. 100.]
[ 1. 14. 196.]
[ 1. 18. 324.]]
[[6], [8], [11], [16]]
[[ 1. 6. 36.]
[ 1. 8. 64.]
[ 1. 11. 121.]
[ 1. 16. 256.]]
('1 r-squared', 0.80972683246686095)
('2 r-squared', 0.86754436563450732)
plt = runplt()
plt.plot(X_train, y_train, 'k.')
quadratic_featurizer = PolynomialFeatures(degree=2)
X_train_quadratic = quadratic_featurizer.fit_transform(X_train)
X_test_quadratic = quadratic_featurizer.transform(X_test)
regressor_quadratic = LinearRegression()
regressor_quadratic.fit(X_train_quadratic, y_train)
xx_quadratic = quadratic_featurizer.transform(xx.reshape(xx.shape[0], 1))
plt.plot(xx, regressor_quadratic.predict(xx_quadratic), 'r-')
cubic_featurizer = PolynomialFeatures(degree=3)
X_train_cubic = cubic_featurizer.fit_transform(X_train)
X_test_cubic = cubic_featurizer.transform(X_test)
regressor_cubic = LinearRegression()
regressor_cubic.fit(X_train_cubic, y_train)
xx_cubic = cubic_featurizer.transform(xx.reshape(xx.shape[0], 1))
plt.plot(xx, regressor_cubic.predict(xx_cubic))
plt.show()
print(X_train_cubic)
print(X_test_cubic)
print('2 r-squared', regressor_quadratic.score(X_test_quadratic, y_test))
print('3 r-squared', regressor_cubic.score(X_test_cubic, y_test))
[[ 1.00000000e+00 6.00000000e+00 3.60000000e+01 2.16000000e+02]
[ 1.00000000e+00 8.00000000e+00 6.40000000e+01 5.12000000e+02]
[ 1.00000000e+00 1.00000000e+01 1.00000000e+02 1.00000000e+03]
[ 1.00000000e+00 1.40000000e+01 1.96000000e+02 2.74400000e+03]
[ 1.00000000e+00 1.80000000e+01 3.24000000e+02 5.83200000e+03]]
[[ 1.00000000e+00 6.00000000e+00 3.60000000e+01 2.16000000e+02]
[ 1.00000000e+00 8.00000000e+00 6.40000000e+01 5.12000000e+02]
[ 1.00000000e+00 1.10000000e+01 1.21000000e+02 1.33100000e+03]
[ 1.00000000e+00 1.60000000e+01 2.56000000e+02 4.09600000e+03]]
('2 r-squared', 0.86754436563450732)
('3 r-squared', 0.83569241560369567)
plt = runplt()
plt.plot(X_train, y_train, 'k.')
quadratic_featurizer = PolynomialFeatures(degree=2)
X_train_quadratic = quadratic_featurizer.fit_transform(X_train)
X_test_quadratic = quadratic_featurizer.transform(X_test)
regressor_quadratic = LinearRegression()
regressor_quadratic.fit(X_train_quadratic, y_train)
xx_quadratic = quadratic_featurizer.transform(xx.reshape(xx.shape[0], 1))
plt.plot(xx, regressor_quadratic.predict(xx_quadratic), 'r-')
seventh_featurizer = PolynomialFeatures(degree=7)
X_train_seventh = seventh_featurizer.fit_transform(X_train)
X_test_seventh = seventh_featurizer.transform(X_test)
regressor_seventh = LinearRegression()
regressor_seventh.fit(X_train_seventh, y_train)
xx_seventh = seventh_featurizer.transform(xx.reshape(xx.shape[0], 1))
plt.plot(xx, regressor_seventh.predict(xx_seventh))
plt.show()
print('2 r-squared', regressor_quadratic.score(X_test_quadratic, y_test))
print('7 r-squared', regressor_seventh.score(X_test_seventh, y_test))
('2 r-squared', 0.86754436563450732)
('7 r-squared', 0.49198460568655)
可以看出，七次擬合的R方值更低，雖然其圖形基本經(jīng)過了所有的點。可以認為這是擬合過度（over-fitting）的情況。這種模型并沒有從輸入和輸出中推導(dǎo)出一般的規(guī)律，而是記憶訓(xùn)練集的結(jié)果，這樣在測試集的測試效果就不好了。
正則化
LASSO方法會產(chǎn)生稀疏參數(shù)，大多數(shù)相關(guān)系數(shù)會變成0，模型只會保留一小部分特征。而嶺回歸還是會保留大多數(shù)盡可能小的相關(guān)系數(shù)。當兩個變量相關(guān)時，LASSO方法會讓其中一個變量的相關(guān)系數(shù)會變成0，而嶺回歸是將兩個系數(shù)同時縮小。
import numpy as np
from sklearn.datasets import load_boston
from sklearn.linear_model import SGDRegressor
from sklearn.cross_validation import cross_val_score
from sklearn.preprocessing import StandardScaler
from sklearn.cross_validation import train_test_split
data = load_boston()
X_train, X_test, y_train, y_test = train_test_split(data.data, data.target)
X_scaler = StandardScaler()
y_scaler = StandardScaler()
X_train = X_scaler.fit_transform(X_train)
y_train = y_scaler.fit_transform(y_train.reshape(-1, 1))
X_test = X_scaler.transform(X_test)
y_test = y_scaler.transform(y_test.reshape(-1, 1))
regressor = SGDRegressor(loss='squared_loss',penalty="l1")
scores = cross_val_score(regressor, X_train, y_train.reshape(-1, 1), cv=5)
print('cv R', scores)
print('mean of cv R', np.mean(scores))
regressor.fit_transform(X_train, y_train)
print('Test set R', regressor.score(X_test, y_test))
('cv R', array([ 0.74761441, 0.62036841, 0.6851797 , 0.63347999, 0.79476346]))
('mean of cv R', 0.69628119572104885)
('Test set R', 0.75084948718041566)
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
Python替換NumPy數(shù)組中大于某個值的所有元素實例
這篇文章主要介紹了Python替換NumPy數(shù)組中大于某個值的所有元素實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
Python3網(wǎng)絡(luò)爬蟲之使用User Agent和代理IP隱藏身份
這篇文章主要介紹了Python3網(wǎng)絡(luò)爬蟲之使用User Agent和代理IP隱藏身份,小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-11-11
這篇文章主要介紹了python文件特定行插入和替換實例詳解的相關(guān)資料,需要的朋友可以參考下2017-07-07
這篇文章主要介紹了Pygame的程序開始的示例代碼，本文通過實例代碼給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2020-05-05
Python使用自帶的base64庫進行base64編碼和解碼
在Python中,處理數(shù)據(jù)的編碼和解碼是數(shù)據(jù)傳輸和存儲中非常普遍的需求,其中,Base64是一種常用的編碼方案,本文我將詳細介紹如何使用Python的base64庫進行Base64編碼和解碼,需要的朋友可以參考下2025-04-04
這篇文章主要介紹了python對矩陣進行轉(zhuǎn)置的2種處理方法，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-07-07
這篇文章主要介紹了pytorch hook 鉤子函數(shù)的用法，Hook 是 PyTorch 中一個十分有用的特性，使用后可以不必改變網(wǎng)絡(luò)輸入輸出的結(jié)構(gòu)，方便地獲取、改變網(wǎng)絡(luò)中間層變量的值和梯度，下文詳細介紹需要的小伙伴可以參考一下2022-03-03
Python實現(xiàn)將JSON格式文件導(dǎo)入redis
這篇文章主要為大家詳細介紹了Python實現(xiàn)將JSON格式文件導(dǎo)入redis的多種方法，文中的示例代碼講解詳細，感興趣的小伙伴可以跟隨小編一起了解一下2023-01-01
這篇文章主要介紹了Python變量的作用域使用方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-06-06
今天小編就為大家分享一篇利用python實現(xiàn)逐步回歸，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02