import numpy as np  # numpy庫
from sklearn.linear_model import BayesianRidge, LinearRegression, ElasticNet,Lasso  # 批量導(dǎo)入要實(shí)現(xiàn)的回歸算法
from sklearn.svm import SVR  # SVM中的回歸算法
from sklearn.ensemble.gradient_boosting import GradientBoostingRegressor  # 集成算法
from sklearn.model_selection import cross_val_score  # 交叉檢驗(yàn)
from sklearn.metrics import explained_variance_score, mean_absolute_error, mean_squared_error, r2_score  # 批量導(dǎo)入指標(biāo)算法
import pandas as pd  # 導(dǎo)入pandas
import matplotlib.pyplot as plt  # 導(dǎo)入圖形展示庫
import random

# 隨機(jī)生成100組包含5組特征的數(shù)據(jù)
feature = [[random.random(),random.random(),random.random(),random.random(),random.random()] for i in range(100)]
dependent = [round(random.uniform(1,100),2) for i in range(100)]

# 訓(xùn)練回歸模型
n_folds = 6  # 設(shè)置交叉檢驗(yàn)的次數(shù)
model_br = BayesianRidge()  # 建立貝葉斯嶺回歸模型對(duì)象
model_lr = LinearRegression()  # 建立普通線性回歸模型對(duì)象
model_etc = ElasticNet()  # 建立彈性網(wǎng)絡(luò)回歸模型對(duì)象
model_svr = SVR()  # 建立支持向量機(jī)回歸模型對(duì)象
model_la = Lasso()  # 建立支持向量機(jī)回歸模型對(duì)象
model_gbr = GradientBoostingRegressor()  # 建立梯度增強(qiáng)回歸模型對(duì)象
model_names = ['BayesianRidge', 'LinearRegression', 'ElasticNet', 'SVR', 'Lasso','GBR']  # 不同模型的名稱列表
model_dic = [model_br, model_lr, model_etc, model_svr,model_la, model_gbr]  # 不同回歸模型對(duì)象的集合
cv_score_list = []  # 交叉檢驗(yàn)結(jié)果列表
pre_y_list = []  # 各個(gè)回歸模型預(yù)測(cè)的y值列表
for model in model_dic:  # 讀出每個(gè)回歸模型對(duì)象
    scores = cross_val_score(model, feature, dependent, cv=n_folds)  # 將每個(gè)回歸模型導(dǎo)入交叉檢驗(yàn)?zāi)Ｐ椭凶鲇?xùn)練檢驗(yàn)
    cv_score_list.append(scores)  # 將交叉檢驗(yàn)結(jié)果存入結(jié)果列表
    pre_y_list.append(model.fit(feature, dependent).predict(feature))  # 將回歸訓(xùn)練中得到的預(yù)測(cè)y存入列表

# 模型效果指標(biāo)評(píng)估
model_metrics_name = [explained_variance_score, mean_absolute_error, mean_squared_error, r2_score]  # 回歸評(píng)估指標(biāo)對(duì)象集
model_metrics_list = []  # 回歸評(píng)估指標(biāo)列表
for i in range(6):  # 循環(huán)每個(gè)模型索引
    tmp_list = []  # 每個(gè)內(nèi)循環(huán)的臨時(shí)結(jié)果列表
    for m in model_metrics_name:  # 循環(huán)每個(gè)指標(biāo)對(duì)象
        tmp_score = m(dependent, pre_y_list[i])  # 計(jì)算每個(gè)回歸指標(biāo)結(jié)果
        tmp_list.append(tmp_score)  # 將結(jié)果存入每個(gè)內(nèi)循環(huán)的臨時(shí)結(jié)果列表
    model_metrics_list.append(tmp_list)  # 將結(jié)果存入回歸評(píng)估指標(biāo)列表
df1 = pd.DataFrame(cv_score_list, index=model_names)  # 建立交叉檢驗(yàn)的數(shù)據(jù)框
df2 = pd.DataFrame(model_metrics_list, index=model_names, columns=['ev', 'mae', 'mse', 'r2'])  # 建立回歸指標(biāo)的數(shù)據(jù)框

# 模型效果可視化
plt.figure()  # 創(chuàng)建畫布
plt.plot(np.arange(len(feature)), dependent, color='k', label='true y')  # 畫出原始值的曲線
color_list = ['r', 'b', 'g', 'y', 'p','c']  # 顏色列表
linestyle_list = ['-', '.', 'o', 'v',':', '*']  # 樣式列表
for i, pre_y in enumerate(pre_y_list):  # 讀出通過回歸模型預(yù)測(cè)得到的索引及結(jié)果
    plt.plot(np.arange(len(feature)), pre_y_list[i], color_list[i], label=model_names[i])  # 畫出每條預(yù)測(cè)結(jié)果線
plt.title('regression result comparison')  # 標(biāo)題
plt.legend(loc='upper right')  # 圖例位置
plt.ylabel('real and predicted value')  # y軸標(biāo)題
plt.show()  # 展示圖像

# 模型應(yīng)用
new_point_set = [[random.random(),random.random(),random.random(),random.random(),random.random()],
                 [random.random(),random.random(),random.random(),random.random(),random.random()],
                 [random.random(),random.random(),random.random(),random.random(),random.random()],
                [random.random(),random.random(),random.random(),random.random(),random.random()]]  # 要預(yù)測(cè)的新數(shù)據(jù)集

print("貝葉斯嶺回歸模型預(yù)測(cè)結(jié)果：")
for i, new_point in enumerate(new_point_set):  # 循環(huán)讀出每個(gè)要預(yù)測(cè)的數(shù)據(jù)點(diǎn)
    new_pre_y = model_gbr.predict(np.array(new_point).reshape(1,-1))
    print ('預(yù)測(cè)隨機(jī)數(shù)值 %d 是:  %.2f' % (i + 1, new_pre_y))  # 打印輸出每個(gè)數(shù)據(jù)點(diǎn)的預(yù)測(cè)信息
print (50 * '-')
print("普通線性回歸模型預(yù)測(cè)結(jié)果：")
for i, new_point in enumerate(new_point_set):  # 循環(huán)讀出每個(gè)要預(yù)測(cè)的數(shù)據(jù)點(diǎn)
    new_pre_y = model_lr.predict(np.array(new_point).reshape(1,-1))
    print ('預(yù)測(cè)隨機(jī)數(shù)值 %d 是:  %.2f' % (i + 1, new_pre_y))  # 打印輸出每個(gè)數(shù)據(jù)點(diǎn)的預(yù)測(cè)信息
print (50 * '-')
print("彈性網(wǎng)絡(luò)回歸模型預(yù)測(cè)結(jié)果：")
for i, new_point in enumerate(new_point_set):  # 循環(huán)讀出每個(gè)要預(yù)測(cè)的數(shù)據(jù)點(diǎn)
    new_pre_y = model_etc.predict(np.array(new_point).reshape(1,-1))
    print ('預(yù)測(cè)隨機(jī)數(shù)值 %d 是:  %.2f' % (i + 1, new_pre_y))  # 打印輸出每個(gè)數(shù)據(jù)點(diǎn)的預(yù)測(cè)信息
print (50 * '-')   
print("支持向量機(jī)回歸模型預(yù)測(cè)結(jié)果：")
for i, new_point in enumerate(new_point_set):  # 循環(huán)讀出每個(gè)要預(yù)測(cè)的數(shù)據(jù)點(diǎn)
    new_pre_y = model_svr.predict(np.array(new_point).reshape(1,-1))
    print ('預(yù)測(cè)隨機(jī)數(shù)值 %d 是:  %.2f' % (i + 1, new_pre_y))  # 打印輸出每個(gè)數(shù)據(jù)點(diǎn)的預(yù)測(cè)信息
print (50 * '-')   
print("拉索回歸模型預(yù)測(cè)結(jié)果：")
for i, new_point in enumerate(new_point_set):  # 循環(huán)讀出每個(gè)要預(yù)測(cè)的數(shù)據(jù)點(diǎn)
    new_pre_y = model_la.predict(np.array(new_point).reshape(1,-1))
    print ('預(yù)測(cè)隨機(jī)數(shù)值 %d 是:  %.2f' % (i + 1, new_pre_y))  # 打印輸出每個(gè)數(shù)據(jù)點(diǎn)的預(yù)測(cè)信息