如何用python做逐步回歸
算法介紹
逐步回歸是一種線性回歸模型自變量選擇方法;
逐步回歸的基本思想是將變量逐個(gè)引入模型,每引入一個(gè)解釋變量后都要進(jìn)行F檢驗(yàn),并對已經(jīng)選入的解釋變量逐個(gè)進(jìn)行t檢驗(yàn),當(dāng)原來引入的解釋變量由于后面解釋變量的引入變得不再顯著時(shí),則將其刪除。以確保每次引入新的變量之前回歸方程中只包含顯著性變量。這是一個(gè)反復(fù)的過程,直到既沒有顯著的解釋變量選入回歸方程,也沒有不顯著的解釋變量從回歸方程中剔除為止。以保證最后所得到的解釋變量集是最優(yōu)的。
這里我們選擇赤池信息量(Akaike Information Criterion)來作為自變量選擇的準(zhǔn)則,赤池信息量(AIC)達(dá)到最?。夯谧畲笏迫还烙?jì)原理的模型選擇準(zhǔn)則。
數(shù)據(jù)情況
案例
在現(xiàn)實(shí)生活中,影響一個(gè)地區(qū)居民消費(fèi)的因素有很多,例如一個(gè)地區(qū)的人均生產(chǎn)總值、收入水平等等,本案例選取了9個(gè)解釋變量研究城鎮(zhèn)居民家庭平均每人全年的消費(fèi)新支出y,解釋變量為:
x1——居民的食品花費(fèi)
x2——居民的衣著消費(fèi)
x3——居民的居住花費(fèi)
x4——居民的醫(yī)療保健花費(fèi)
x5——居民的文教娛樂花費(fèi)
x6——地區(qū)的職工平均工資
x7——地區(qū)的人均GDP
x8——地區(qū)的消費(fèi)價(jià)格指數(shù)
x9——地區(qū)的失業(yè)率(%)
數(shù)據(jù)

代碼
# -*- coding: UTF-8 -*-
import numpy as np
import statsmodels.api as sm
import statsmodels.formula.api as smf
from statsmodels.stats.api import anova_lm
import matplotlib.pyplot as plt
import pandas as pd
from patsy import dmatrices
import itertools as it
import random
# Load data 讀取數(shù)據(jù)
df = pd.read_csv('data3.1.csv',encoding='gbk')
print(df)
target = 'y'
variate = set(df.columns) #獲取列名
variate.remove(target) #去除無關(guān)列
variate.remove('地區(qū)')
#定義多個(gè)數(shù)組,用來分別用來添加變量,刪除變量
x = []
variate_add = []
variate_del = variate.copy()
# print(variate_del)
y = random.sample(variate,3) #隨機(jī)生成一個(gè)選模型,3為變量的個(gè)數(shù)
print(y)
#將隨機(jī)生成的三個(gè)變量分別輸入到 添加變量和刪除變量的數(shù)組
for i in y:
variate_add.append(i)
x.append(i)
variate_del.remove(i)
global aic #設(shè)置全局變量 這里選擇AIC值作為指標(biāo)
formula="{}~{}".format("y","+".join(variate_add)) #將自變量名連接起來
aic=smf.ols(formula=formula,data=df).fit().aic #獲取隨機(jī)函數(shù)的AIC值,與后面的進(jìn)行對比
print("隨機(jī)化選模型為:{}~{},對應(yīng)的AIC值為:{}".format("y","+".join(variate_add), aic))
print("\n")
#添加變量
def forwark():
score_add = []
global best_add_score
global best_add_c
print("添加變量")
for c in variate_del:
formula = "{}~{}".format("y", "+".join(variate_add+[c]))
score = smf.ols(formula = formula, data = df).fit().aic
score_add.append((score, c)) #將添加的變量,以及新的AIC值一起存儲在數(shù)組中
print('自變量為{},對應(yīng)的AIC值為:{}'.format("+".join(variate_add+[c]), score))
score_add.sort(reverse=True) #對數(shù)組內(nèi)的數(shù)據(jù)進(jìn)行排序,選擇出AIC值最小的
best_add_score, best_add_c = score_add.pop()
print("最小AIC值為:{}".format(best_add_score))
print("\n")
#刪除變量
def back():
score_del = []
global best_del_score
global best_del_c
print("剔除變量")
for i in x:
select = x.copy() #copy一個(gè)集合,避免重復(fù)修改到原集合
select.remove(i)
formula = "{}~{}".format("y","+".join(select))
score = smf.ols(formula = formula, data = df).fit().aic
print('自變量為{},對應(yīng)的AIC值為:{}'.format("+".join(select), score))
score_del.append((score, i))
score_del.sort(reverse=True) #排序,方便將最小值輸出
best_del_score, best_del_c = score_del.pop() #將最小的AIC值以及對應(yīng)剔除的變量分別賦值
print("最小AIC值為:{}".format(best_del_score))
print("\n")
print("剩余變量為:{}".format(variate_del))
forwark()
back()
while variate:
# forwark()
# back()
if(aic < best_add_score < best_del_score or aic < best_del_score < best_add_score):
print("當(dāng)前回歸方程為最優(yōu)回歸方程,為{}~{},AIC值為:{}".format("y","+".join(variate_add), aic))
break
elif(best_add_score < best_del_score < aic or best_add_score < aic < best_del_score):
print("目前最小的aic值為{}".format(best_add_score))
print('選擇自變量:{}'.format("+".join(variate_add + [best_add_c])))
print('\n')
variate_del.remove(best_add_c)
variate_add.append(best_add_c)
print("剩余變量為:{}".format(variate_del))
aic = best_add_score
forwark()
else:
print('當(dāng)前最小AIC值為:{}'.format(best_del_score))
print('需要剔除的變量為:{}'.format(best_del_c))
aic = best_del_score #將AIC值較小的選模型AIC值賦給aic再接著下一輪的對比
x.remove(best_del_c) #在原集合上剔除選模型所對應(yīng)剔除的變量
back()
結(jié)果



以上就是如何用python 做逐步回歸的詳細(xì)內(nèi)容,更多關(guān)于python 逐步回歸的資料請關(guān)注腳本之家其它相關(guān)文章!
- 利用python實(shí)現(xiàn)逐步回歸
- 如何用Python徒手寫線性回歸
- python 實(shí)現(xiàn)邏輯回歸
- python 實(shí)現(xiàn)一個(gè)簡單的線性回歸案例
- python 還原梯度下降算法實(shí)現(xiàn)一維線性回歸
- python 牛頓法實(shí)現(xiàn)邏輯回歸(Logistic Regression)
- Python 實(shí)現(xiàn)3種回歸模型(Linear Regression,Lasso,Ridge)的示例
- python實(shí)現(xiàn)邏輯回歸的示例
- 如何在python中實(shí)現(xiàn)線性回歸
- 帶你學(xué)習(xí)Python如何實(shí)現(xiàn)回歸樹模型
- python rolling regression. 使用 Python 實(shí)現(xiàn)滾動回歸操作
- Python 線性回歸分析以及評價(jià)指標(biāo)詳解
相關(guān)文章
淺談pandas中DataFrame關(guān)于顯示值省略的解決方法
下面小編就為大家分享一篇淺談pandas中DataFrame關(guān)于顯示值省略的解決方法,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
Django1.11配合uni-app發(fā)起微信支付的實(shí)現(xiàn)
這篇文章主要介紹了Django1.11配合uni-app發(fā)起微信支付的實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10
python使用aiohttp通過設(shè)置代理爬取基金數(shù)據(jù)簡單示例
這篇文章主要為大家介紹了python使用aiohttp通過設(shè)置代理爬取基金數(shù)據(jù)簡單示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2023-06-06
python實(shí)現(xiàn)的一只從百度開始不斷搜索的小爬蟲
這是我第三天學(xué)python了, 想寫一個(gè)東西紀(jì)念一下吧,于是寫了一直爬蟲,但是不是好的蟲,只能講網(wǎng)頁的關(guān)鍵詞存到本地, 但是我覺得基本上算是一只小蟲了2013-08-08
Python+Pygame實(shí)戰(zhàn)之文字劇情游戲的實(shí)現(xiàn)
這篇文章主要為大家詳細(xì)介紹了如何利用Python和Pygame實(shí)現(xiàn)兩款文字劇情游戲——《巨龍之洞》和《太空礦工》,感興趣的小伙伴可以了解一下2022-12-12
Python使用ffmpeg合成視頻、音頻的實(shí)現(xiàn)方法
這篇文章主要介紹了Python使用ffmpeg合成視頻、音頻,通過本文的學(xué)習(xí)能幫助大家了解如何在python中調(diào)用ffmpeg模塊,對此進(jìn)行音視頻合并,完成視頻合成,需要的朋友可以參考下2022-04-04

