利用Python實(shí)現(xiàn)最小二乘法與梯度下降算法
導(dǎo)入所需庫(kù)
%matplotlib inline import sympy import numpy as np import matplotlib.pyplot as plt from sympy.abc import x as a,y as b
生成模擬數(shù)據(jù)
# 模擬函數(shù) y=3x-1 #自變量 x=np.linspace(-5,5,num=1000) #加入噪聲 noise=np.random.rand(len(x))*2-1 #因變量 y=3*x-1+noise
查看所生成數(shù)據(jù)的圖像
plt.figure(figsize=(10,10)) plt.scatter(x,y,s=1)
求代價(jià)函數(shù)的偏導(dǎo)
y=ax+b #目標(biāo)函數(shù) e=1/2*Σ([axi+b]-yi)^2 #代價(jià)函數(shù)，求使得代價(jià)函數(shù)為最小值時(shí)，對(duì)應(yīng)的a和b 對(duì)a求偏導(dǎo)->Σ(axi+b-yi)*xi 對(duì)b求偏導(dǎo)->Σ(axi+b-yi)
1. 通過(guò)最小二乘法求a，b
我們知道當(dāng)在a,b處的偏導(dǎo)為0時(shí)，代價(jià)函數(shù)e達(dá)到最小值，所以得到二元一次方程組
Σ(axi+b-yi)*xi=0
Σ(axi+b-yi)=0
該方程組是關(guān)于未知數(shù)為a,b的二元一次方程組，通過(guò)求解該方程，得到a，b
result=sympy.solve([
np.sum((a*x+b-y)*x),
np.sum(a*x+b-y)],[a,b])
print(result) #{x: 3.01182977621975, y: -1.00272253325765}
通過(guò)sympy庫(kù)解方程組，得出了a= 3.01182977621975，b= -1.00272253325765，已經(jīng)與我們真實(shí)的a，b很接近了，下面進(jìn)行作圖
plt.figure(figsize=(10,10)) plt.scatter(x,y,s=1) plt.plot(x,result[a]*x+result[b],c='red') print(type(a),type(b)) #<class 'sympy.core.symbol.Symbol'> <class 'sympy.core.symbol.Symbol'>
2. 通過(guò)梯度下降算法求a，b
我們注意到最小二乘法最后一步要求p個(gè)方程組，是非常大的計(jì)算量，其實(shí)計(jì)算起來(lái)很難，因此我們就有了一種新的計(jì)算方法，就是梯度下降法，梯度下降法可以看作是 更簡(jiǎn)單的一種 求最小二乘法最后一步解方程 的方法
# 注意這里覆蓋了sympy.abc的a和b # 設(shè)定a和b的起始點(diǎn) a,b=0.1,0.1 #步長(zhǎng)，也稱作學(xué)習(xí)率 alpha=0.00001 #循環(huán)一千次結(jié)束 for i in range(1000): a-=alpha*np.sum((a*x+b-y)*x) b-=alpha*np.sum(a*x+b-y) print(a,b) #3.0118297762197526 -1.002674927350334
通過(guò)梯度下降法，得出了a= 3.0118297762197526，b= -1.002674927350334，也是很接近真實(shí)的a，b值了，作圖看看
plt.figure(figsize=(10,10)) plt.scatter(x,y,s=1) plt.plot(x,a*x+b,c='black') print(type(a),type(b)) #<class 'numpy.float64'> <class 'numpy.float64'>
到此這篇關(guān)于利用Python實(shí)現(xiàn)最小二乘法與梯度下降算法的文章就介紹到這了,更多相關(guān)Python最小二乘法與梯度下降內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
python?argparse的使用步驟(全網(wǎng)最全)
argparse是python的一個(gè)命令行參數(shù)解析包，在代碼需要頻繁修改參數(shù)時(shí)，方便使用，主要用法就是在命令行輸入自己想要修改的參數(shù)，這篇文章主要介紹了python?argparse的使用步驟(全網(wǎng)最全),需要的朋友可以參考下2023-04-04
在Python程序和Flask框架中使用SQLAlchemy的教程
SQLAlchemy為Python程序與SQL語(yǔ)句之間建立了映射,是Python操作數(shù)據(jù)庫(kù)的利器,這里我們將來(lái)看在Python程序和Flask框架中使用SQLAlchemy的教程,需要的朋友可以參考下2016-06-06
python 信息同時(shí)輸出到控制臺(tái)與文件的實(shí)例講解
今天小編就為大家分享一篇python 信息同時(shí)輸出到控制臺(tái)與文件的實(shí)例講解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-05-05
使用Python創(chuàng)建多功能文件管理器的代碼示例
在本文中,我們將探索一個(gè)使用Python的wxPython庫(kù)開(kāi)發(fā)的文件管理器應(yīng)用程序,這個(gè)應(yīng)用程序不僅能夠?yàn)g覽和選擇文件,還支持文件預(yù)覽、壓縮、圖片轉(zhuǎn)換以及生成PPT演示文稿的功能,需要的朋友可以參考下2024-08-08
用Python簡(jiǎn)單實(shí)現(xiàn)Http服務(wù)端
這篇文章主要為大家介紹了使用Python簡(jiǎn)單實(shí)現(xiàn)Http服務(wù)端示例解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-07-07
今天小編就為大家分享一篇pandas 快速處理 date_time 日期格式方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-11-11
python35種繪圖函數(shù)詳細(xì)總結(jié)
Python有許多用于繪圖的函數(shù)和庫(kù),比如Matplotlib,Plotly,Bokeh,Seaborn等,這只是一些常用的繪圖函數(shù)和庫(kù),Python還有其他繪圖工具,如Pandas、ggplot等,選擇適合你需求的庫(kù),可以根據(jù)你的數(shù)據(jù)類(lèi)型、圖形需求和個(gè)人偏好來(lái)決定,本文給大家總結(jié)了python35種繪圖函數(shù)2023-08-08
python內(nèi)置函數(shù)之slice案例詳解
這篇文章主要介紹了python內(nèi)置函數(shù)之slice案例詳解,本篇文章通過(guò)簡(jiǎn)要的案例,講解了該項(xiàng)技術(shù)的了解與使用,以下就是詳細(xì)內(nèi)容,需要的朋友可以參考下2021-09-09
pandas進(jìn)行數(shù)據(jù)的交集與并集方式的數(shù)據(jù)合并方法
今天小編就為大家分享一篇pandas進(jìn)行數(shù)據(jù)的交集與并集方式的數(shù)據(jù)合并方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-06-06
這篇文章主要用代碼幫你了解Python基礎(chǔ)，使用列表，元組和條件判斷的示例代碼，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2022-01-01