解決Pytorch訓(xùn)練過程中l(wèi)oss不下降的問題
在使用Pytorch進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練時(shí)，有時(shí)會(huì)遇到訓(xùn)練學(xué)習(xí)率不下降的問題。出現(xiàn)這種問題的可能原因有很多，包括學(xué)習(xí)率過小，數(shù)據(jù)沒有進(jìn)行Normalization等。不過除了這些常規(guī)的原因，還有一種難以發(fā)現(xiàn)的原因：在計(jì)算loss時(shí)數(shù)據(jù)維數(shù)不匹配。
下面是我的代碼：
loss_function = torch.nn.MSE_loss() optimizer.zero_grad() output = model(x_train) loss = loss_function(output, y_train) loss.backward() optimizer.step()
要特別注意計(jì)算loss時(shí)網(wǎng)絡(luò)輸出值output和真實(shí)值y_train的維數(shù)必須完全匹配，否則訓(xùn)練誤差不下降，無法訓(xùn)練。這種錯(cuò)誤在訓(xùn)練一維數(shù)據(jù)時(shí)很容易忽略，要十分注意。
以上這篇解決Pytorch訓(xùn)練過程中l(wèi)oss不下降的問題就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python+Selenium實(shí)現(xiàn)短視頻自動(dòng)上傳與發(fā)布的實(shí)踐
本文主要介紹了Python+Selenium實(shí)現(xiàn)短視頻自動(dòng)上傳與發(fā)布的實(shí)踐，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2022-04-04
python使用open函數(shù)對(duì)文件進(jìn)行處理詳解
今天看了open函數(shù),看到w+ r+ a+ 這種可讀可寫的操作,下面這篇文章主要給大家介紹了關(guān)于python使用open函數(shù)對(duì)文件進(jìn)行處理的相關(guān)資料,文中通過實(shí)例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-05-05
python 內(nèi)置庫wsgiref的使用（WSGI基礎(chǔ)入門）
WSGI（web服務(wù)器網(wǎng)關(guān)接口）主要規(guī)定了服務(wù)器端和應(yīng)用程序之間的接口，即規(guī)定了請(qǐng)求的URL到后臺(tái)處理函數(shù)之間的映射該如何實(shí)現(xiàn)。wsgiref是一個(gè)幫助開發(fā)者開發(fā)測(cè)試的Python內(nèi)置庫，程序員可以通過這個(gè)庫了解WSGI的基本運(yùn)行原理，但是不能把它用在生產(chǎn)環(huán)境上。2021-06-06
python3 requests庫實(shí)現(xiàn)多圖片爬取教程
今天小編就為大家分享一篇python3 requests庫實(shí)現(xiàn)多圖片爬取教程，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-12-12
Python+OpenCV實(shí)現(xiàn)圖像融合的原理及代碼
這篇文章主要介紹了Python+OpenCV實(shí)現(xiàn)圖像融合的原理及代碼,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2018-12-12
Python中數(shù)字以及算數(shù)運(yùn)算符的相關(guān)使用
這篇文章主要介紹了Python中數(shù)字以及算數(shù)運(yùn)算符的相關(guān)使用,是Python入門學(xué)習(xí)中的基礎(chǔ)知識(shí),需要的朋友可以參考下2015-10-10
中秋節(jié)是中國傳統(tǒng)的重要節(jié)日之一,起源于嫦娥奔月的神話故事,在中秋節(jié)這個(gè)特殊的日子里,人們不僅會(huì)欣賞明亮的月亮和嫦娥奔月的美麗故事,還會(huì)舉行一些慶?；顒?dòng),接下來,我們使用Pygame制作“嫦娥奔月”小游戲,感興趣的朋友可以自己動(dòng)手試一試2023-09-09
這篇文章主要介紹了解決Pyinstaller打包軟件失敗的一個(gè)坑，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2021-03-03![Pycharm之如何安裝cv2 [python3.6]](http://img.jbzj.com/images/xgimg/bcimg8.png)
這篇文章主要介紹了Pycharm之如何安裝cv2 [python3.6]問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2023-05-05
如何使用Python進(jìn)行PDF圖片識(shí)別OCR
這篇文章主要介紹了如何使用Python進(jìn)行PDF圖片識(shí)別OCR，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2021-01-01