Pytorch中accuracy和loss的計(jì)算知識點(diǎn)總結(jié)

更新時(shí)間：2019年09月10日 15:43:33 作者：嶙羽

在本片文章里小編給大家整理的是關(guān)于Pytorch中accuracy和loss的計(jì)算相關(guān)知識點(diǎn)內(nèi)容，有需要的朋友們可以學(xué)習(xí)下。

這幾天關(guān)于accuracy和loss的計(jì)算有一些疑惑，原來是自己還沒有弄清楚。

給出實(shí)例

def train(train_loader, model, criteon, optimizer, epoch):
  train_loss = 0
  train_acc = 0
  num_correct= 0
  for step, (x,y) in enumerate(train_loader):

    # x: [b, 3, 224, 224], y: [b]
    x, y = x.to(device), y.to(device)

    model.train()
    logits = model(x)
    loss = criteon(logits, y)

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()
    train_loss += float(loss.item())
    train_losses.append(train_loss)
    pred = logits.argmax(dim=1)
    num_correct += torch.eq(pred, y).sum().float().item()
  logger.info("Train Epoch: {}\t Loss: {:.6f}\t Acc: {:.6f}".format(epoch,train_loss/len(train_loader),num_correct/len(train_loader.dataset)))
  return num_correct/len(train_loader.dataset), train_loss/len(train_loader)

首先這樣一次訓(xùn)練稱為一個(gè)epoch，樣本總數(shù)/batchsize是走完一個(gè)epoch所需的“步數(shù)”，相對應(yīng)的，len(train_loader.dataset)也就是樣本總數(shù)，len(train_loader)就是這個(gè)步數(shù)。

那么，accuracy的計(jì)算也就是在整個(gè)train_loader的for循環(huán)中（步數(shù)），把每個(gè)mini_batch中判斷正確的個(gè)數(shù)累加起來，然后除以樣本總數(shù)就行了；

而loss的計(jì)算有講究了，首先在這里我們是計(jì)算交叉熵，關(guān)于交叉熵，也就是涉及到兩個(gè)值，一個(gè)是模型給出的logits，也就是10個(gè)類，每個(gè)類的概率分布，另一個(gè)是樣本自身的

label，在Pytorch中，只要把這兩個(gè)值輸進(jìn)去就能計(jì)算交叉熵，用的方法是nn.CrossEntropyLoss，這個(gè)方法其實(shí)是計(jì)算了一個(gè)minibatch的均值了，因此累加以后需要除以的步數(shù)，也就是

minibatch的個(gè)數(shù)，而不是像accuracy那樣是樣本個(gè)數(shù)，這一點(diǎn)非常重要。

以上就是本次介紹的全部知識點(diǎn)內(nèi)容，感謝大家對腳本之家的支持。

您可能感興趣的文章:

相關(guān)文章

Python實(shí)現(xiàn)視頻分幀的方法分享
這篇文章主要為大家詳細(xì)介紹了如何通過Python語言實(shí)現(xiàn)視頻分幀的功能，文中的示例代碼講解詳細(xì)，感興趣的小伙伴可以跟隨小編一起嘗試一下
2023-03-03
Python 26進(jìn)制計(jì)算實(shí)現(xiàn)方法
這篇文章主要介紹了Python 26進(jìn)制計(jì)算實(shí)現(xiàn)方法,涉及Python字符串與數(shù)值計(jì)算的相關(guān)操作技巧,需要的朋友可以參考下
2015-05-05
python圖像處理入門（一）
這篇文章主要介紹了python圖像處理入門，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2019-04-04
python關(guān)于逆序輸出留空格的方法解讀
這篇文章主要介紹了python關(guān)于逆序輸出留空格的方法,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2024-02-02
PyCharm 2020.2 安裝詳細(xì)教程
這篇文章主要介紹了PyCharm 2020.2 安裝詳細(xì)教程,本文通過圖文并茂的形式給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2020-08-08
在TensorFlow中實(shí)現(xiàn)矩陣維度擴(kuò)展
這篇文章主要介紹了在TensorFlow中實(shí)現(xiàn)矩陣維度擴(kuò)展方式，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-05-05
Python遠(yuǎn)程開發(fā)環(huán)境部署與調(diào)試過程圖解
這篇文章主要介紹了Python遠(yuǎn)程開發(fā)環(huán)境部署與調(diào)試過程圖解,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
2019-12-12
python讀取測試數(shù)據(jù)的多種方式
本文主要介紹了python讀取測試數(shù)據(jù)的多種方式，文中通過示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2021-08-08
教你利用Python破解ZIP或RAR文件密碼
常常會從網(wǎng)絡(luò)上下載一些帶密碼的壓縮包,想要獲取里面的內(nèi)容,往往就要給提供商支付一些費(fèi)用.想要白嫖其中的內(nèi)容,常見的做法是百度搜索一些壓縮包密碼破解軟件,但后果相信體驗(yàn)過的人都知道.本文詳細(xì)介紹了怎么破解壓縮包,需要的朋友可以參考下
2021-05-05
python文件操作的簡單方法總結(jié)
在本篇文章里小編給大家整理的是關(guān)于python文件操作的簡單方法知識點(diǎn)，有需要的朋友們可以學(xué)習(xí)下。
2019-11-11