Pytorch-LSTM輸入輸出參數(shù)方式

更新時(shí)間：2022年07月11日 14:36:14 作者：奧卡姆的剃刀

這篇文章主要介紹了Pytorch-LSTM輸入輸出參數(shù)方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。

1.Pytorch中的LSTM中輸入輸出參數(shù)

nn.lstm是繼承nn.RNNBase，初始化的定義如下：

class RNNBase(Module):
	...
    def __init__(self, mode, input_size, hidden_size,
                 num_layers=1, bias=True, batch_first=False,
                 dropout=0., bidirectional=False):

以下是Pytorch中的參數(shù)及其含義，解釋如下：

input_size – 輸入數(shù)據(jù)的大小，也就是前面例子中每個(gè)單詞向量的長(zhǎng)度
hidden_size – 隱藏層的大?。措[藏層節(jié)點(diǎn)數(shù)量），輸出向量的維度等于隱藏節(jié)點(diǎn)數(shù)
num_layers – recurrent layer的數(shù)量，默認(rèn)等于1。
bias – If False, then the layer does not use bias weights b_ih and b_hh. Default: True
batch_first – 默認(rèn)為False，也就是說官方不推薦我們把batch放在第一維，這個(gè)與之前常見的CNN輸入有點(diǎn)不同，此時(shí)輸入輸出的各個(gè)維度含義為 (seq_length,batch,feature)。當(dāng)然如果你想和CNN一樣把batch放在第一維，可將該參數(shù)設(shè)置為True，即 (batch,seq_length,feature)，習(xí)慣上將batch_first 設(shè)置為True。
dropout – 如果非0，就在除了最后一層的其它層都插入Dropout層，默認(rèn)為0。
bidirectional – 如果設(shè)置為 True, 則表示雙向 LSTM，默認(rèn)為 False

2.輸入數(shù)據(jù)（以batch_first=True，單層單向?yàn)槔?/h2>

假設(shè)輸入數(shù)據(jù)信息如下：

輸入維度 = 28

nn.lstm中的API輸入?yún)?shù)如下：

time_steps= 3
batch_first = True
batch_size = 10
hidden_size =4
num_layers = 1
bidirectional = False

備注：先以簡(jiǎn)單的num_layers=1和bidirectional=1為例，后面會(huì)講到num_layers與bidirectional的LSTM網(wǎng)絡(luò)具體構(gòu)造。

下在面代碼的中：

lstm_input是輸入數(shù)據(jù)，隱層初始輸入h_init和記憶單元初始輸入c_init的解釋如下：

h_init：維度形狀為 (num_layers * num_directions, batch, hidden_size)：

第一個(gè)參數(shù)的含義num_layers * num_directions，即LSTM的層數(shù)乘以方向數(shù)量。這個(gè)方向數(shù)量是由前面介紹的bidirectional決定，如果為False,則等于1；反之等于2（可以結(jié)合下圖理解num_layers * num_directions的含義）。
batch：批數(shù)據(jù)量大小
hidden_size: 隱藏層節(jié)點(diǎn)數(shù)

c_init：維度形狀也為(num_layers * num_directions, batch, hidden_size)，各參數(shù)含義與h_init相同。因?yàn)楸举|(zhì)上，h_init與c_init只是在不同時(shí)刻的不同表達(dá)而已。

備注：如果沒有傳入，h_init和c_init，根據(jù)源代碼來(lái)看，這兩個(gè)參數(shù)會(huì)默認(rèn)為0。

import torch
from torch.autograd import Variable
from torch import nn
 
input_size = 28
hidden_size = 4
 
lstm_seq = nn.LSTM(input_size, hidden_size, num_layers=1,batch_first=True)  # 構(gòu)建LSTM網(wǎng)絡(luò)
lstm_input = Variable(torch.randn(10, 3, 28))  # 構(gòu)建輸入
h_init = Variable(torch.randn(1, lstm_input.size(0), hidden_size))  # 構(gòu)建h輸入?yún)?shù)   -- 每個(gè)batch對(duì)應(yīng)一個(gè)隱層
c_init = Variable(torch.randn(1, lstm_input.size(0), hidden_size))  # 構(gòu)建c輸出參數(shù)   -- 每個(gè)batch對(duì)應(yīng)一個(gè)隱層
out, (h, c) = lstm_seq(lstm_input, (h_init, c_init))  # 將輸入數(shù)據(jù)和初始化隱層、記憶單元信息傳入
 
print(lstm_seq.weight_ih_l0.shape) # 對(duì)應(yīng)的輸入學(xué)習(xí)參數(shù)
print(lstm_seq.weight_hh_l0.shape) # 對(duì)應(yīng)的隱層學(xué)習(xí)參數(shù)
print(out.shape, h.shape, c.shape)

輸出結(jié)果如下：

輸出結(jié)果解釋如下：

（1）lstm_seq.weight_ih_l0.shape的結(jié)果為：torch.Size([16, 28])，表示對(duì)應(yīng)的輸入到隱層的學(xué)習(xí)參數(shù)：(4*hidden_size, input_size)。

（2）lstm_seq.weight_hh_l0.shape的結(jié)果為：torch.Size([16, 4])，表示對(duì)應(yīng)的隱層到隱層的學(xué)習(xí)參數(shù)：(4*hidden_size, num_directions * hidden_size)

（3）out.shape的輸出結(jié)果：torch.Size([10,3, 4])，表示隱層到輸出層學(xué)習(xí)參數(shù)，即(batch，time_steps, num_directions * hidden_size)，維度和輸入數(shù)據(jù)類似，會(huì)根據(jù)batch_first是否為True進(jìn)行對(duì)應(yīng)的輸出結(jié)果，（如果代碼中，batch_first=False，則out.shape的結(jié)果會(huì)變?yōu)椋簍orch.Size([3, 10, 4])），

這個(gè)輸出tensor包含了LSTM模型最后一層每個(gè)time_step的輸出特征，比如說LSTM有兩層，那么最后輸出的是,表示第二層LSTM每個(gè)time step對(duì)應(yīng)的輸出；另外如果前面對(duì)輸入數(shù)據(jù)使用了torch.nn.utils.rnn.PackedSequence,那么輸出也會(huì)做同樣的操作編程packed sequence；對(duì)于unpacked情況，我們可以對(duì)輸出做如下處理來(lái)對(duì)方向作分離output.view(seq_len, batch, num_directions, hidden_size), 其中前向和后向分別用0和1表示。

h.shape輸出結(jié)果是： torch.Size([1, 10, 4]),表示隱層到輸出層的參數(shù)，h_n：(num_layers * num_directions, batch, hidden_size)，只會(huì)輸出最后一個(gè)time step的隱狀態(tài)結(jié)果（如下圖所示）

c.shape的輸出結(jié)果是： torch.Size([1, 10, 4])，表示隱層到輸出層的參數(shù)，c_n ：(num_layers * num_directions, batch, hidden_size)，同樣只會(huì)輸出最后一個(gè)time step的cell狀態(tài)結(jié)果（如下圖所示）

3.輸入數(shù)據(jù)（以batch_first=True，雙層雙向）

'''
    batch_first = True :   輸入形式：(batch, seq, feature)
    bidirectional = True
    num_layers = 2
'''
num_layers = 2
bidirectional_set  = True
bidirectional = 2 if bidirectional_set else 1
 
input_size = 28
hidden_size = 4
 
lstm_seq = nn.LSTM(input_size, hidden_size, num_layers=num_layers,bidirectional=bidirectional_set,batch_first=True)  # 構(gòu)建LSTM網(wǎng)絡(luò)
lstm_input = Variable(torch.randn(10, 3, 28))  # 構(gòu)建輸入
h_init = Variable(torch.randn(num_layers*bidirectional, lstm_input.size(0), hidden_size))  # 構(gòu)建h輸入?yún)?shù)
c_init = Variable(torch.randn(num_layers*bidirectional, lstm_input.size(0), hidden_size))  # 構(gòu)建c輸出參數(shù)
out, (h, c) = lstm_seq(lstm_input, (h_init, c_init))  # 計(jì)算
print(lstm_seq.weight_ih_l0.shape)
print(lstm_seq.weight_hh_l0.shape)
print(out.shape, h.shape, c.shape)

輸出結(jié)果如下：

Pytorch-LSTM函數(shù)參數(shù)解釋圖解

最近在寫有關(guān)LSTM的代碼，但是對(duì)于nn.LSTM函數(shù)中的有些參數(shù)還是不明白其具體含義，學(xué)習(xí)過后在此記錄。

為了方便說明，我們先解釋函數(shù)參數(shù)的作用，接著對(duì)應(yīng)圖片來(lái)說明每個(gè)參數(shù)的具體含義。

torch.nn.LSTM函數(shù)

LSTM的函數(shù)

class torch.nn.LSTM(args, *kwargs)
	# 主要參數(shù)
	# input_size – 輸入的特征維度
	# hidden_size – 隱狀態(tài)的特征維度
	# num_layers – 層數(shù)（和時(shí)序展開要區(qū)分開）
	# bias – 如果為False，那么LSTM將不會(huì)使用偏置，默認(rèn)為True。
	# batch_first – 如果為True，那么輸入和輸出Tensor的形狀為(batch, seq_len, input_size)
	# dropout – 如果非零的話，將會(huì)在RNN的輸出上加個(gè)dropout，最后一層除外。
	# bidirectional – 如果為True，將會(huì)變成一個(gè)雙向RNN，默認(rèn)為False。

LSTM的輸入維度為 (seq_len, batch, input_size) 如果batch_first為True，則輸入形狀為(batch, seq_len, input_size)