關(guān)于tf.nn.dynamic_rnn返回值詳解
更新時(shí)間：2020年01月20日 17:22:46 作者：小T是我
今天小編就為大家分享一篇關(guān)于tf.nn.dynamic_rnn返回值詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧
函數(shù)原型
tf.nn.dynamic_rnn( cell, inputs, sequence_length=None, initial_state=None, dtype=None, parallel_iterations=None, swap_memory=False, time_major=False, scope=None )
實(shí)例講解：
import tensorflow as tf
import numpy as np
n_steps = 2
n_inputs = 3
n_neurons = 5
X = tf.placeholder(tf.float32, [None, n_steps, n_inputs])
basic_cell = tf.contrib.rnn.BasicRNNCell(num_units=n_neurons)
seq_length = tf.placeholder(tf.int32, [None])
outputs, states = tf.nn.dynamic_rnn(basic_cell, X, dtype=tf.float32,
sequence_length=seq_length)
init = tf.global_variables_initializer()
X_batch = np.array([
# step 0 step 1
[[0, 1, 2], [9, 8, 7]], # instance 1
[[3, 4, 5], [0, 0, 0]], # instance 2 (padded with zero vectors)
[[6, 7, 8], [6, 5, 4]], # instance 3
[[9, 0, 1], [3, 2, 1]], # instance 4
])
seq_length_batch = np.array([2, 1, 2, 2])
with tf.Session() as sess:
init.run()
outputs_val, states_val = sess.run(
[outputs, states], feed_dict={X: X_batch, seq_length: seq_length_batch})
print("outputs_val.shape:", outputs_val.shape, "states_val.shape:", states_val.shape)
print("outputs_val:", outputs_val, "states_val:", states_val)
log info:
outputs_val.shape: (4, 2, 5) states_val.shape: (4, 5) outputs_val: [[[ 0.53073734 -0.61281306 -0.5437517 0.7320347 -0.6109526 ] [ 0.99996936 0.99990636 -0.9867181 0.99726075 -0.99999976]] [[ 0.9931584 0.5877845 -0.9100412 0.988892 -0.9982337 ] [ 0. 0. 0. 0. 0. ]] [[ 0.99992317 0.96815354 -0.985101 0.9995968 -0.9999936 ] [ 0.99948144 0.9998127 -0.57493806 0.91015154 -0.99998355]] [[ 0.99999255 0.9998929 0.26732785 0.36024097 -0.99991137] [ 0.98875254 0.9922327 0.6505734 0.4732064 -0.9957567 ]]] states_val: [[ 0.99996936 0.99990636 -0.9867181 0.99726075 -0.99999976] [ 0.9931584 0.5877845 -0.9100412 0.988892 -0.9982337 ] [ 0.99948144 0.9998127 -0.57493806 0.91015154 -0.99998355] [ 0.98875254 0.9922327 0.6505734 0.4732064 -0.9957567 ]]
首先輸入X是一個(gè) [batch_size，step，input_size] = [4，2，3] 的tensor，注意我們這里調(diào)用的是BasicRNNCell，只有一層循環(huán)網(wǎng)絡(luò)，outputs是最后一層每個(gè)step的輸出，它的結(jié)構(gòu)是[batch_size，step，n_neurons] = [4，2，5]，states是每一層的最后那個(gè)step的輸出，由于本例中，我們的循環(huán)網(wǎng)絡(luò)只有一個(gè)隱藏層，所以它就代表這一層的最后那個(gè)step的輸出，因此它和step的大小是沒有關(guān)系的，我們的X有4個(gè)樣本組成，輸出神經(jīng)元大小n_neurons是5，因此states的結(jié)構(gòu)就是[batch_size，n_neurons] = [4，5]，最后我們觀察數(shù)據(jù)，states的每條數(shù)據(jù)正好就是outputs的最后一個(gè)step的輸出。
下面我們繼續(xù)講解多個(gè)隱藏層的情況，這里是三個(gè)隱藏層，注意我們這里仍然是調(diào)用BasicRNNCell
import tensorflow as tf
import numpy as np
n_steps = 2
n_inputs = 3
n_neurons = 5
n_layers = 3
X = tf.placeholder(tf.float32, [None, n_steps, n_inputs])
seq_length = tf.placeholder(tf.int32, [None])
layers = [tf.contrib.rnn.BasicRNNCell(num_units=n_neurons,
activation=tf.nn.relu)
for layer in range(n_layers)]
multi_layer_cell = tf.contrib.rnn.MultiRNNCell(layers)
outputs, states = tf.nn.dynamic_rnn(multi_layer_cell, X, dtype=tf.float32, sequence_length=seq_length)
init = tf.global_variables_initializer()
X_batch = np.array([
# step 0 step 1
[[0, 1, 2], [9, 8, 7]], # instance 1
[[3, 4, 5], [0, 0, 0]], # instance 2 (padded with zero vectors)
[[6, 7, 8], [6, 5, 4]], # instance 3
[[9, 0, 1], [3, 2, 1]], # instance 4
])
seq_length_batch = np.array([2, 1, 2, 2])
with tf.Session() as sess:
init.run()
outputs_val, states_val = sess.run(
[outputs, states], feed_dict={X: X_batch, seq_length: seq_length_batch})
print("outputs_val.shape:", outputs, "states_val.shape:", states)
print("outputs_val:", outputs_val, "states_val:", states_val)
log info:
outputs_val.shape:
Tensor("rnn/transpose_1:0", shape=(?, 2, 5), dtype=float32)
states_val.shape:
(<tf.Tensor 'rnn/while/Exit_3:0' shape=(?, 5) dtype=float32>,
<tf.Tensor 'rnn/while/Exit_4:0' shape=(?, 5) dtype=float32>,
<tf.Tensor 'rnn/while/Exit_5:0' shape=(?, 5) dtype=float32>)
outputs_val:
[[[0. 0. 0. 0. 0. ]
[0. 0.18740742 0. 0.2997518 0. ]]
[[0. 0.07222144 0. 0.11551574 0. ]
[0. 0. 0. 0. 0. ]]
[[0. 0.13463384 0. 0.21534224 0. ]
[0.03702604 0.18443246 0. 0.34539366 0. ]]
[[0. 0.54511094 0. 0.8718864 0. ]
[0.5382122 0. 0.04396425 0.4040263 0. ]]]
states_val:
(array([[0. , 0.83723307, 0. , 0. , 2.8518028 ],
[0. , 0.1996038 , 0. , 0. , 1.5456247 ],
[0. , 1.1372368 , 0. , 0. , 0.832613 ],
[0. , 0.7904129 , 2.4675028 , 0. , 0.36980057]],
dtype=float32),
array([[0.6524607 , 0. , 0. , 0. , 0. ],
[0.25143963, 0. , 0. , 0. , 0. ],
[0.5010576 , 0. , 0. , 0. , 0. ],
[0. , 0.3166597 , 0.4545995 , 0. , 0. ]],
dtype=float32),
array([[0. , 0.18740742, 0. , 0.2997518 , 0. ],
[0. , 0.07222144, 0. , 0.11551574, 0. ],
[0.03702604, 0.18443246, 0. , 0.34539366, 0. ],
[0.5382122 , 0. , 0.04396425, 0.4040263 , 0. ]],
dtype=float32))
我們說過，outputs是最后一層的輸出，即 [batch_size，step，n_neurons] = [4，2，5]
states是每一層的最后一個(gè)step的輸出，即三個(gè)結(jié)構(gòu)為 [batch_size，n_neurons] = [4，5] 的tensor
繼續(xù)觀察數(shù)據(jù)，states中的最后一個(gè)array，正好是outputs的最后那個(gè)step的輸出
下面我們繼續(xù)講當(dāng)由BasicLSTMCell構(gòu)造單元工廠的時(shí)候，只講多層的情況，我們只需要將上面的BasicRNNCell替換成BasicLSTMCell就行了，打印信息如下：
outputs_val.shape:
Tensor("rnn/transpose_1:0", shape=(?, 2, 5), dtype=float32)
states_val.shape:
(LSTMStateTuple(c=<tf.Tensor 'rnn/while/Exit_3:0' shape=(?, 5) dtype=float32>,
h=<tf.Tensor 'rnn/while/Exit_4:0' shape=(?, 5) dtype=float32>),
LSTMStateTuple(c=<tf.Tensor 'rnn/while/Exit_5:0' shape=(?, 5) dtype=float32>,
h=<tf.Tensor 'rnn/while/Exit_6:0' shape=(?, 5) dtype=float32>),
LSTMStateTuple(c=<tf.Tensor 'rnn/while/Exit_7:0' shape=(?, 5) dtype=float32>,
h=<tf.Tensor 'rnn/while/Exit_8:0' shape=(?, 5) dtype=float32>))
outputs_val:
[[[1.2949290e-04 0.0000000e+00 2.7623639e-04 0.0000000e+00 0.0000000e+00]
[9.4675866e-05 0.0000000e+00 2.0214770e-04 0.0000000e+00 0.0000000e+00]]
[[4.3100454e-06 4.2123037e-07 1.4312843e-06 0.0000000e+00 0.0000000e+00]
[0.0000000e+00 0.0000000e+00 0.0000000e+00 0.0000000e+00 0.0000000e+00]]
[[0.0000000e+00 0.0000000e+00 0.0000000e+00 0.0000000e+00 0.0000000e+00]
[0.0000000e+00 0.0000000e+00 0.0000000e+00 0.0000000e+00 0.0000000e+00]]
[[0.0000000e+00 0.0000000e+00 0.0000000e+00 0.0000000e+00 0.0000000e+00]
[0.0000000e+00 0.0000000e+00 0.0000000e+00 0.0000000e+00 0.0000000e+00]]]
states_val:
(LSTMStateTuple(
c=array([[0. , 0. , 0.04676079, 0.04284539, 0. ],
[0. , 0. , 0.0115245 , 0. , 0. ],
[0. , 0. , 0. , 0. , 0. ],
[0. , 0. , 0. , 0. , 0. ]],
dtype=float32),
h=array([[0. , 0. , 0.00035096, 0.04284406, 0. ],
[0. , 0. , 0.00142574, 0. , 0. ],
[0. , 0. , 0. , 0. , 0. ],
[0. , 0. , 0. , 0. , 0. ]],
dtype=float32)),
LSTMStateTuple(
c=array([[0.0000000e+00, 1.0477135e-02, 4.9871090e-03, 8.2785974e-04,
0.0000000e+00],
[0.0000000e+00, 2.3306280e-04, 0.0000000e+00, 9.9445322e-05,
5.9535629e-05],
[0.0000000e+00, 0.0000000e+00, 0.0000000e+00, 0.0000000e+00,
0.0000000e+00],
[0.0000000e+00, 0.0000000e+00, 0.0000000e+00, 0.0000000e+00,
0.0000000e+00]], dtype=float32),
h=array([[0.00000000e+00, 5.23016974e-03, 2.47756205e-03, 4.11730434e-04,
0.00000000e+00],
[0.00000000e+00, 1.16522635e-04, 0.00000000e+00, 4.97301044e-05,
2.97713632e-05],
[0.00000000e+00, 0.00000000e+00, 0.00000000e+00, 0.00000000e+00,
0.00000000e+00],
[0.00000000e+00, 0.00000000e+00, 0.00000000e+00, 0.00000000e+00,
0.00000000e+00]], dtype=float32)),
LSTMStateTuple(
c=array([[1.8937115e-04, 0.0000000e+00, 4.0442235e-04, 0.0000000e+00,
0.0000000e+00],
[8.6200516e-06, 8.4243663e-07, 2.8625946e-06, 0.0000000e+00,
0.0000000e+00],
[0.0000000e+00, 0.0000000e+00, 0.0000000e+00, 0.0000000e+00,
0.0000000e+00],
[0.0000000e+00, 0.0000000e+00, 0.0000000e+00, 0.0000000e+00,
0.0000000e+00]], dtype=float32),
h=array([[9.4675866e-05, 0.0000000e+00, 2.0214770e-04, 0.0000000e+00,
0.0000000e+00],
[4.3100454e-06, 4.2123037e-07, 1.4312843e-06, 0.0000000e+00,
0.0000000e+00],
[0.0000000e+00, 0.0000000e+00, 0.0000000e+00, 0.0000000e+00,
0.0000000e+00],
[0.0000000e+00, 0.0000000e+00, 0.0000000e+00, 0.0000000e+00,
0.0000000e+00]], dtype=float32)))
我們先看看LSTM單元的結(jié)構(gòu)
如果您不查看框內(nèi)的內(nèi)容，LSTM單元看起來與常規(guī)單元格完全相同，除了它的狀態(tài)分為兩個(gè)向量：h（t）和c（t）。你可以將h（t）視為短期狀態(tài)，將c（t）視為長期狀態(tài)。
因此我們的states包含三個(gè)LSTMStateTuple，每一個(gè)表示每一層的最后一個(gè)step的輸出，這個(gè)輸出有兩個(gè)信息，一個(gè)是h表示短期記憶信息，一個(gè)是c表示長期記憶信息。維度都是[batch_size，n_neurons] = [4，5]，states的最后一個(gè)LSTMStateTuple中的h就是outputs的最后一個(gè)step的輸出
以上這篇關(guān)于tf.nn.dynamic_rnn返回值詳解就是小編分享給大家的全部內(nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了Anaconda中如何安裝Tensorflow,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2023-03-03
python統(tǒng)計(jì)字符的個(gè)數(shù)代碼實(shí)例
在本篇文章里小編給大家整理了關(guān)于python統(tǒng)計(jì)字符的個(gè)數(shù)代碼實(shí)例內(nèi)容，需要的朋友們可以參考下。2020-02-02
Python 身份驗(yàn)證和授權(quán)庫使用詳解(python jwt庫)
python_jwt是一個(gè)Python庫，用于生成、解析和驗(yàn)證JSON Web Tokens（JWT），它完全符合JWT標(biāo)準(zhǔn)規(guī)范（RFC 7519），并提供了簡單而強(qiáng)大的API，使得用戶可以輕松地在Python應(yīng)用中實(shí)現(xiàn)JWT功能，通過本文的介紹，深入探討了python_jwt庫的功能特性、使用方法以及應(yīng)用場景2021-01-01
文章介紹了Python中使用時(shí)間戳和時(shí)間模塊的操作,包括獲取當(dāng)前時(shí)間、計(jì)算程序運(yùn)行時(shí)間以及時(shí)間戳與時(shí)間字符串之間的轉(zhuǎn)換2025-02-02
基于Python實(shí)現(xiàn)微博抓取GUI程序
在前面的分享中，我們制作了一個(gè)天眼查 GUI 程序，今天我們在這個(gè)的基礎(chǔ)上，繼續(xù)開發(fā)新的功能，微博抓取工具，感興趣的可以了解一下2022-09-09
Python 使用SFTP和FTP實(shí)現(xiàn)對(duì)服務(wù)器的文件下載功能
這篇文章主要介紹了Python 使用SFTP和FTP實(shí)現(xiàn)對(duì)服務(wù)器的文件下載功能,本文通過實(shí)例代碼給大家介紹的非常想詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-12-12
Python移動(dòng)測試開發(fā)subprocess模塊項(xiàng)目實(shí)戰(zhàn)
這篇文章主要為大家介紹了Python移動(dòng)測試開發(fā)subprocess模塊項(xiàng)目實(shí)戰(zhàn)示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2022-07-07
Python matplotlib 動(dòng)畫繪制詳情
這篇文章主要介紹了Python matplotlib 動(dòng)畫繪制，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，感興趣的小伙伴可以參考一下2022-09-09
這篇文章主要介紹了python三方庫之requests的快速上手，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-03-03
今天小編就為大家分享一篇將python包發(fā)布到PyPI和制作whl文件方式，具有很的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-12-12