tensorflow中的梯度求解及梯度裁剪操作
1. tensorflow中梯度求解的幾種方式
1.1 tf.gradients
tf.gradients(
ys,
xs,
grad_ys=None,
name='gradients',
colocate_gradients_with_ops=False,
gate_gradients=False,
aggregation_method=None,
stop_gradients=None,
unconnected_gradients=tf.UnconnectedGradients.NONE
)
計(jì)算ys關(guān)于xs的梯度，tf.gradients返回的結(jié)果是一個(gè)長度為len(xs)的tensor列表list，例如
tf.gradients(y, [x1, x2, x3]返回[dy/dx1, dy/dx2, dy/dx3]
當(dāng)y與x無關(guān)時(shí)，即graph無x到y(tǒng)的路徑， 則求y關(guān)于x的梯度時(shí)返回[None]；參數(shù)stop_gradients指定的變量對(duì)當(dāng)前梯度求解而言， 梯度求解將止于這些變量。
a = tf.constant(0.) b = 2 * a g = tf.gradients(a + b, [a, b], stop_gradients=[a, b]) #梯度計(jì)算不再追溯a,b之前的變量
輸出：
In: sess.run(g)
out:[1.0, 1.0]
如果不設(shè)置stop_gradients參數(shù)則反向傳播梯度計(jì)算將追溯到最開始的值a,輸出結(jié)果為：
In : sess.run(g)
Out: [3.0, 1.0]
1.2 optimizer.compute_gradients
compute_gradients(
loss,
var_list=None,
gate_gradients=GATE_OP,
aggregation_method=None,
colocate_gradients_with_ops=False,
grad_loss=None
)
optimizer.compute_gradients是tf.gradients的封裝，作用相同，但是tfgradients只返回梯度，compute_gradients返回梯度和可導(dǎo)的變量；tf.compute_gradients是optimizer.minimize()的第一步，optimizer.compute_gradients返回一個(gè)[(gradient, variable),…]的元組列表，其中g(shù)radient是tensor。
直觀上，optimizer.compute_gradients只比tf.gradients多了一個(gè)variable輸出。
optimizer = tf.train.GradientDescentOptimizer(learning_rate = 1.0)
self.train_op = optimizer.minimize(self.cost)
sess.run([train_op], feed_dict={x:data, y:labels})
在這個(gè)過程中，調(diào)用minimize方法的時(shí)候，底層進(jìn)行的工作包括：
(1) 使用tf.optimizer.compute_gradients計(jì)算trainable_variables 集合中所有參數(shù)的梯度
(2) 用optimizer.apply_gradients來更新計(jì)算得到的梯度對(duì)應(yīng)的變量
上面代碼等價(jià)于下面代碼
optimizer = tf.train.GradientDescentOptimizer(learning_rate=0.1) grads_and_vars = optimizer.compute_gradients(loss) train_op = optimizer.apply_gradients(grads_and_vars)
1.3 tf.stop_gradient
tf.stop_gradient(
input,
name=None
)
tf.stop_gradient阻止input的變量參與梯度計(jì)算，即在梯度計(jì)算的過程中屏蔽input之前的graph。
返回：關(guān)于input的梯度
2. 梯度裁剪
如果我們希望對(duì)梯度進(jìn)行截?cái)啵敲淳鸵约河?jì)算出梯度，然后進(jìn)行clip，最后應(yīng)用到變量上，代碼如下所示，接下來我們一一介紹其中的主要步驟
#return a list of trainable variable in you model params = tf.trainable_variables() #create an optimizer opt = tf.train.GradientDescentOptimizer(self.learning_rate) #compute gradients for params gradients = tf.gradients(loss, params) #process gradients clipped_gradients, norm = tf.clip_by_global_norm(gradients,max_gradient_norm) train_op = opt.apply_gradients(zip(clipped_gradients, params)))
2.1 tf.clip_by_global_norm介紹
tf.clip_by_global_norm(t_list, clip_norm, use_norm=None, name=None)
t_list 表示梯度張量
clip_norm是截取的比率
在應(yīng)用這個(gè)函數(shù)之后，t_list[i]的更新公示變?yōu)椋?/p>
global_norm = sqrt(sum(l2norm(t)**2 for t in t_list)) t_list[i] = t_list[i] * clip_norm / max(global_norm, clip_norm)
也就是分為兩步：
(1) 計(jì)算所有梯度的平方和global_norm
(2) 如果梯度平方和 global_norm 超過我們指定的clip_norm，那么就對(duì)梯度進(jìn)行縮放；否則就按照原本的計(jì)算結(jié)果
梯度裁剪實(shí)例2
loss = w*x*x
optimizer = tf.train.GradientDescentOptimizer(0.1)
grads_and_vars = optimizer.compute_gradients(loss,[w,x])
grads = tf.gradients(loss,[w,x])
# 修正梯度
for i,(gradient,var) in enumerate(grads_and_vars):
if gradient is not None:
grads_and_vars[i] = (tf.clip_by_norm(gradient,5),var)
train_op = optimizer.apply_gradients(grads_and_vars)
with tf.Session() as sess:
sess.run(tf.global_variables_initializer())
print(sess.run(grads_and_vars))
# 梯度修正前[(9.0, 2.0), (12.0, 3.0)]；梯度修正后 ，[(5.0, 2.0), (5.0, 3.0)]
print(sess.run(grads)) #[9.0, 12.0]，
print(train_op)
補(bǔ)充：tensorflow框架中幾種計(jì)算梯度的方式
1. tf.gradients
tf.gradients(
ys,
xs,
grad_ys=None,
name='gradients',
colocate_gradients_with_ops=False,
gate_gradients=False,
aggregation_method=None,
stop_gradients=None,
unconnected_gradients=tf.UnconnectedGradients.NONE
)
計(jì)算ys關(guān)于xs的梯度，tf.gradients返回的結(jié)果是一個(gè)長度為len(xs)的Tensor列表list，每個(gè)張量為sum(dy/dx)，即ys關(guān)于xs的導(dǎo)數(shù)。
例子：
tf.gradients(y, [x1, x2, x3]返回[dy/dx1, dy/dx2, dy/dx3]
當(dāng)y與x無關(guān)時(shí)，即graph無x到y(tǒng)的路徑， 則求y關(guān)于x的梯度時(shí)返回[None]
參數(shù)stop_gradients指定的變量對(duì)當(dāng)前梯度求解而言， 梯度求解將止于這些變量。
實(shí)例：
a = tf.constant(0.) b = 2 * a g = tf.gradients(a + b, [a, b], stop_gradients=[a, b]) #梯度計(jì)算不再追溯a,b之前的變量
輸出：
In: sess.run(g)
out:[1.0, 1.0]
如果不設(shè)置stop_gradients參數(shù)則反向傳播梯度計(jì)算將追溯到最開始的值a,輸出結(jié)果為：
In : sess.run(g)
Out: [3.0, 1.0]
2. optimizer.compute_gradients
compute_gradients(
loss,
var_list=None,
gate_gradients=GATE_OP,
aggregation_method=None,
colocate_gradients_with_ops=False,
grad_loss=None
)
optimizer.compute_gradients是tf.gradients的封裝1.
是optimizer.minimize()的第一步，返回(gradient, variable)的列表，其中g(shù)radient是tensor。
直觀上，optimizer.compute_gradients只比tf.gradients多了一個(gè)variable輸出。
3. tf.stop_gradient
tf.stop_gradient(
input,
name=None
)
tf.stop_gradient阻止input的變量參與梯度計(jì)算，即在梯度計(jì)算的過程中屏蔽input之前的graph。
返回：關(guān)于input的梯度
應(yīng)用：
1、EM算法，其中M步驟不應(yīng)涉及通過E步驟的輸出的反向傳播。
2、Boltzmann機(jī)器的對(duì)比散度訓(xùn)練，在區(qū)分能量函數(shù)時(shí)，訓(xùn)練不得反向傳播通過模型生成樣本的圖形。
3、對(duì)抗性訓(xùn)練，通過對(duì)抗性示例生成過程不會(huì)發(fā)生反向訓(xùn)練。
以上為個(gè)人經(jīng)驗(yàn)，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python深度學(xué)習(xí)理解pytorch神經(jīng)網(wǎng)絡(luò)批量歸一化
這篇文章主要是Python深度學(xué)習(xí)篇，通過示例的詳解讓大家更好的理解pytorch神經(jīng)網(wǎng)絡(luò)批量歸一化，有需要的的朋友可以借鑒參考下，希望能夠有所幫助2021-10-10
幾行代碼讓 Python 函數(shù)執(zhí)行快 30 倍
Python 編程語言，與其他流行編程語言相比主要缺點(diǎn)是它的動(dòng)態(tài)特性和多功能屬性拖慢了速度表現(xiàn)。Python 代碼是在運(yùn)行時(shí)被解釋的，而不是在編譯時(shí)被編譯為原生代碼。在本文中，我們將討論如何用多處理模塊并行執(zhí)行自定義 Python 函數(shù)，并進(jìn)一步對(duì)比運(yùn)行時(shí)間指標(biāo)。2021-10-10
使用Python腳本將Bing的每日?qǐng)D片作為桌面的教程
這篇文章主要介紹了使用Python腳本將Bing的每日?qǐng)D片作為桌面的教程,示例基于Windows操作系統(tǒng)環(huán)境實(shí)現(xiàn),需要的朋友可以參考下2015-05-05
創(chuàng)建SparkSession和sparkSQL的詳細(xì)過程
SparkSession 是 Spark SQL 的入口，Builder 是 SparkSession 的構(gòu)造器。 通過 Builder, 可以添加各種配置，并通過 stop 函數(shù)來停止 SparkSession，本文給大家分享創(chuàng)建SparkSession和sparkSQL的詳細(xì)過程，一起看看吧2021-08-08
對(duì)Python中g(shù)ensim庫word2vec的使用詳解
今天小編就為大家分享一篇對(duì)Python中g(shù)ensim庫word2vec的使用詳解，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-05-05
Python實(shí)現(xiàn)的用戶登錄系統(tǒng)功能示例
這篇文章主要介紹了Python實(shí)現(xiàn)的用戶登錄系統(tǒng)功能,涉及Python流程控制及字符串判斷等相關(guān)操作技巧,需要的朋友可以參考下2018-02-02
python 根據(jù)列表批量下載網(wǎng)易云音樂的免費(fèi)音樂
這篇文章主要介紹了python 根據(jù)列表下載網(wǎng)易云音樂的免費(fèi)音樂，幫助大家更好的理解和學(xué)習(xí)python，感興趣的朋友可以了解下2020-12-12
Windows系統(tǒng)下安裝tensorflow的配置步驟
這篇文章主要介紹了Windows系統(tǒng)下安裝tensorflow,本文通過圖文并茂的形式給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-07-07
下面小編就為大家分享一篇DataFrame中去除指定列為空的行方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-04-04
Maskpass是一個(gè)類似getpass的Python庫,但是具有一些高級(jí)功能,比如掩蔽和顯示,下面這篇文章主要給大家介紹了關(guān)于如何在Python中隱藏和加密密碼的相關(guān)資料,需要的朋友可以參考下2022-02-02