keras的get_value運行越來越慢的解決方案
keras 深度學(xué)習(xí)框架中g(shù)et_value函數(shù)運行越來越慢，內(nèi)存消耗越來越大問題
問題描述
如上圖所示，經(jīng)過時間和內(nèi)存消耗跟蹤測試，發(fā)現(xiàn)是keras.backend.get_value() 函數(shù)導(dǎo)致的程序越來越慢，而且嚴(yán)重的造成內(nèi)存泄露；
查看該函數(shù)內(nèi)部實現(xiàn)，發(fā)現(xiàn)一個主要核心是x.eval(session=get_session()),該語句可能是導(dǎo)致內(nèi)存泄露和運行慢的核心語句； 根據(jù)查看一些博文得到了運行得越來越慢的
原因：該x.eval函數(shù)會添加新的節(jié)點到tf的圖中；而這也導(dǎo)致了tf的圖越來越大，內(nèi)存泄露；
解決方法
import tensorflow.keras.backend as K
def get_my_session(gpu_fraction=0.1):
'''Assume that you have 6GB of GPU memory and want to allocate ~2GB'''
num_threads = os.environ.get('OMP_NUM_THREADS')
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=gpu_fraction)
if num_threads:
return tf.Session(config=tf.ConfigProto(
gpu_options=gpu_options, intra_op_parallelism_threads=num_threads))
else:
return tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))
K.set_session(get_my_session())
如上圖所示， 我在使用tensorflow之前(也就是該工程文件前面)，對session進行自定義，然后用自定義的session設(shè)定keras.backend.set_session();
然后刪除get_value() 函數(shù)，直接用get_value()中所使用的執(zhí)行語句x.eval(session=get_my_session())；這樣這個添加節(jié)點導(dǎo)致內(nèi)存泄露的核心語句x.eval()就使用的是該工程統(tǒng)一自定義session，然后用tf.reset_default_graph() 對圖重置就可以了
即上圖問題代碼修改為：
output = ctc_decode(y_pred,input_length=input_length,) output = output[0][0] out = output.eval(session=get_my_session()) # 刪除 K.get_value(out[0][0]) tf.reset_default_graph() # 然后重置tf圖，這句很關(guān)鍵
這樣就解決了get_value()導(dǎo)致的越來越慢的問題；
個人認(rèn)為：這樣可能就不會總是添加新的節(jié)點，導(dǎo)致tf圖不斷地?zé)o限變大；而是重復(fù)使用這一個自定義的節(jié)點。
補充：tensorflow與keras之間版本問題引起get_session問題解決辦法
1.產(chǎn)生報錯原因
import tensorflow.keras.backend as K
def __init__(self, **kwargs):
self.__dict__.update(self._defaults) # set up default values
self.__dict__.update(kwargs) # and update with user overrides
self.class_names = self._get_class()
self.anchors = self._get_anchors()
self.sess = K.get_session()
報錯如下：
get_session is not available when using TensorFlow 2.0.
意思是 tf2.0 沒有 get_session
2.解決方案1
import tensorflow.python.keras.backend as K sess = K.get_session()
3. 解決方案2
import tensorflow as tf sess = tf.compat.v1.keras.backend.get_session()
之前一直采用方案1 解決，感覺比較方便；但是解決方案1 有其它屬性會丟失問題
比如AttributeError: module ‘keras.backend' has no attribute image_dim_ordering
所以建議大家采用方案2
以上為個人經(jīng)驗，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了python利用文件讀寫編寫一個博客，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2021-08-08
經(jīng)常在辦公的過程中會遇到各種各樣的壓縮文件處理，但是呢每個壓縮軟件支持的格式又是不同的。本文就來用Python自制一個文件解壓縮小工具，可以支持7z/zip/rar三種格式，希望對大家有所幫助2023-02-02
Python程序員面試，這些問題你必須提前準(zhǔn)備！供廣大Python程序員參考，預(yù)祝大家順利通過面試。2018-01-01
pandas讀取excel,txt,csv,pkl文件等命令的操作
這篇文章主要介紹了pandas讀取excel,txt,csv,pkl文件等命令的操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2021-03-03
下面小編就為大家分享一篇python實現(xiàn)log日志的示例代碼，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
python實現(xiàn)textrank關(guān)鍵詞提取
這篇文章主要為大家詳細(xì)介紹了python實現(xiàn)textrank關(guān)鍵詞提取，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-06-06
在數(shù)據(jù)處理和分析中,插值法是一種常用的數(shù)值分析技術(shù),用于估計在已知數(shù)據(jù)點之間的值,本文將詳細(xì)介紹Python中插值法的實現(xiàn)方法,需要的可以參考下2024-02-02
這篇文章主要介紹了Python批處理文件夾中的txt文件，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-03-03
很多網(wǎng)站登錄都需要輸入驗證碼,如果要實現(xiàn)自動登錄就不可避免的要識別驗證碼,這篇文章主要給大家介紹了關(guān)于python簡單驗證碼識別的實現(xiàn)過程,需要的朋友可以參考下2021-06-06
Python爬取動態(tài)網(wǎng)頁中圖片的完整實例
這篇文章主要給大家介紹了關(guān)于Python爬取動態(tài)網(wǎng)頁中圖片的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03