Python numpy大矩陣運(yùn)算內(nèi)存不足如何解決
更新時(shí)間：2020年11月19日 08:33:58 作者：Gelthin
這篇文章主要介紹了Python numpy大矩陣運(yùn)算內(nèi)存不足如何解決,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下
程序運(yùn)行，產(chǎn)生如下結(jié)果，然后進(jìn)程終止，導(dǎo)致這一結(jié)果的原因很有可能是內(nèi)存爆炸。
當(dāng)兩個(gè)較大的 (e.g., 10000*10000 維）ndarray 做運(yùn)算(加法，or 乘法）時(shí)，很容易出現(xiàn)這樣的結(jié)果.
解決辦法：
- 大多數(shù)情況下，這種大矩陣都是稀疏的。盡可能地利用稀疏計(jì)算的方式，例如稀疏矩陣，或者只計(jì)算非 0 位置的值。
- 如果都是整數(shù)運(yùn)算，可以設(shè)置 dtype=int，而非 dtype=float, 可以省下不少空間。
linux 系統(tǒng)下，使用 top 命令，可以很容易地看到內(nèi)存（%MEM) 的使用情況。
# 代碼段 1， true_similarity_matrix 是 int, similarity_matrix 是 float
tmp_matrix = similarity_matrix * true_similarity_matrix # 內(nèi)存會炸掉，兩個(gè) 10000*10000 維 float array
num_correct_edge = sum(sum(tmp_matrix))
# 代碼段 2
for i in range():
for j in range():
set_true_ij.append(i,j)
num_correct_edge = 0
for i, j in set_true_ij:
num_correct_edge += similarity_matrix[i,j]
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了字典中的值是列表問題，先用value連成一個(gè)str，最后用str.split()作一個(gè)轉(zhuǎn)換，生成一個(gè)列表.看了python cookbook，上面正好有一個(gè)recipe講到如何處理這樣的問題2013-03-03
python 實(shí)現(xiàn)得到當(dāng)前時(shí)間偏移day天后的日期方法
今天小編就為大家分享一篇python 實(shí)現(xiàn)得到當(dāng)前時(shí)間偏移day天后的日期方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-12-12
這篇文章主要介紹了python 連接列表的八種方法，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-03-03
在本篇文章里小編給大家整理的是一篇關(guān)于Python中Qslider控件實(shí)操詳解內(nèi)容，對此有興趣的朋友們可以跟著學(xué)習(xí)參考下。2021-02-02
這篇文章主要介紹了python lambda的使用詳解，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-02-02
詳談Python 窗體(tkinter)表格數(shù)據(jù)(Treeview)
今天小編就為大家分享一篇詳談Python 窗體(tkinter)表格數(shù)據(jù)(Treeview)，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-10-10
這篇文章主要介紹了手把手教你Python yLab的繪制折線圖的畫法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2019-10-10
JavaScript中的模擬事件和自定義事件實(shí)例分析
這篇文章主要介紹了JavaScript中的模擬事件和自定義事件,結(jié)合實(shí)例形式分析了JavaScript模擬事件和自定義事件相關(guān)操作步驟、實(shí)現(xiàn)技巧與注意事項(xiàng),需要的朋友可以參考下2018-07-07
本文給大家分享Python-pip配置國內(nèi)鏡像源的安裝方式，分為windows平臺安裝方式和linux平臺安裝方式，本文給大家介紹的非常詳細(xì)，需要的朋友參考下吧2021-11-11
pytorch模型轉(zhuǎn)換為onnx可視化(使用netron)
netron 是一個(gè)非常好用的網(wǎng)絡(luò)結(jié)構(gòu)可視化工具,但是netron對pytorch模型的支持還不成熟,這篇文章主要介紹了pytorch模型轉(zhuǎn)換為onnx，并使用netron可視化,需要的朋友可以參考下2023-05-05