Python 實(shí)現(xiàn)自動(dòng)導(dǎo)入缺失的庫(kù)
在寫 Python 項(xiàng)目的時(shí)候,我們可能經(jīng)常會(huì)遇到導(dǎo)入模塊失敗的錯(cuò)誤:ImportError: No module named 'xxx' 或者 ModuleNotFoundError: No module named 'xxx' 。
導(dǎo)入失敗問(wèn)題,通常分為兩種:一種是導(dǎo)入自己寫的模塊(即以 .py 為后綴的文件),另一種是導(dǎo)入三方庫(kù)。本文主要討論第二種情況,今后有機(jī)會(huì),我們?cè)僭敿?xì)討論其它的相關(guān)話題。
解決導(dǎo)入 Python 庫(kù)失敗的問(wèn)題,其實(shí)關(guān)鍵是在運(yùn)行環(huán)境中裝上缺失的庫(kù)(注意是否是虛擬環(huán)境),或者使用恰當(dāng)?shù)奶娲桨浮_@個(gè)問(wèn)題又分為三種情況:
一、單個(gè)模塊中缺失的庫(kù)
在編寫代碼的時(shí)候,如果我們需要使用某個(gè)三方庫(kù)(如 requests),但不確定實(shí)際運(yùn)行的環(huán)境是否裝了它,那么可以這樣寫:
try:
import requests
except ImportError:
import os
os.system('pip install requests')
import requests
這樣寫的效果是,如果找不到 requests 庫(kù),就先安裝,再導(dǎo)入。
在某些開(kāi)源項(xiàng)目中,我們可能還會(huì)看到如下的寫法(以 json 為例):
try: import simplejson as json except ImportError: import json
這樣寫的效果是,優(yōu)先導(dǎo)入三方庫(kù) simplejson,如果找不到,那就使用內(nèi)置的標(biāo)準(zhǔn)庫(kù) json。
這種寫法的好處是不需要導(dǎo)入額外的庫(kù),但它有個(gè)缺點(diǎn),即需要保證那兩個(gè)庫(kù)在使用上是兼容的,如果在標(biāo)準(zhǔn)庫(kù)中找不到替代的庫(kù),那就不可行了。
如果真找不到兼容的標(biāo)準(zhǔn)庫(kù),也可以自己寫一個(gè)模塊(如 my_json.py),實(shí)現(xiàn)想要的東西,然后在 except 語(yǔ)句中再導(dǎo)入它。
try: import simplejson as json except ImportError: import my_json as json
二、整個(gè)項(xiàng)目中缺失的庫(kù)
以上的思路是針對(duì)開(kāi)發(fā)中的項(xiàng)目,但是它有幾個(gè)不足:1、在代碼中對(duì)每個(gè)可能缺失的三方庫(kù)都 pip install,并不可??;2、某個(gè)三方庫(kù)無(wú)法被標(biāo)準(zhǔn)庫(kù)或自己手寫的庫(kù)替代,該怎么辦?3、已成型的項(xiàng)目,不允許做這些修改怎么辦?
所以這里的問(wèn)題是:有一個(gè)項(xiàng)目,想要部署到新的機(jī)器上,它涉及很多三方庫(kù),但是機(jī)器上都沒(méi)有預(yù)裝,該怎么辦?
對(duì)于一個(gè)合規(guī)的項(xiàng)目,按照約定,通常它會(huì)包含一個(gè)“requirements.txt ”文件,記錄了該項(xiàng)目的所有依賴庫(kù)及其所需的版本號(hào)。這是在項(xiàng)目發(fā)布前,使用命令pip freeze > requirements.txt 生成的。
使用命令pip install -r requirements.txt (在該文件所在目錄執(zhí)行,或在命令中寫全文件的路徑),就能自動(dòng)把所有的依賴庫(kù)給裝上。
但是,如果項(xiàng)目不合規(guī),或者由于其它倒霉的原因,我們沒(méi)有這樣的文件,又該如何是好?
一個(gè)笨方法就是,把項(xiàng)目跑起來(lái),等它出錯(cuò),遇到一個(gè)導(dǎo)庫(kù)失敗,就手動(dòng)裝一個(gè),然后再跑一遍項(xiàng)目,遇到導(dǎo)庫(kù)失敗就裝一下,如此循環(huán)……(此處省略 1 萬(wàn)句臟話)……

三、自動(dòng)導(dǎo)入任意缺失的庫(kù)
有沒(méi)有一種更好的可以自動(dòng)導(dǎo)入缺失的庫(kù)的方法呢?
在不修改原有的代碼的情況下,在不需要“requirements.txt”文件的情況下,有沒(méi)有辦法自動(dòng)導(dǎo)入所需要的庫(kù)呢?
當(dāng)然有!先看看效果:

我們以 tornado 為例,第一步操作可看出,我們沒(méi)有裝過(guò) tornado,經(jīng)過(guò)第二步操作后,再次導(dǎo)入 tornado 時(shí),程序會(huì)幫我們自動(dòng)下載并安裝好 tornado,所以不再報(bào)錯(cuò)。
autoinstall 是我們手寫的模塊,代碼如下:
# 以下代碼在 python 3.6.1 版本驗(yàn)證通過(guò)
import sys
import os
from importlib import import_module
class AutoInstall():
_loaded = set()
@classmethod
def find_spec(cls, name, path, target=None):
if path is None and name not in cls._loaded:
cls._loaded.add(name)
print("Installing", name)
try:
result = os.system('pip install {}'.format(name))
if result == 0:
return import_module(name)
except Exception as e:
print("Failed", e)
return None
sys.meta_path.append(AutoInstall)
這段代碼中使用了sys.meta_path ,我們先打印一下,看看它是個(gè)什么東西?

Python 3 的 import 機(jī)制在查找過(guò)程中,大致順序如下:
- 在 sys.modules 中查找,它緩存了所有已導(dǎo)入的模塊
- 在 sys.meta_path 中查找,它支持自定義的加載器
- 在 sys.path 中查找,它記錄了一些庫(kù)所在的目錄名
若未找到,則拋出 ImportError 異常
其中要注意,sys.meta_path 在不同的 Python 版本中有所差異,比如它在 Python 2 與 Python 3 中差異很大;在較新的 Python 3 版本(3.4+)中,自定義的加載器需要實(shí)現(xiàn)find_spec 方法,而早期的版本用的則是find_module 。

以上代碼是一個(gè)自定義的類庫(kù)加載器 AutoInstall,可以實(shí)現(xiàn)自動(dòng)導(dǎo)入三方庫(kù)的目的。需要說(shuō)明一下,這種方法會(huì)“劫持”所有新導(dǎo)入的庫(kù),破壞原有的導(dǎo)入方式,因此也可能出現(xiàn)一些奇奇怪怪的問(wèn)題,敬請(qǐng)留意。
sys.meta_path 屬于 Python 探針的一種運(yùn)用。探針,即import hook,是 Python 幾乎不受人關(guān)注的機(jī)制,但它可以做很多事,例如加載網(wǎng)絡(luò)上的庫(kù)、在導(dǎo)入模塊時(shí)對(duì)模塊進(jìn)行修改、自動(dòng)安裝缺失庫(kù)、上傳審計(jì)信息、延遲加載等等。
限于篇幅,我們不再詳細(xì)展開(kāi)了。最后小結(jié)一下:
- 可以用 try...except 方式,實(shí)現(xiàn)簡(jiǎn)單的三方庫(kù)導(dǎo)入或者替換
- 已知全部缺失的依賴庫(kù)時(shí)(如 requirements.txt),可以手動(dòng)安裝
- 利用 sys.meta_path,可以自動(dòng)導(dǎo)入任意的缺失庫(kù)
參考資料:
https://github.com/liuchang0812/slides/tree/master/pycon2015cn
http://blog.konghy.cn/2016/10/25/python-import-hook/
https://docs.python.org/3/library/sys.html#sys.meta_path
總結(jié)
以上所述是小編給大家介紹的Python 實(shí)現(xiàn)自動(dòng)導(dǎo)入缺失的庫(kù),希望對(duì)大家有所幫助,如果大家有任何疑問(wèn)請(qǐng)給我留言,小編會(huì)及時(shí)回復(fù)大家的。在此也非常感謝大家對(duì)腳本之家網(wǎng)站的支持!
如果你覺(jué)得本文對(duì)你有幫助,歡迎轉(zhuǎn)載,煩請(qǐng)注明出處,謝謝!
相關(guān)文章
python+opencv邊緣提取與各函數(shù)參數(shù)解析
這篇文章主要介紹了python+opencv邊緣提取與各函數(shù)參數(shù)解析,文中通過(guò)示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-03-03
python 對(duì)象真假值的實(shí)例(哪些視為False)
這篇文章主要介紹了python 對(duì)象真假值的實(shí)例(哪些視為False),具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-12-12
Python 實(shí)現(xiàn)12306登錄功能實(shí)例代碼
這篇文章主要介紹了Python 實(shí)現(xiàn)12306登錄功能的完整代碼,需要的朋友可以參考下2018-02-02
python生成不重復(fù)隨機(jī)數(shù)和對(duì)list亂序的解決方法
下面小編就為大家分享一篇python生成不重復(fù)隨機(jī)數(shù)和對(duì)list亂序的解決方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-04-04
Python導(dǎo)入模塊的3種方式超級(jí)詳細(xì)講解
這篇文章主要給大家介紹了關(guān)于Python導(dǎo)入模塊的3種方式,本文介紹了在Python中使用模塊的概念和不同的導(dǎo)入方式,文中通過(guò)代碼介紹的非常詳細(xì),需要的朋友可以參考下2023-12-12

