詳解python之配置日志的幾種方式
作為開發(fā)者,我們可以通過以下3中方式來配置logging:
1)使用Python代碼顯式的創(chuàng)建loggers, handlers和formatters并分別調(diào)用它們的配置函數(shù);
2)創(chuàng)建一個日志配置文件,然后使用fileConfig()函數(shù)來讀取該文件的內(nèi)容;
3)創(chuàng)建一個包含配置信息的dict,然后把它傳遞個dictConfig()函數(shù);
需要說明的是,logging.basicConfig()也屬于第一種方式,它只是對loggers, handlers和formatters的配置函數(shù)進(jìn)行了封裝。另外,第二種配置方式相對于第一種配置方式的優(yōu)點(diǎn)在于,它將配置信息和代碼進(jìn)行了分離,這一方面降低了日志的維護(hù)成本,同時還使得非開發(fā)人員也能夠去很容易地修改日志配置。
一、使用Python代碼實(shí)現(xiàn)日志配置
代碼如下:
# 創(chuàng)建一個日志器logger并設(shè)置其日志級別為DEBUG
logger = logging.getLogger('simple_logger')
logger.setLevel(logging.DEBUG)
# 創(chuàng)建一個流處理器handler并設(shè)置其日志級別為DEBUG
handler = logging.StreamHandler(sys.stdout)
handler.setLevel(logging.DEBUG)
# 創(chuàng)建一個格式器formatter并將其添加到處理器handler
formatter = logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s")
handler.setFormatter(formatter)
# 為日志器logger添加上面創(chuàng)建的處理器handler
logger.addHandler(handler)
# 日志輸出
logger.debug('debug message')
logger.info('info message')
logger.warn('warn message')
logger.error('error message')
logger.critical('critical message')
運(yùn)行輸出:
2017-05-15 11:30:50,955 - simple_logger - DEBUG - debug message 2017-05-15 11:30:50,955 - simple_logger - INFO - info message 2017-05-15 11:30:50,955 - simple_logger - WARNING - warn message 2017-05-15 11:30:50,955 - simple_logger - ERROR - error message 2017-05-15 11:30:50,955 - simple_logger - CRITICAL - critical message
二、使用配置文件和fileConfig()函數(shù)實(shí)現(xiàn)日志配置
現(xiàn)在我們通過配置文件的方式來實(shí)現(xiàn)與上面同樣的功能:
# 讀取日志配置文件內(nèi)容
logging.config.fileConfig('logging.conf')
# 創(chuàng)建一個日志器logger
logger = logging.getLogger('simpleExample')
# 日志輸出
logger.debug('debug message')
logger.info('info message')
logger.warn('warn message')
logger.error('error message')
logger.critical('critical message')
配置文件logging.conf內(nèi)容如下:
[loggers]
keys=root,simpleExample
[handlers]
keys=fileHandler,consoleHandler
[formatters]
keys=simpleFormatter
[logger_root]
level=DEBUG
handlers=fileHandler
[logger_simpleExample]
level=DEBUG
handlers=consoleHandler
qualname=simpleExample
propagate=0
[handler_consoleHandler]
class=StreamHandler
args=(sys.stdout,)
level=DEBUG
formatter=simpleFormatter
[handler_fileHandler]
class=FileHandler
args=('logging.log', 'a')
level=ERROR
formatter=simpleFormatter
[formatter_simpleFormatter]
format=%(asctime)s - %(name)s - %(levelname)s - %(message)s
datefmt=
運(yùn)行輸出:
2017-05-15 11:32:16,539 - simpleExample - DEBUG - debug message 2017-05-15 11:32:16,555 - simpleExample - INFO - info message 2017-05-15 11:32:16,555 - simpleExample - WARNING - warn message 2017-05-15 11:32:16,555 - simpleExample - ERROR - error message 2017-05-15 11:32:16,555 - simpleExample - CRITICAL - critical message
1. 關(guān)于fileConfig()函數(shù)的說明:
該函數(shù)實(shí)際上是對configparser模塊的封裝,關(guān)于configparser模塊的介紹請參考<。
函數(shù)定義:
該函數(shù)定義在loging.config模塊下:
logging.config.fileConfig(fname, defaults=None, disable_existing_loggers=True)
參數(shù):
- fname:表示配置文件的文件名或文件對象
- defaults:指定傳給ConfigParser的默認(rèn)值
- disable_existing_loggers:這是一個布爾型值,默認(rèn)值為True(為了向后兼容)表示禁用已經(jīng)存在的logger,除非它們或者它們的祖先明確的出現(xiàn)在日志配置中;如果值為False則對已存在的loggers保持啟動狀態(tài)。
2. 配置文件格式說明:
上面提到過,fileConfig()函數(shù)是對ConfigParser/configparser模塊的封裝,也就是說fileConfig()函數(shù)是基于ConfigParser/configparser模塊來理解日志配置文件的。換句話說,fileConfig()函數(shù)所能理解的配置文件基礎(chǔ)格式是與ConfigParser/configparser模塊一致的,只是在此基礎(chǔ)上對文件中包含的section和option做了一下規(guī)定和限制,比如:
1)配置文件中一定要包含loggers、handlers、formatters這些section,它們通過keys這個option來指定該配置文件中已經(jīng)定義好的loggers、handlers和formatters,多個值之間用逗號分隔;另外loggers這個section中的keys一定要包含root這個值;
2)loggers、handlers、formatters中所指定的日志器、處理器和格式器都需要在下面以單獨(dú)的section進(jìn)行定義。seciton的命名規(guī)則為[logger_loggerName]、[formatter_formatterName]、[handler_handlerName]
3)定義logger的section必須指定level和handlers這兩個option,level的可取值為DEBUG、INFO、WARNING、ERROR、CRITICAL、NOTSET,其中NOTSET表示所有級別的日志消息都要記錄,包括用戶定義級別;handlers的值是以逗號分隔的handler名字列表,這里出現(xiàn)的handler必須出現(xiàn)在[handlers]這個section中,并且相應(yīng)的handler必須在配置文件中有對應(yīng)的section定義;
4)對于非root logger來說,除了level和handlers這兩個option之外,還需要一些額外的option,其中qualname是必須提供的option,它表示在logger層級中的名字,在應(yīng)用代碼中通過這個名字得到logger;propagate是可選項(xiàng),其默認(rèn)是為1,表示消息將會傳遞給高層次logger的handler,通常我們需要指定其值為0,這個可以看下下面的例子;另外,對于非root logger的level如果設(shè)置為NOTSET,系統(tǒng)將會查找高層次的logger來決定此logger的有效level。
5)定義handler的section中必須指定class和args這兩個option,level和formatter為可選option;class表示用于創(chuàng)建handler的類名,args表示傳遞給class所指定的handler類初始化方法參數(shù),它必須是一個元組(tuple)的形式,即便只有一個參數(shù)值也需要是一個元組的形式;level與logger中的level一樣,而formatter指定的是該處理器所使用的格式器,這里指定的格式器名稱必須出現(xiàn)在formatters這個section中,且在配置文件中必須要有這個formatter的section定義;如果不指定formatter則該handler將會以消息本身作為日志消息進(jìn)行記錄,而不添加額外的時間、日志器名稱等信息;
6)定義formatter的sectioin中的option都是可選的,其中包括format用于指定格式字符串,默認(rèn)為消息字符串本身;datefmt用于指定asctime的時間格式,默認(rèn)為'%Y-%m-%d %H:%M:%S';class用于指定格式器類名,默認(rèn)為logging.Formatter;
說明:
配置文件中的class指定類名時,該類名可以是相對于logging模塊的相對值,如:FileHandler、handlers.TimeRotatingFileHandler;也可以是一個絕對路徑值,通過普通的import機(jī)制來解析,如自定義的handler類mypackage.mymodule.MyHandler,但是mypackage需要在Python可用的導(dǎo)入路徑中--sys.path。
3. 對于propagate屬性的說明
實(shí)例1:
我們把logging.conf中simpleExample這個handler定義中的propagate屬性值改為1,或者刪除這個option(默認(rèn)值就是1):
[logger_simpleExample] level=DEBUG handlers=consoleHandler qualname=simpleExample propagate=1
現(xiàn)在來執(zhí)行同樣的代碼:
# 讀取日志配置文件內(nèi)容
logging.config.fileConfig('logging.conf')
# 創(chuàng)建一個日志器logger
logger = logging.getLogger('simpleExample')
# 日志輸出
logger.debug('debug message')
logger.info('info message')
logger.warn('warn message')
logger.error('error message')
logger.critical('critical message')
我們會發(fā)現(xiàn),除了在控制臺有輸出信息時候,在logging.log文件中也有內(nèi)容輸出:
2017-05-15 16:06:25,366 - simpleExample - ERROR - error message 2017-05-15 16:06:25,367 - simpleExample - CRITICAL - critical message
這說明simpleExample這個logger在處理完日志記錄后,把日志記錄傳遞給了上級的root logger再次做處理,所有才會有兩個地方都有日志記錄的輸出。通常,我們都需要顯示的指定propagate的值為0,防止日志記錄向上層logger傳遞。
實(shí)例2:
現(xiàn)在,我們試著用一個沒有在配置文件中定義的logger名稱來獲取logger:
# 讀取日志配置文件內(nèi)容
logging.config.fileConfig('logging.conf')
# 用一個沒有在配置文件中定義的logger名稱來創(chuàng)建一個日志器logger
logger = logging.getLogger('simpleExample1')
# 日志輸出
logger.debug('debug message')
logger.info('info message')
logger.warn('warn message')
logger.error('error message')
logger.critical('critical message')
運(yùn)行程序后,我們會發(fā)現(xiàn)控制臺沒有任何輸出,而logging.log文件中又多了兩行輸出:
2017-05-15 16:13:16,810 - simpleExample1 - ERROR - error message 2017-05-15 16:13:16,810 - simpleExample1 - CRITICAL - critical message
這是因?yàn)?,?dāng)一個日志器沒有被設(shè)置任何處理器是,系統(tǒng)會去查找該日志器的上層日志器上所設(shè)置的日志處理器來處理日志記錄。simpleExample1在配置文件中沒有被定義,因此logging.getLogger(simpleExample1)這行代碼這是獲取了一個logger實(shí)例,并沒有給它設(shè)置任何處理器,但是它的上級日志器--root logger在配置文件中有定義且設(shè)置了一個FileHandler處理器,simpleExample1處理器最終通過這個FileHandler處理器將日志記錄輸出到logging.log文件中了。
三、使用字典配置信息和dictConfig()函數(shù)實(shí)現(xiàn)日志配置
Python 3.2中引入的一種新的配置日志記錄的方法--用字典來保存logging配置信息。這相對于上面所講的基于配置文件來保存logging配置信息的方式來說,功能更加強(qiáng)大,也更加靈活,因?yàn)槲覀兛砂押芏嗟臄?shù)據(jù)轉(zhuǎn)換成字典。比如,我們可以使用JSON格式的配置文件、YAML格式的配置文件,然后將它們填充到一個配置字典中;或者,我們也可以用Python代碼構(gòu)建這個配置字典,或者通過socket接收pickled序列化后的配置信息。總之,你可以使用你的應(yīng)用程序可以操作的任何方法來構(gòu)建這個配置字典。
這個例子中,我們將使用YAML格式來完成與上面同樣的日志配置。
首先需要安裝PyYAML模塊:
pip install PyYAML
Python代碼:
import logging
import logging.config
import yaml
with open('logging.yml', 'r') as f_conf:
dict_conf = yaml.load(f_conf)
logging.config.dictConfig(dict_conf)
logger = logging.getLogger('simpleExample')
logger.debug('debug message')
logger.info('info message')
logger.warn('warn message')
logger.error('error message')
logger.critical('critical message')
logging.yml配置文件的內(nèi)容:
version: 1
formatters:
simple:
format: '%(asctime)s - %(name)s - %(levelname)s - %(message)s'
handlers:
console:
class: logging.StreamHandler
level: DEBUG
formatter: simple
stream: ext://sys.stdout
console_err:
class: logging.StreamHandler
level: ERROR
formatter: simple
stream: ext://sys.stderr
loggers:
simpleExample:
level: DEBUG
handlers: [console]
propagate: yes
root:
level: DEBUG
handlers: [console_err]
輸出結(jié)果:
2017-05-21 14:19:31,089 - simpleExample - DEBUG - debug message 2017-05-21 14:19:31,089 - simpleExample - INFO - info message 2017-05-21 14:19:31,089 - simpleExample - WARNING - warn message 2017-05-21 14:19:31,089 - simpleExample - ERROR - error message 2017-05-21 14:19:31,090 - simpleExample - CRITICAL - critical message
1. 關(guān)于dictConfig()函數(shù)的說明:
該函數(shù)實(shí)際上是對configparser模塊的封裝。
函數(shù)定義:
該函數(shù)定義在loging.config模塊下:
logging.config.dictConfig(config)
該函數(shù)可以從一個字典對象中獲取日志配置信息,config參數(shù)就是這個字典對象。關(guān)于這個字典對象的內(nèi)容規(guī)則會在下面進(jìn)行描述。
2. 配置字典說明
無論是上面提到的配置文件,還是這里的配置字典,它們都要描述出日志配置所需要創(chuàng)建的各種對象以及這些對象之間的關(guān)聯(lián)關(guān)系。比如,可以先創(chuàng)建一個名額為“simple”的格式器formatter;然后創(chuàng)建一個名為“console”的處理器handler,并指定該handler輸出日志所使用的格式器為"simple";然后再創(chuàng)建一個日志器logger,并指定它所使用的處理器為"console"。
傳遞給dictConfig()函數(shù)的字典對象只能包含下面這些keys,其中version是必須指定的key,其它key都是可選項(xiàng):
| key名稱 | 描述 |
|---|---|
| version | 必選項(xiàng),其值是一個整數(shù)值,表示配置格式的版本,當(dāng)前唯一可用的值就是1 |
| formatters | 可選項(xiàng),其值是一個字典對象,該字典對象每個元素的key為要定義的格式器名稱,value為格式器的配置信息組成的dict,如format和datefmt |
| filters | 可選項(xiàng),其值是一個字典對象,該字典對象每個元素的key為要定義的過濾器名稱,value為過濾器的配置信息組成的dict,如name |
| handlers | 可選項(xiàng),其值是一個字典對象,該字典對象每個元素的key為要定義的處理器名稱,value為處理器的配置信息組成的dcit,如class、level、formatter和filters,其中class為必選項(xiàng),其它為可選項(xiàng);其他配置信息將會傳遞給class所指定的處理器類的構(gòu)造函數(shù),如下面的handlers定義示例中的stream、filename、maxBytes和backupCount等 |
| loggers | 可選項(xiàng),其值是一個字典對象,該字典對象每個元素的key為要定義的日志器名稱,value為日志器的配置信息組成的dcit,如level、handlers、filters 和 propagate(yes |
| root | 可選項(xiàng),這是root logger的配置信息,其值也是一個字典對象。除非在定義其它logger時明確指定propagate值為no,否則root logger定義的handlers都會被作用到其它logger上 |
| incremental | 可選項(xiàng),默認(rèn)值為False。該選項(xiàng)的意義在于,如果這里定義的對象已經(jīng)存在,那么這里對這些對象的定義是否應(yīng)用到已存在的對象上。值為False表示,已存在的對象將會被重新定義。 |
| disable_existing_loggers | 可選項(xiàng),默認(rèn)值為True。該選項(xiàng)用于指定是否禁用已存在的日志器loggers,如果incremental的值為True則該選項(xiàng)將會被忽略 |
handlers定義示例:
handlers: console: class : logging.StreamHandler formatter: brief level : INFO filters: [allow_foo] stream : ext://sys.stdout file: class : logging.handlers.RotatingFileHandler formatter: precise filename: logconfig.log maxBytes: 1024 backupCount: 3
3. 關(guān)于外部對象的訪問
需要說明的是,上面所使用的對象并不限于loggging模塊所提供的對象,我們可以實(shí)現(xiàn)自己的formatter或handler類。另外,這些類的參數(shù)也許需要包含sys.stderr這樣的外部對象。如果配置字典對象是使用Python代碼構(gòu)造的,可以直接使用sys.stdout、sys.stderr;但是當(dāng)通過文本文件(如JSON、YAML格式的配置文件)提供配置時就會出現(xiàn)問題,因?yàn)樵谖谋疚募?,沒有標(biāo)準(zhǔn)的方法來區(qū)分sys.stderr和字符串 'sys.stderr'。為了區(qū)分它們,配置系統(tǒng)會在字符串值中查找特定的前綴,例如'ext://sys.stderr'中'ext://'會被移除,然后import sys.stderr。
以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Python實(shí)現(xiàn)學(xué)生管理系統(tǒng)的代碼(JSON模塊)
這篇文章主要介紹了Python實(shí)現(xiàn)學(xué)生管理系統(tǒng)的代碼(JSON模塊),本文通過實(shí)例代碼給大家介紹的非常詳細(xì),對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下2021-04-04
在Python中通過機(jī)器學(xué)習(xí)實(shí)現(xiàn)人體姿勢估計(jì)
姿態(tài)檢測是計(jì)算機(jī)視覺領(lǐng)域的一個活躍研究領(lǐng)域。這篇文章將為大家介紹在Python中如何利用機(jī)器學(xué)習(xí)進(jìn)行人體姿勢估計(jì),感興趣的小伙伴可以了解一下2021-12-12
python實(shí)現(xiàn)合并多個list及合并多個django QuerySet的方法示例
這篇文章主要介紹了python實(shí)現(xiàn)合并多個list及合并多個django QuerySet的方法,結(jié)合實(shí)例形式分析了Python使用chain合并多個list以及合并Django中多個QuerySet的相關(guān)操作技巧,需要的朋友可以參考下2019-06-06
python數(shù)據(jù)處理實(shí)戰(zhàn)(必看篇)
下面小編就為大家?guī)硪黄猵ython數(shù)據(jù)處理實(shí)戰(zhàn)(必看篇)。小編覺得挺不錯的,現(xiàn)在就分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2017-06-06
opencv實(shí)現(xiàn)礦石圖片檢測礦石數(shù)量
這篇文章主要為大家詳細(xì)介紹了opencv實(shí)現(xiàn)礦石圖片檢測礦石數(shù)量,文中示例代碼介紹的非常詳細(xì),具有一定的參考價值,感興趣的小伙伴們可以參考一下2022-08-08
一文詳解Python中的行為驗(yàn)證碼驗(yàn)證功能
最近在開發(fā)行為驗(yàn)證碼,經(jīng)常觸及到關(guān)于驗(yàn)證類型的相關(guān)內(nèi)容。但使用起來不太熟練,所以本文就來總結(jié)一下對行為驗(yàn)證碼驗(yàn)證類型的理解2023-03-03

