python 實時遍歷日志文件

更新時間：2016年04月12日 13:31:44 作者：卑鄙的wo

這篇文章主要介紹了python 實時遍歷日志文件的相關(guān)資料,需要的朋友可以參考下

open 遍歷一個大日志文件

使用 readlines() 還是 readline() ?

總體上 readlines() 不慢于python 一次次調(diào)用 readline()，因為前者的循環(huán)在C語言層面，而使用readline() 的循環(huán)是在Python語言層面。

但是 readlines() 會一次性把全部數(shù)據(jù)讀到內(nèi)存中，內(nèi)存占用率會過高，readline() 每次只讀一行，對于讀取大文件，需要做出取舍。

如果不需要使用 seek() 定位偏移， for line in open('file') 速度更佳。

使用 readlines()，適合量級較小的日志文件

import os
import time
def check():
p = 
while True:
f = open("log.txt", "r+")
f = open("result.txt", "a+")
f.seek(p, )
#readlines()方法
filelist = f.readlines()
if filelist:
for line in filelist:
#對行內(nèi)容進行操作
f.write(line)
#獲取當(dāng)前位置，為下次while循環(huán)做偏移
p = f.tell()
print 'now p ', p
f.close()
f.close()
time.sleep()
if __name__ == '__main__':
check()

使用 readline()，避免內(nèi)存占用率過大

import os
import time
def check():
p = 
while True:
f = open("log.txt", "r+")
f = open("result.txt", "a+")
f.seek(p, )
#while readline()方法
while True:
l = f.readline()
#空行同樣為真
if l:
#對行內(nèi)容操作
f.write(l)
else:
#獲取當(dāng)前位置，作為偏移值
p = f.tell()
f.close()
f.close()
break
print 'now p', p
time.sleep()
if __name__ == '__main__':
check()

您可能感興趣的文章:

相關(guān)文章

告別網(wǎng)頁搜索!教你用python實現(xiàn)一款屬于自己的翻譯詞典軟件
教你用python做一款屬于自己的翻譯詞典軟件,從此告別網(wǎng)頁搜索,文中有非常詳細的代碼示例,小伙伴們快快行動吧,需要的朋友可以參考下
2021-06-06
Windows下Python2與Python3兩個版本共存的方法詳解
這篇文章主要介紹了Windows下Python2與Python3兩個版本共存的方法，文中介紹的很詳細，對大家具有一定的參考價值，有需要的朋友們下面來一起看看吧。
2017-02-02
解讀dataframe中有關(guān)inf的處理技巧
這篇文章主要介紹了解讀dataframe中有關(guān)inf的處理技巧,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教
2023-09-09
python二進制文件的轉(zhuǎn)譯詳解
這篇文章主要介紹了python二進制文件的轉(zhuǎn)譯詳解的相關(guān)資料,文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
2019-07-07
Python中列表與元組的乘法操作示例
這篇文章主要介紹了Python中列表與元組的乘法操作,結(jié)合簡單實例形式分析了Python中列表、元組的乘法,并附帶分析了字符串的乘法及元組乘法操作的注意事項,需要的朋友可以參考下
2018-02-02
Python利用matplotlib實現(xiàn)制作動態(tài)條形圖
說到用 Python 制作動態(tài)圖，首先想到的肯定是一些直接拿來就用的庫，雖然我沒做過，但是我相信一定有且不止一個，搜了一圈后發(fā)現(xiàn)有個bar chart race庫看起來不錯，感興趣的可以跟隨小編一起學(xué)習(xí)一下
2022-10-10
$PyQt轉(zhuǎn)換路徑中的斜杠(斜杠(/)與反斜杠(\)轉(zhuǎn)換)$
PyQt轉(zhuǎn)換路徑中的斜杠(斜杠(/)與反斜杠(\)轉(zhuǎn)換)
本文主要介紹了PyQt轉(zhuǎn)換路徑中的斜杠(斜杠(/)與反斜杠(\)轉(zhuǎn)換)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2022-07-07
Python獲取暗黑破壞神3戰(zhàn)網(wǎng)前1000命位玩家的英雄技能統(tǒng)計
這篇文章主要介紹了Python獲取暗黑3戰(zhàn)網(wǎng)前1000命位玩家的英雄技能統(tǒng)計的方法,借助urllib2模塊以類似爬蟲的機制來實現(xiàn),需要的朋友可以參考下
2016-07-07
Postman安裝與使用詳細教程附postman離線安裝包
這篇文章主要介紹了Postman安裝與使用詳細教程附postman離線安裝包,本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下
2021-03-03
Python3爬蟲之urllib攜帶cookie爬取網(wǎng)頁的方法
今天小編就為大家分享一篇Python3爬蟲之urllib攜帶cookie爬取網(wǎng)頁的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-12-12