Nodejs監(jiān)聽日志文件的變化的過程解析
最近有在做日志文件的分析,其中有一個(gè)需求:A服務(wù)器項(xiàng)目需要用Nodejs監(jiān)聽日志文件的變化,當(dāng)項(xiàng)目產(chǎn)生了新的日志信息,將新的部分通過socket傳輸?shù)紹服務(wù)器項(xiàng)目。socket暫時(shí)不做分析。
這個(gè)需求很簡單,通過分析我們開始擼碼吧。 在擼碼的過程中還能鞏固所學(xué)Nodejs的API,何樂而不為呢?
所用的API
fs.watchFile()
語法
fs.watchFile(filename[, options], listener)
參數(shù)解析
filename <string> | <Buffer> | <URL> ——文件名 options <Object> persistent <boolean> 默認(rèn)值: true。——是否應(yīng)該繼續(xù)運(yùn)行 interval <integer> 默認(rèn)值: 5007。——輪詢目標(biāo)的頻率 listener <Function> current <fs.Stats> ——當(dāng)前值 previous <fs.Stats> ——之前值
監(jiān)視 filename 的更改。 每當(dāng)訪問文件時(shí)都會(huì)調(diào)用 listener 回調(diào)。
listener 有兩個(gè)參數(shù),當(dāng)前的 stat 對(duì)象和之前的 stat 對(duì)象
這些 stat 對(duì)象是 fs.Stat 的實(shí)例。
要在修改文件(而不僅僅是訪問)時(shí)收到通知,則需要比較 curr.mtime 和 prev.mtime。
當(dāng) fs.watchFile 操作導(dǎo)致 ENOENT 錯(cuò)誤時(shí),它將調(diào)用一次監(jiān)聽器,并將所有字段置零(或?qū)⑷掌谠O(shè)為 Unix 紀(jì)元)。 如果文件是在那之后創(chuàng)建的,則監(jiān)聽器會(huì)被再次調(diào)用,且?guī)献钚碌?stat 對(duì)象。 這是 v0.10 之后的功能變化。
使用 fs.watch() 比 fs.watchFile 和 fs.unwatchFile 更高效。 應(yīng)盡可能使用 fs.watch 代替 fs.watchFile 和 fs.unwatchFile。
當(dāng) fs.watchFile() 正在監(jiān)視的文件消失并重新出現(xiàn)時(shí),第二次回調(diào)事件(文件重新出現(xiàn))返回的 previousStat 會(huì)與第一次回調(diào)事件(文件消失)返回的 previousStat 相同。
這種情況發(fā)生在:
- 文件被刪除,然后又恢復(fù)。
- 文件被重命名兩次,且第二次重命名回其原來的名稱。
例子
fs.watchFile('message.text', (curr, prev) => {
console.log(`當(dāng)前的最近修改時(shí)間是: ${curr.mtime}`);
console.log(`之前的最近修改時(shí)間是: ${prev.mtime}`);
});
fs.open()
語法
fs.open(path[, flags[, mode]], callback)
參數(shù)解析
path <string> | <Buffer> | <URL> ——文件路徑 flags <string> | <number> 默認(rèn)值: 'r'。——文件系統(tǒng)標(biāo)志 mode <integer> 默認(rèn)值: 0o666(可讀寫)?!O(shè)置文件模式(權(quán)限和粘滯位),但僅限于創(chuàng)建文件的情況 callback <Function> err <Error> ——錯(cuò)誤 fd <integer>——文件系統(tǒng)流
fs.read()
語法
fs.read(fd, buffer, offset, length, position, callback)
參數(shù)解析
fd <integer> ——文件系統(tǒng)流 buffer <Buffer> | <TypedArray> | <DataView>——數(shù)據(jù)將寫入的緩沖區(qū) offset <integer>—— buffer 中開始寫入的偏移量 length <integer>——要讀取的字節(jié)數(shù) position <integer>——從文件中開始讀取的位置 callback <Function> err <Error> bytesRead <integer> buffer <Buffer>
fs.createReadStream()
語法
fs.createReadStream(path[, options])
參數(shù)解析
path <string> | <Buffer> | <URL>——文件路徑 options <string> | <Object> flags <string> 默認(rèn)值: 'r'?!募到y(tǒng)標(biāo)志 encoding <string> 默認(rèn)值: null?!址幋a fd <integer> 默認(rèn)值: null?!募到y(tǒng)流 mode <integer> 默認(rèn)值: 0o666?!O(shè)置文件模式(權(quán)限和粘滯位),但僅限于創(chuàng)建文件的情況 autoClose <boolean> 默認(rèn)值: true。——是否自動(dòng)關(guān)閉文件描述符 start <integer>——文件讀取的開始位置 end <integer> 默認(rèn)值: Infinity?!募x取的結(jié)束位置 highWaterMark <integer> 默認(rèn)值: 64 * 1024。
返回: <fs.ReadStream> 參閱可讀流。
如果 autoClose 為 false,則即使出現(xiàn)錯(cuò)誤,也不會(huì)關(guān)閉文件描述符。 應(yīng)用程序負(fù)責(zé)關(guān)閉它并確保沒有文件描述符泄漏。 如果 autoClose 設(shè)為 true(默認(rèn)行為),則在 'error' 或 'end' 事件時(shí)將自動(dòng)關(guān)閉文件描述符。
mode 用于設(shè)置文件模式(權(quán)限和粘滯位),但僅限于創(chuàng)建文件的情況。
例子
讀取sample.txt文件的10個(gè)字符
fs.createReadStream('sample.txt', { start: 90, end: 99 });
readLine.createInterface
語法
readline.createInterface(options)
參數(shù)解析
options <Object>
input <stream.Readable> 要監(jiān)聽的可讀流。此選項(xiàng)是必需的。
output <stream.Writable> 將逐行讀取數(shù)據(jù)寫入的可寫流。
completer <Function> 用于 Tab 自動(dòng)補(bǔ)全的可選函數(shù)。
terminal <boolean> 如果 input 和 output 應(yīng)該被視為 TTY,并且寫入 ANSI/VT100 轉(zhuǎn)義碼,則為 true。 默認(rèn)值: 實(shí)例化時(shí)在 output 流上檢查 isTTY。
historySize <number> 保留的最大歷史記錄行數(shù)。 要禁用歷史記錄,請(qǐng)將此值設(shè)置為 0。 僅當(dāng)用戶或內(nèi)部 output 檢查將 terminal 設(shè)置為 true 時(shí),此選項(xiàng)才有意義,否則根本不會(huì)初始化歷史記錄緩存機(jī)制。 默認(rèn)值: 30。
prompt - 要使用的提示字符串。默認(rèn)值: '> '。
crlfDelay <number> 如果 \r 與 \n 之間的延遲超過 crlfDelay 毫秒,則 \r 和 \n 將被視為單獨(dú)的行尾輸入。 crlfDelay 將被強(qiáng)制轉(zhuǎn)換為不小于 100 的數(shù)字。 可以設(shè)置為 Infinity, 這種情況下, \r 后跟 \n 將始終被視為單個(gè)換行符(對(duì)于使用 \r\n 行分隔符的文件讀取可能是合理的)。 默認(rèn)值: 100。
removeHistoryDuplicates <boolean> 如果為 true, 則當(dāng)添加到歷史列表的新輸入行與舊的輸入行重復(fù)時(shí),將從列表中刪除舊行。 默認(rèn)值: false。
escapeCodeTimeout <number> readline 將會(huì)等待一個(gè)字符的持續(xù)時(shí)間(當(dāng)以毫秒為單位讀取模糊鍵序列時(shí),可以使用輸入讀取到目前為止形成完整的鍵序列,并且可以采取額外的輸入來完成更長的鍵序列)。 默認(rèn)值: 500。
這個(gè)不需要司機(jī),記住常見的即可,需要的時(shí)候查找。
當(dāng) flag 選項(xiàng)采用字符串時(shí),可用以下標(biāo)志:
'a' - 打開文件用于追加。如果文件不存在,則創(chuàng)建該文件。
'ax' - 與 'a' 相似,但如果路徑已存在則失敗。
'a+' - 打開文件用于讀取和追加。如果文件不存在,則創(chuàng)建該文件。
'ax+' - 與 'a+' 相似,但如果路徑已存在則失敗。
'as' - 以同步模式打開文件用于追加。如果文件不存在,則創(chuàng)建該文件。
'as+' - 以同步模式打開文件用于讀取和追加。如果文件不存在,則創(chuàng)建該文件。
'r' - 打開文件用于讀取。如果文件不存在,則出現(xiàn)異常。
'r+' - 打開文件用于讀取和寫入。如果文件不存在,則出現(xiàn)異常。
'rs+' - 以同步模式打開文件用于讀取和寫入。指示操作系統(tǒng)繞過本地的文件系統(tǒng)緩存。
這對(duì)于在 NFS 掛載上打開文件時(shí)非常有用,因?yàn)樗试S跳過可能過時(shí)的本地緩存。 它對(duì) I/O 性能有非常實(shí)際的影響,因此除非需要,否則不建議使用此標(biāo)志。
這不會(huì)將 fs.open() 或 fsPromises.open() 轉(zhuǎn)換為同步的阻塞調(diào)用。 如果需要同步的操作,則應(yīng)使用 fs.openSync() 之類的。
'w' - 打開文件用于寫入。如果文件不存在則創(chuàng)建文件,如果文件已存在則截?cái)辔募?/p>
'wx' - 與 'w' 相似,但如果路徑已存在則失敗。
'w+' - 打開文件用于讀取和寫入。如果文件不存在則創(chuàng)建文件,如果文件已存在則截?cái)辔募?/p>
'wx+' - 與 'w+' 相似,但如果路徑已存在則失敗。
fs.Stats 對(duì)象提供有關(guān)文件的信息。
Stats {
dev: 2114,
ino: 48064969,
mode: 33188,
nlink: 1,
uid: 85,
gid: 100,
rdev: 0,
size: 527,
blksize: 4096,
blocks: 8,
atimeMs: 1318289051000.1,
mtimeMs: 1318289051000.1,
ctimeMs: 1318289051000.1,
birthtimeMs: 1318289051000.1,
atime: Mon, 10 Oct 2011 23:24:11 GMT,
mtime: Mon, 10 Oct 2011 23:24:11 GMT,
ctime: Mon, 10 Oct 2011 23:24:11 GMT,
birthtime: Mon, 10 Oct 2011 23:24:11 GMT }
開始監(jiān)聽日志文件
前提,在app.js中調(diào)用watchFile方法,將需要監(jiān)聽的文件路徑傳入該方法中。
function watchFile(filename) {
console.log('Log monitoring...');
// Open the file for reading and appending
fs.open(filename, 'a+', function (err, fd) {
if (err) {
throw err;
}
var buffer;
fs.watchFile(filename, {
persistent: true,
interval: 1000
}, (curr, prev) => {
// Compare the time before and after
if (curr.mtime > prev.mtime) {
// console.log(`The current latest revision time is: ${curr.mtime}`);
// console.log(`The latest modification time is: ${prev.mtime}`);
// Changes in the contents of documents
buffer = new Buffer(curr.size - prev.size);
// (curr.size - prev.size) this is the newly added length of the log file
readFile(fd, buffer, (curr.size - prev.size), prev.size);
}
});
});
}
讀取新增內(nèi)容
function readFile(fd, buffer, length, position) {
// read file
fs.read(fd, buffer, 0, length, position, function (err, bytesRead, buffer) {
if (err) {
log.error(err);
}
console.log('Additional Contents', buffer.toString());
});
}
額外功能:讀取歷史內(nèi)容
function fetchHistoryLogs(filename) {
const rl = readLine.createInterface({
input: fs.createReadStream(filename, {
enconding: 'utf8'
}),
output: null,
terminal: false
});
rl.on('line', (line) => {
if (line) {
logsArr.push(line.toString());
}
}).on('close', () => {
for (var i = 0; i < logsArr.length; i++) {
// Print the data for each row
console.log(`Original data: \n ${logsArr[i]}`);
}
});
}
總結(jié)
以上所述是小編給大家介紹的Nodejs監(jiān)聽日志文件的變化的過程解析,希望對(duì)大家有所幫助,如果大家有任何疑問歡迎給我留言,小編會(huì)及時(shí)回復(fù)大家的!
- 使用JS監(jiān)聽鍵盤按下事件(keydown event)
- jQuery/JS監(jiān)聽input輸入框值變化實(shí)例
- 教你3分鐘利用原生js實(shí)現(xiàn)有進(jìn)度監(jiān)聽的文件上傳預(yù)覽組件
- vuejs中監(jiān)聽窗口關(guān)閉和窗口刷新事件的方法
- JS觸摸事件、手勢(shì)事件詳解
- 基于Angular.js實(shí)現(xiàn)的觸摸滑動(dòng)動(dòng)畫實(shí)例代碼
- JS觸摸屏網(wǎng)頁版仿app彈窗型滾動(dòng)列表選擇器/日期選擇器
- 移動(dòng)端js觸摸事件詳解
- javascript移動(dòng)開發(fā)中touch觸摸事件詳解
- JavaScript監(jiān)聽觸摸事件代碼實(shí)例
相關(guān)文章
NodeJS通過魔術(shù)封包喚醒局域網(wǎng)計(jì)算機(jī)實(shí)例
這篇文章主要為大家介紹了NodeJS通過魔術(shù)封包喚醒局域網(wǎng)計(jì)算機(jī)代碼實(shí)例,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-06-06
websocket+node.js實(shí)現(xiàn)實(shí)時(shí)聊天系統(tǒng)問題咨詢
最近新學(xué)習(xí)websocket,做了一個(gè)實(shí)時(shí)聊天。用Node.js搭建的服務(wù):serevr.js. 兩個(gè)相互通信頁面:client.html 和server.html 但是就是有很多問題,下面通過本文給大家分享下2017-05-05
gulp加批處理(.bat)實(shí)現(xiàn)ng多應(yīng)用一鍵自動(dòng)化構(gòu)建
這篇文章主要給大家介紹了利用gulp加上批處理(.bat)實(shí)現(xiàn)ng多應(yīng)用一鍵自動(dòng)化構(gòu)建的相關(guān)資料,文中介紹的很詳細(xì),需要的朋友可以參考借鑒,下面來一起看看吧。2017-02-02
詳解Puppeteer前端自動(dòng)化測(cè)試實(shí)踐
這篇文章主要介紹了詳解Puppeteer前端自動(dòng)化測(cè)試實(shí)踐,小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2019-02-02

