nodejs爬蟲抓取數(shù)據(jù)之編碼問題

更新時間：2015年07月03日 09:48:26 投稿：hebedich

這篇文章主要介紹了nodejs爬蟲抓取數(shù)據(jù)之編碼問題的相關(guān)資料,需要的朋友可以參考下

cheerio DOM化并解析的時候

1.假如使用了 .text()方法，則一般不會有html實(shí)體編碼的問題出現(xiàn)

2.如果使用了 .html()方法，則很多情況下(多數(shù)是非英文的時候）都會出現(xiàn)，這時，可能就需要轉(zhuǎn)義一番了

類似這些因?yàn)樾枰鲾?shù)據(jù)存儲，所有需要轉(zhuǎn)換

&#x425;&#x430;&#x43B;&#x43A; &#x43A;&#x440;&#x443;&#x448;&#x438;&#x442;. &#x41D;&#x43E;&#x432;&#x44B;&#x439; &#x441;&#x43F;&#x43E;&#x441;&#x43E;&#x431; &#x438;&#x441;&#x43F;&#x43E;&#x43B;&#x43D;&#x435;&#x43D;

大多數(shù)都是&#(x)?\w+的格式

所以就用正則轉(zhuǎn)換一番

var body = ....//這里就是請求后獲得的返回?cái)?shù)據(jù)，或者那些 .html()后獲取的

//一般可以先轉(zhuǎn)換為標(biāo)準(zhǔn)unicode格式（有需要就添加：當(dāng)返回的數(shù)據(jù)呈現(xiàn)太多\\\u 之類的時）
body=unescape(body.replace(/\\u/g,"%u"));
//再對實(shí)體符進(jìn)行轉(zhuǎn)義
//有x則表示是16進(jìn)制，$1就是匹配是否有x ，$2就是匹配出的第二個括號捕獲到的內(nèi)容，將$2以對應(yīng)進(jìn)制表示轉(zhuǎn)換
body = body.replace(/&#(x)?(\w+);/g,function($,$1,$2){
        return String.fromCharCode(parseInt($2,$1?16:10));
       });

ok ～

當(dāng)然了，網(wǎng)上也有很多個轉(zhuǎn)換的版本，適用的就行了

后記：

當(dāng)使用爬蟲抓取網(wǎng)頁數(shù)據(jù)時，cheerio模塊是經(jīng)常使用到底，它像jq那樣方便快捷

（但有些功能并未支持或者換了某種形式，比如 jq的 jQuery('.myClass').prop('outerHTML') ，cheerio則等價(jià)于 jQuery.html('.myClass')http://www.mgenware.com/blog/?p=2514）

您可能感興趣的文章:

相關(guān)文章

nodejs 圖片預(yù)覽和上傳的示例代碼
本篇文章主要介紹了nodejs 圖片預(yù)覽和上傳的示例代碼，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2017-09-09
Node.js開發(fā)靜態(tài)資源服務(wù)器
這篇文章主要為大家介紹了Node.js開發(fā)靜態(tài)資源服務(wù)器示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
2022-08-08
解決await在forEach中不起作用的問題
這篇文章主要介紹了解決await在forEach中不起作用的問題，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2021-02-02
詳解nodejs中express搭建權(quán)限管理系統(tǒng)
本篇文章主要介紹了詳解express搭建權(quán)限管理系統(tǒng)，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2017-09-09
NodeJS學(xué)習(xí)筆記之Connect中間件應(yīng)用實(shí)例
前面我們介紹了幾篇內(nèi)容的connect中間件的基礎(chǔ)知識，今天我們來實(shí)例應(yīng)用一下，做個記事本的小應(yīng)用，希望大家能夠喜歡。
2015-01-01
node.js調(diào)用C++開發(fā)的模塊實(shí)例
這篇文章主要介紹了node.js調(diào)用C++開發(fā)的模塊實(shí)例,在node的程序中,如果有大數(shù)據(jù)量的計(jì)算,處理起來比較慢,可以用C++來處理,然后通過回調(diào)（callback的形式）,返回給node,需要的朋友可以參考下
2015-07-07
Nodejs實(shí)現(xiàn)文件上傳的示例代碼
這篇文章主要介紹了Nodejs文件上傳的示例代碼，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2017-09-09
WebSocket實(shí)現(xiàn)簡單客服聊天系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了WebSocket實(shí)現(xiàn)簡單客服聊天系統(tǒng)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2017-05-05
Windows系統(tǒng)下安裝Node.js的步驟圖文詳解
這篇文章主要給大家介紹了Windows系統(tǒng)下Node.js的安裝教程，Node.js是用于后端編程的JavaScript框架，文中給出了詳細(xì)圖文介紹，有需要的朋友可以參考下，下面來一起看看吧。
2016-11-11
node.js中的favicon.ico請求問題處理
本文記錄了在項(xiàng)目中使用node.js請求favican.ico的時候會出現(xiàn)2條請求，浪費(fèi)資源，經(jīng)過一番改進(jìn)，記錄下來過程，以后注意。
2014-12-12