Node.js實(shí)現(xiàn)爬取網(wǎng)站圖片的示例代碼

更新時(shí)間：2022年04月04日 10:19:53 作者：小六公子

本文將利用Node.js開(kāi)發(fā)一個(gè)小示例—爬取某圖片網(wǎng)站的圖片，文中涉及的知識(shí)點(diǎn)有https模塊、cheerio模塊、fs模塊和閉包，感興趣的可以了解一下

涉及知識(shí)點(diǎn)

開(kāi)發(fā)一個(gè)小爬蟲(chóng)，涉及的知識(shí)點(diǎn)如下所示：

https模塊，主要是用戶獲取網(wǎng)絡(luò)資源，如：網(wǎng)頁(yè)源碼，圖片資源等。
cheerio模塊，主要用于解析html源碼，并可訪問(wèn)，查找html節(jié)點(diǎn)內(nèi)容。
fs模塊，主要用于文件的讀寫(xiě)操作，如保存圖片，日志等。
閉包，主要是對(duì)于異步操作，對(duì)象的隔離保護(hù)。

cheerio簡(jiǎn)介

什么是cheerio ?

cheerio是為服務(wù)器特別定制的，快速、靈活、實(shí)施的jQuery核心實(shí)現(xiàn)。主要用于在服務(wù)端解析html。特點(diǎn)如下所示：

易用，語(yǔ)法類(lèi)似jQuery語(yǔ)法，從jQuery庫(kù)中去除了所有 DOM不一致性和瀏覽器尷尬的部分。
解析快，比JSDOM快八倍。
靈活，Cheerio 封裝了兼容的htmlparser。Cheerio 幾乎能夠解析任何的 HTML 和 XML document。

安裝cheerio

首先在命令行，切換到程序目錄，然后輸入安裝命令進(jìn)行安裝，如下所示：

cnpm install cheerio

安裝過(guò)程，如下所示：

準(zhǔn)備工作

在編寫(xiě)爬蟲(chóng)之前，首先需要分析目標(biāo)內(nèi)容，本次需要爬取的是某網(wǎng)站，星空類(lèi)型的圖片內(nèi)容，經(jīng)過(guò)分析，發(fā)現(xiàn)所有的圖片都是在ul下每一個(gè)li中的a標(biāo)簽內(nèi)的img中，本次只需要解析出img的src屬性，即可獲取圖片的下載路徑。如下所示：

核心代碼

經(jīng)過(guò)以上分析，通過(guò)Node.js編寫(xiě)代碼，分為兩步，獲取所有圖片的url路徑，即解析所有目標(biāo)img元素的src屬性。然后再下載具體圖片進(jìn)行保存即可。

引用所需要的功能模塊，如下所示：

var https = require('https');
var cheerio = require('cheerio');
var fs = require('fs');

獲取并解析html頁(yè)面內(nèi)容，如下所示：

//爬取的網(wǎng)址
var addrs=['https://www.*****.com/topic/show_27202_1.html','https://www.******.com/topic/show_27202_2.html','https://www.*****.com/topic/show_27202_3.html'];
var logger = fs.createWriteStream('./download/log.txt',{flags:'a+',autoClose:'true'});

for(i in addrs){
    (function(num){
   var addr = addrs[num];
   //創(chuàng)建目錄
   var p1 = new Promise(function(resolve,reject){
     fs.access('./download',function(err){
       if(err){
           fs.mkdir('./download',function(e){
               if(e){
                   console.log('創(chuàng)建失敗');
               }
           });
        }else{
            resolve("success");
        }
       });
   });

   p1.then(function(datas){
       var html='';
       var p2 = new Promise(function(resolve,reject){
           https.get(addr,function(res){
                res.on('data',function(data){
                    html+=data.toString();
                })
                res.on('end',function(){
                    resolve("success");
                });

            });

       });
      p2.then(function(data){
        //下載完成后，進(jìn)行解析
        const $ =cheerio.load(html);
        var lis = $('#img-list-outer').find('li');
        for(var j=0;j<lis.length-1;j++){
            var li = lis[j];
            var src =$(li).find('a').find('img').attr('src');
            //console.log(src);
            //console.log('-------------------------');
            var imgurl='https:'+src;
            download(imgurl);
            var msg='['+j+']下載成功：'+imgurl;
            logger.write(msg+'\n');
            console.log(msg);
        }
      });
   });
   })(i);
}

注意：因?yàn)樗信廊〉哪繕?biāo)共分為3頁(yè)，所以用到了循環(huán)，并且在循環(huán)中用到了閉包。

下載并保存單張圖片代碼，如下所示：

//下載圖片
function download(imgurl){
    var p1 = new Promise(function(resolve,reject){
        https.get(imgurl,function(res){
            var imgName=imgurl.substr(imgurl.lastIndexOf('/')+1);
            var stream = fs.createWriteStream('./download/'+imgName);
            res.pipe(stream);
            setTimeout(function(){
                resolve('success');
            },300);

        });
    });
    p1.then(function(data){
        return;
    });
}