nodeJs爬蟲獲取數(shù)據(jù)簡單實現(xiàn)代碼
更新時間:2016年03月29日 17:27:29 作者:Jone_chen
這篇文章主要為大家詳細介紹了nodeJs爬蟲獲取數(shù)據(jù)簡單實現(xiàn)代碼,感興趣的小伙伴們可以參考一下
本文實例為大家分享了nodeJs爬蟲獲取數(shù)據(jù)代碼,供大家參考,具體內容如下
var http=require('http');
var cheerio=require('cheerio');//頁面獲取到的數(shù)據(jù)模塊
var url='http://www.jcpeixun.com/lesson/1512/';
function filterData(html){
/*所要獲取到的目標數(shù)組
var courseData=[{
chapterTitle:"",
videosData:{
videoTitle:title,
videoId:id,
videoPrice:price
}
}] */
var $=cheerio.load(html);
var courseData=[];
var chapters=$(".list-collapse");
chapters.each(function(item){
var chapterTitle=$(this).find(".collapse-head").find("label").text();
var videos=$(this).find(".listview5").children("li");
var chaptersData={
chaptersTitle:chapterTitle,
videosData:[]
}
videos.each(function(item){
var videoTitle=$(this).find(".ml10").attr('data-lesson-name');
var videoId=$(this).find(".ml10").attr('data-lesson-id');
var vadeoPrice=$(this).find(".colblue").text();
chaptersData.videosData.push({
title:videoTitle,
id:videoId,
price:vadeoPrice
})
})
courseData.push(chaptersData)
})
return courseData
}
function printCourseInfo(courseData){
courseData.forEach(function(item){
console.log(item.chaptersTitle+'\n');
item.videosData.forEach(function(item){
console.log(item.title+'【'+item.id+'】'+item.price+'\n')
})
})
}
http.get(url,function(res){
html="";
res.on("data",function(data){
html+=data
})
res.on('end',function(){
var courseData=filterData(html);
printCourseInfo(courseData)
})
})
效果圖:

以上就是nodeJs爬蟲獲取數(shù)據(jù)的相關代碼,希望對大家的學習有所幫助。
您可能感興趣的文章:
- 手把手教你用Node.js爬蟲爬取網(wǎng)站數(shù)據(jù)的方法
- node.js讀取Excel數(shù)據(jù)(下載圖片)的方法示例
- 詳解使用Node.js 將txt文件轉為Excel文件
- Node.js利用js-xlsx處理Excel文件的方法詳解
- Node.js實現(xiàn)Excel轉JSON
- Nodejs實現(xiàn)爬蟲抓取數(shù)據(jù)實例解析
- nodejs爬蟲抓取數(shù)據(jù)之編碼問題
- nodejs爬蟲抓取數(shù)據(jù)亂碼問題總結
- Nodejs技巧之Exceljs表格操作用法示例
- 使用ExcelJS快速處理Node.js爬蟲數(shù)據(jù)
相關文章
Node中node_modules文件夾及package.json文件的作用說明
這篇文章主要介紹了Node中node_modules文件夾及package.json文件的作用說明,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2022-09-09
node.js實現(xiàn)批量修改git項目的數(shù)據(jù)源(步驟詳解)
文章介紹了如何使用Node.js腳本批量修改大型項目中各個項目的Git地址域名,通過引入模塊、聲明域名常量、定義遍歷函數(shù)和修改目錄等步驟,實現(xiàn)一次性批量修改,從而節(jié)省時間和精力2024-11-11

