node.js爬蟲爬取拉勾網(wǎng)職位信息
簡(jiǎn)介
用node.js寫了一個(gè)簡(jiǎn)單的小爬蟲，用來(lái)爬取拉勾網(wǎng)上的招聘信息，共爬取了北京、上海、廣州、深圳、杭州、西安、成都7個(gè)城市的數(shù)據(jù)，分別以前端、PHP、java、c++、python、Android、ios作為關(guān)鍵詞進(jìn)行爬取，爬到的數(shù)據(jù)以json格式儲(chǔ)存到本地，為了方便觀察，我將數(shù)據(jù)整理了一下供大家參考
數(shù)據(jù)結(jié)果
上述數(shù)據(jù)為3月13日22時(shí)爬取的數(shù)據(jù)，可大致反映各個(gè)城市對(duì)不同語(yǔ)言的需求量。
爬取過(guò)程展示
控制并發(fā)進(jìn)行爬取
爬取到的數(shù)據(jù)文件
json數(shù)據(jù)文件
爬蟲程序
實(shí)現(xiàn)思路
請(qǐng)求拉鉤網(wǎng)的 “https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&city=城市&kd=關(guān)鍵詞&pn=頁(yè)數(shù)”可以返回一個(gè)json格式的數(shù)據(jù)，該數(shù)據(jù)包含所要請(qǐng)求職位的信息，省去了使用chreio解析的麻煩，所以直接用superagent來(lái)進(jìn)行請(qǐng)求上述地址，并將數(shù)據(jù)儲(chǔ)存在本地即可，其中參數(shù)city是為城市，kd為所要搜索的關(guān)鍵詞，pn為要請(qǐng)求的頁(yè)數(shù)，當(dāng)中使用到了async來(lái)控制異步流程，使得并發(fā)數(shù)不超過(guò)3，防止被封ip。
代碼地址及使用
github：https://github.com/zsqosos/positionAnalysis
代碼請(qǐng)?jiān)趃ithub上查看，使用該程序需要安裝node環(huán)境，如果覺得還不錯(cuò)的話煩請(qǐng)給個(gè)star，歡迎大家修改使用該程序。
以上就是本文的全部?jī)?nèi)容，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來(lái)一定的幫助，同時(shí)也希望多多支持腳本之家！
- node.js實(shí)現(xiàn)簡(jiǎn)單爬蟲示例詳解
- node.js做一個(gè)簡(jiǎn)單的爬蟲案例教程
- node.js爬蟲框架node-crawler初體驗(yàn)
- Node.js爬蟲如何獲取天氣和每日問(wèn)候詳解
- 基于node.js實(shí)現(xiàn)爬蟲的講解
- node.js學(xué)習(xí)筆記之koa框架和簡(jiǎn)單爬蟲練習(xí)
- 淺談Node.js爬蟲之網(wǎng)頁(yè)請(qǐng)求模塊
- 使用 Node.js 開發(fā)資訊爬蟲流程
- 基于node.js制作簡(jiǎn)單爬蟲教程
- 利用node.js寫一個(gè)爬取知乎妹紙圖的小爬蟲
- Node.js?實(shí)現(xiàn)簡(jiǎn)單爬蟲的示例代碼
相關(guān)文章
node.js中的buffer.Buffer.isEncoding方法使用說(shuō)明
這篇文章主要介紹了node.js中的buffer.Buffer.isEncoding方法使用說(shuō)明,本文介紹了buffer.Buffer.isEncoding的方法說(shuō)明、語(yǔ)法、接收參數(shù)、使用實(shí)例和實(shí)現(xiàn)源碼,需要的朋友可以參考下2014-12-12
從目前我了解的情況來(lái)看，前后端跨域使用的方式有很多種，這里記錄我使用最順手的一種，即在后端使用cors跨域，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2022-08-08
從Node.js事件觸發(fā)器到Vue自定義事件的深入講解
這篇文章主要給大家介紹了關(guān)于從Node.js事件觸發(fā)器到Vue自定義事件的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-06-06
node.js中的fs.rmdirSync方法使用說(shuō)明
這篇文章主要介紹了node.js中的fs.rmdirSync方法使用說(shuō)明,本文介紹了fs.rmdirSync方法說(shuō)明、語(yǔ)法、接收參數(shù)、使用實(shí)例和實(shí)現(xiàn)源碼,需要的朋友可以參考下2014-12-12
Node.js連接MongoDB數(shù)據(jù)庫(kù)產(chǎn)生的問(wèn)題
Node.js是使用JavaScript 編寫的可以運(yùn)行在服務(wù)端的JS語(yǔ)言。node.js和mongodb碰撞會(huì)產(chǎn)生一系列問(wèn)題，下面通過(guò)本文給大家分享Node.js連接MongoDB數(shù)據(jù)庫(kù)，需要的的朋友參考下2017-02-02
node.js不得不說(shuō)的12點(diǎn)內(nèi)容
本文主要是分享下，個(gè)人對(duì)node.js的一些認(rèn)識(shí)和理解，希望對(duì)大家有所幫助2014-07-07
從零開始學(xué)習(xí)Node.js系列教程之基于connect和express框架的多頁(yè)面實(shí)現(xiàn)數(shù)學(xué)運(yùn)算示例
這篇文章主要介紹了Node.js基于connect和express框架的多頁(yè)面實(shí)現(xiàn)數(shù)學(xué)運(yùn)算,簡(jiǎn)單講述了connect和express框架的原理及數(shù)學(xué)運(yùn)算相關(guān)操作技巧,需要的朋友可以參考下2017-04-04
Node.js和MongoDB實(shí)現(xiàn)簡(jiǎn)單日志分析系統(tǒng)
這篇文章主要介紹了Node.js和MongoDB實(shí)現(xiàn)簡(jiǎn)單日志分析系統(tǒng),本文給出了服務(wù)器端、客戶端、圖表生成、Shell自動(dòng)執(zhí)行等功能的實(shí)現(xiàn)代碼,需要的朋友可以參考下2015-04-04
使用node.js對(duì)音視頻文件加密的實(shí)例代碼
本文通過(guò)實(shí)例代碼給大家介紹了使用node.js對(duì)音視頻文件加密的方法，非常不錯(cuò)，具有參考借鑒價(jià)值，需要的的朋友參考下吧2017-08-08
關(guān)于Error:EPERM:operation?not?permitted,mkdir...的幾種解決辦法對(duì)比
這篇文章主要給大家介紹了關(guān)于Error:EPERM:operation?not?permitted,mkdir...的幾種解決辦法對(duì)比,文中通過(guò)圖文介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2023-01-01