爬蟲技術(shù)之分布式爬蟲架構(gòu)的講解
分布式爬蟲架構(gòu)并不是一開始就出現(xiàn)的。而是一個(gè)逐步演化的過程。
最開始入手寫爬蟲的時(shí)候，我們一般在個(gè)人計(jì)算機(jī)上完成爬蟲的入門和開發(fā)，而在真實(shí)的生產(chǎn)環(huán)境，就不能用個(gè)人計(jì)算機(jī)來運(yùn)行爬蟲程序了，而是將爬蟲程序部署在服務(wù)器上。利用服務(wù)器不關(guān)機(jī)的特性，爬蟲可以不間斷的24小時(shí)運(yùn)行。單機(jī)爬蟲的結(jié)構(gòu)如下圖。
然而，由于爬蟲在爬取數(shù)據(jù)時(shí)，爬取頻次并不能太快，即使是爬蟲在服務(wù)器上不間斷運(yùn)行，效率可能也無法滿足實(shí)際需求。這時(shí)候，就需要在多機(jī)上部署爬蟲程序，用分布式爬蟲架構(gòu)，進(jìn)行數(shù)據(jù)爬取。分布式爬蟲的架構(gòu)一般如下所示。
采用分布式爬蟲架構(gòu)后，帶來了如下幾個(gè)好處。
- 1，爬蟲效率提高。這一點(diǎn)顯而易見，之前是單機(jī)運(yùn)行，現(xiàn)在是多機(jī)分布式運(yùn)行，效率顯著提高。
- 2，爬蟲可靠性可用性提高。之前部署在一臺(tái)服務(wù)器上，當(dāng)服務(wù)器出現(xiàn)故障或爬蟲程序出現(xiàn)故障時(shí)，爬蟲便不可用了。采用分布式爬蟲架構(gòu)后，爬蟲任務(wù)生產(chǎn)者，任務(wù)隊(duì)列，爬蟲任務(wù)消費(fèi)者都采用分布式架構(gòu)部署，其中的某些機(jī)器出現(xiàn)故障，不影響整體的可用性，系統(tǒng)可靠性大大增強(qiáng)。
總結(jié)
以上就是這篇文章的全部內(nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接
- 使用Docker Swarm搭建分布式爬蟲集群的方法示例
- Centos7.3 RabbitMQ分布式集群搭建示例
- PHP實(shí)現(xiàn)分布式memcache設(shè)置web集群session同步的方法
- Linux下Kafka分布式集群安裝教程
- Linux下ZooKeeper分布式集群安裝教程
- Linux集群/分布式環(huán)境下session處理的五種策略詳解
- 詳解CentOS 6.5搭建Redis3.2.8單機(jī)分布式集群
- 詳解使用docker搭建hadoop分布式集群
- java 分布式與集群的區(qū)別和聯(lián)系
- Hadoop單機(jī)版和全分布式(集群)安裝
- 分布式和集群的概述講解
相關(guān)文章
Redis權(quán)限和訪問控制的實(shí)現(xiàn)示例
Redis提供了一些機(jī)制來保護(hù)敏感數(shù)據(jù)和限制對(duì)Redis服務(wù)器的訪問,本文主要介紹了Redis權(quán)限和訪問控制的實(shí)現(xiàn)示例,具有一定的參考價(jià)值,感興趣的可以了解一下2023-12-12
這篇文章主要介紹了macOS上Redis的安裝與測試操作，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-07-07
SpringSession+Redis實(shí)現(xiàn)集群會(huì)話共享的方法
為了保證WEB應(yīng)用的承載能力, 需要對(duì)WEB應(yīng)用進(jìn)行集群處理.這篇文章主要介紹了SpringSession+Redis實(shí)現(xiàn)集群會(huì)話共享的方法,需要的朋友參考下吧2018-08-08
本文主要介紹了Redis中序列化的兩種實(shí)現(xiàn),文中通過示例代碼介紹的非常詳細(xì),對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2024-07-07
這篇文章主要介紹了Redis Cluster 集群搭建過程，本文分步驟通過實(shí)例代碼給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-08-08
動(dòng)態(tài)添加Redis密碼認(rèn)證的方法
本篇文章主要介紹了動(dòng)態(tài)添加Redis密碼認(rèn)證的方法，小編覺得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-06-06
Linux服務(wù)器快速安裝Redis6.0步驟示例詳解
這篇文章主要為大家介紹了Linux服務(wù)器快速安裝Redis6.0步驟示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-12-12
本文主要介紹了Redis搶單預(yù)熱的實(shí)現(xiàn)示例,以應(yīng)對(duì)搶單活動(dòng)帶來的高并發(fā)訪問壓力,具有一定的參考價(jià)值,感興趣的可以了解一下2023-11-11
如何使用注解方式實(shí)現(xiàn)?Redis?分布式鎖
這篇文章主要介紹了如何使用注解方式實(shí)現(xiàn)Redis分布式鎖，文章圍繞主題展開詳細(xì)的內(nèi)容介紹，教大家如何優(yōu)雅的使用Redis分布式鎖，感興趣的小伙伴可以參考一下2022-07-07
基于 Redis 的 JWT令牌失效處理方案(實(shí)現(xiàn)步驟)
當(dāng)用戶登錄狀態(tài)到登出狀態(tài)時(shí),對(duì)應(yīng)的JWT的令牌需要設(shè)置為失效狀態(tài),這時(shí)可以使用基于Redis 的黑名單方案來實(shí)現(xiàn)JWT令牌失效,本文給大家分享基于 Redis 的 JWT令牌失效處理方案,感興趣的朋友一起看看吧2024-03-03