基于scrapy的redis安裝和配置方法
更新時(shí)間：2018年06月13日 09:52:52 作者：成吉思瀟
今天小編就為大家分享一篇基于scrapy的redis安裝和配置方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧
在定向爬蟲(chóng)的制作過(guò)程中，使用分布式爬取技術(shù)可以顯著提高爬取效率。而 Redis 配合 Scrapy 是實(shí)現(xiàn)分布式爬取的基礎(chǔ)。
Redis 是一個(gè)高性能的 Key-Value 數(shù)據(jù)庫(kù)，它把數(shù)據(jù)保存在內(nèi)存里。因此可以有非?？斓臄?shù)據(jù)讀寫(xiě)速度。
scrapy-redis 的安裝
pip install scrapy-redis easy_install scrapy-redis
下載
版本推薦
stable 3.0.2
運(yùn)行redis
redis-server redis.conf
清空緩存
redis-cli flushdb
scrapy配置redis
settings.py配置redis
SCHEDULER = "scrapy_redis.scheduler.Scheduler" SCHEDULER_PERSIST = True SCHEDULER_QUEUE_CLASS = 'scrapy_redis.queue.SpiderPriorityQueue' REDIS_URL = None # 一般情況可以省去 REDIS_HOST = '127.0.0.1' # 也可以根據(jù)情況改成 localhost REDIS_PORT = 6379
在scrapy中使用scrapy-redis
spider 繼承RedisSpider
class tempSpider(RedisSpider) name = "temp" redis_key = ''temp:start_url"
以上這篇基于scrapy的redis安裝和配置方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
用 Python 定義 Schema 并生成 Parquet 文件詳情
本文將演示兩個(gè)例子，一個(gè)是沒(méi)有層級(jí)的兩個(gè)字段，另一個(gè)是含于嵌套級(jí)別的字段，將要使用到的 Python 模塊有 pandas 和 pyarrow，感興趣是我小伙伴請(qǐng)和小編一起學(xué)習(xí)下面文章內(nèi)容吧2021-09-09
利用QT寫(xiě)一個(gè)極簡(jiǎn)單的圖形化Python鬧鐘程序
這篇文章主要介紹了利用QT寫(xiě)一個(gè)極簡(jiǎn)單的圖形化Python鬧鐘程序,核心代碼只有25行,顯示屏幕提示而沒(méi)有鬧鈴聲音,需要的朋友可以參考下2015-04-04
本文主要講解了python中Template使用方法以及使用技巧，非常實(shí)用，有需要的朋友可以參考下2014-09-09
使用Python與BigQuery進(jìn)行交互的代碼詳解
在大數(shù)據(jù)分析的領(lǐng)域中,Google BigQuery 是一個(gè)被廣泛使用的云端數(shù)據(jù)倉(cāng)庫(kù)解決方案,它由 Google Cloud 提供,并且專(zhuān)為處理大規(guī)模數(shù)據(jù)集、進(jìn)行快速的數(shù)據(jù)分析和復(fù)雜的查詢(xún)而設(shè)計(jì),本文給大家講解了如何使用Python與BigQuery進(jìn)行交互,需要的朋友可以參考下2025-04-04
Pandas_cum累積計(jì)算和rolling滾動(dòng)計(jì)算的用法詳解
今天小編就為大家分享一篇Pandas_cum累積計(jì)算和rolling滾動(dòng)計(jì)算的用法詳解，具有好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-07-07
Python文字截圖識(shí)別OCR工具實(shí)例解析
這篇文章主要介紹了Python文字截圖識(shí)別OCR工具實(shí)例解析,文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2020-03-03
在本篇文章里小編給各位分享了關(guān)于python怎么安裝scipy的具體方法和實(shí)例代碼，需要的朋友們學(xué)習(xí)下。2019-06-06
Python異步處理返回進(jìn)度——使用Flask實(shí)現(xiàn)進(jìn)度條
這篇文章主要介紹了Python異步處理返回進(jìn)度——使用Flask實(shí)現(xiàn)進(jìn)度條，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-05-05
大家好，本篇文章主要講的是基于pygame實(shí)現(xiàn)貪吃蛇小游戲示例，感興趣的同學(xué)趕快來(lái)看一看吧，對(duì)你有幫助的話記得收藏一下，方便下次瀏覽2021-12-12
這篇文章主要介紹了Python 定義只讀屬性的實(shí)現(xiàn)方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2020-03-03