scrapy-redis的安裝部署步驟講解

更新時間：2019年02月27日 11:29:25 作者：世紀殤

今天小編就為大家分享一篇關于scrapy-redis的安裝部署步驟講解，小編覺得內容挺不錯的，現(xiàn)在分享給大家，具有很好的參考價值，需要的朋友一起跟隨小編來看看吧

先說下自己的環(huán)境，redis是部署在centos上的，爬蟲運行在windows上，

1. 安裝redis

yum install -y redis

2. 修改配置文件

vi /etc/redis.conf

將 protected-mode no解注釋，否則的話，在不設置密碼情況下遠程無法連接redis

3. 重啟redis

systemctl restart redis

4. 關閉防火墻

systemctl stop firewalld.service

5. 開始創(chuàng)建scrapy-redis的相關，和普通的scrapy一樣的創(chuàng)建，只不過修改setting.py文件，添加一行

REDIS_URL = 'redis://192.168.61.130:6379'

6. 修改spiders.py文件

# -*- coding: utf-8 -*-
from scrapy_redis.spiders import RedisSpider
class ExampleSpider(RedisSpider):
  name = 'myspider'
  redis_key = 'test_key'
  allowed_domains = ['www.example.com']
  def parse(self, response):
    print(1111)
    pass

7. 可以執(zhí)行這個爬蟲了

scrapy runspider example.py

8. 進入redis

redis-cli -h 127.0.0.1 -p
rpush test_key http://test.com

即可看到爬蟲開始運行了

總結

以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對腳本之家的支持。如果你想了解更多相關內容請查看下面相關鏈接

您可能感興趣的文章:

python解包概念及實例
在本篇文章里小編給大家分享的是一篇關于python解包知識點總結，對此有興趣的朋友們可以學習參考下。
2021-02-02
python3序列化與反序列化用法實例
這篇文章主要介紹了python3序列化與反序列化用法,實例分析了Python3使用pickle模塊針對字符串進行序列化操作的相關技巧,需要的朋友可以參考下
2015-05-05
python BeautifulSoup設置頁面編碼的方法
這篇文章主要介紹了python BeautifulSoup設置頁頁編碼的方法,本文直接給出代碼救命,需要的朋友可以參考下
2015-04-04
PyQt5 QDockWidget控件應用詳解
這篇文章主要介紹了PyQt5 QDockWidget控件應用詳解，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2020-08-08
代碼解析python標準庫logging模塊
這篇文章主要為大家介紹了代碼解析python標準庫logging模塊，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
2022-05-05
Python+Selenium+Pytesseract實現(xiàn)圖片驗證碼識別
這篇文章主要介紹了利用Python+Selenium+Pytesseract實現(xiàn)圖片驗證碼識別，文中的示例代碼講解詳細，感興趣的小伙伴可以跟隨小編一起學習一下
2022-01-01
python Hypothesis生成和執(zhí)行大量的測試用例
Hypothesis是一個基于屬性的測試（property-based testing）庫,它能夠幫助我們生成和執(zhí)行大量的測試用例,與傳統(tǒng)的單元測試相比,屬性測試更加靈活和全面,能夠發(fā)現(xiàn)更多的邊界情況和潛在的錯誤
2024-01-01
PyCharm設置每行最大長度限制的方法
今天小編就為大家分享一篇PyCharm設置每行最大長度限制的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-01-01
python中文編碼問題小結
這篇文章主要介紹了python中文編碼問題,是Python程序設計中比較常見的一類問題,本文以實例形式對此進行了較為詳細的總結,需要的朋友可以參考下
2014-09-09
python標準庫學習之sys模塊詳解
sys模塊是最常用的和python解釋器交互的模塊,sys模塊可供訪問由解釋器(interpreter)使用或維護的變量和與解釋器進行交互的函數(shù),下面這篇文章主要給大家介紹了關于python標準庫學習之sys模塊的相關資料,需要的朋友可以參考下
2022-08-08