Docker 部署Scrapy的詳解

更新時間：2018年04月10日 09:12:05 作者：瓦力

這篇文章主要介紹了Docker 部署Scrapy的詳解，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

假設(shè)我們要在10臺Ubuntu 部署爬蟲如何搞之？用傳統(tǒng)的方法會吐血的，除非你記錄下來每個步驟，然后步驟之間的次序還完全一樣，這樣才行。但是這樣還是累啊，個別軟件下載又需要時間。所以Docker出現(xiàn)了。Docker把系統(tǒng)，各種需要的應(yīng)用，還有設(shè)置編譯成一個image，然后 run一下就可以了。跟虛擬機(jī)的區(qū)別是不需要而外的物理支持，共用的。

1. 部署步驟

1.1 上傳本地scrapy爬蟲代碼除了settings外到git 服務(wù)器

1.2 編寫Dockerfile文件，把settings和requirements.txt 也拷貝到image里，一起打包成一個image

Dockerfile內(nèi)容：

FROM ubuntu
RUN apt-get update
RUN apt-get install -y git
RUN apt-get install -y nano 
RUN apt-get install -y redis-server  
RUN apt-get -y dist-upgrade
RUN apt-get install -y openssh-server
RUN apt-get install -y python3.5 python3-pip
RUN apt-get install -y zlib1g-dev libffi-dev libssl-dev
RUN apt-get install -y libxml2-dev libxslt1-dev
RUN mkdir /code
WORKDIR /code
ADD ./requirements.txt /code/
ADD ./settings.py /code/
RUN mkdir /code/myspider
RUN pip3 install -r requirements.txt
VOLUME [ "/data" ]

requirements.txt 內(nèi)容：

BeautifulSoup4
scrapy
setuptools
scrapy_redis
redis
sqlalchemy
pymysql
pillow

整個目錄結(jié)構(gòu)：

docker build -t fox6419/scrapy:scrapyTag .

fox6419是用戶名，scrapyTag是tag

成功后，執(zhí)行docker images可以在本地看到image

1.3 打包的image 上傳到docker hub中

docker push username/repository:tag

push的命令格式是這樣的，我這邊就是：

docker push fox6419/scrapy:scrapyTag

1.4 在DigitalOcean這種主機(jī)商創(chuàng)建帶docker應(yīng)用的Ubuntu 16.04版本

1.5 登陸docker，拉下1.3的image，然后run起來

docker run -it fox6419/scrapy:scrapyTag /bin/bash

1.6 命令進(jìn)去后，git clone 1.1中的爬蟲，然后復(fù)制images里的settings到爬蟲目錄，然后執(zhí)行scrapy crawl xxx即可

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

詳解基于docker 如何部署surging分布式微服務(wù)引擎
這篇文章主要介紹了詳解基于docker 如何部署surging分布式微服務(wù)引擎，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2018-06-06
Docker容器Container鏡像Image如何存儲詳解
本文主要介紹Docker容器（Container）和鏡像（Image）是如何進(jìn)行數(shù)據(jù)存儲詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
2023-09-09
cordon節(jié)點drain驅(qū)逐節(jié)點delete節(jié)點詳解
這篇文章主要為大家介紹了cordon節(jié)點drain驅(qū)逐節(jié)點delete節(jié)點詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
2022-11-11
詳細(xì)講解Docker-Compose部署Kafka?KRaft集群環(huán)境
這篇文章主要為大家介紹了Docker-Compose部署Kafka?KRaft集群環(huán)境的全面詳細(xì)講解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
2023-01-01
docker?screen命令的使用
本文主要介紹了docker?screen命令的使用,Screen命令則提供了強(qiáng)大的多會話管理功能,讓我們可以實時監(jiān)控和操作容器,具有一定的參考價值,感興趣的可以了解一下
2024-01-01
關(guān)于Docker部署postgresql數(shù)據(jù)庫的問題
這篇文章主要介紹了Docker部署postgresql數(shù)據(jù)庫的相關(guān)知識，本文給大家介紹的非常詳細(xì)，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
2022-03-03
設(shè)置docker的定時關(guān)閉和啟動方式
文章介紹了在Docker中設(shè)置容器定時關(guān)閉和啟動的兩種方法：使用系統(tǒng)級定時任務(wù)（如cron）和使用Docker特定的解決方案,通過配置CronJob、DockerCompose或DockerSwarm,可以實現(xiàn)容器的定時啟動和關(guān)閉
2024-12-12
Docker容器在系統(tǒng)啟動時自動運行配置方法
docker容器化可以使得環(huán)境相對獨立,減少污染,這篇文章主要給大家介紹了關(guān)于Docker容器在系統(tǒng)啟動時自動運行配置的相關(guān)資料,文中通過代碼介紹的非常詳細(xì),需要的朋友可以參考下
2023-09-09
使用Docker安裝向量數(shù)據(jù)庫milvus并且安裝圖形化界面的方法
文章介紹了如何在Windows上使用Docker安裝并配置Milvus向量數(shù)據(jù)庫,包括啟用WSL2、安裝Ubuntu、配置Docker倉庫、安裝Milvus服務(wù)端和用戶圖形界面Attu,并提供了一個修改后的Dockerfile以提高Attu的安裝速度,感興趣的朋友一起看看吧
2025-02-02
Docker Compose一鍵ELK部署的方法實現(xiàn)
這篇文章主要介紹了Docker Compose一鍵ELK部署的方法實現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2021-01-01