Python Scrapy圖片爬取原理及代碼實(shí)例

更新時(shí)間：2020年06月12日 10:21:22 作者：Hedger_Lee

這篇文章主要介紹了Python Scrapy圖片爬取原理及代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下

1.在爬蟲文件中只需要解析提取出圖片地址，然后將地址提交給管道

在管道文件對圖片進(jìn)行下載和持久化存儲

class ImgSpider(scrapy.Spider):
  name = 'img'
  # allowed_domains = ['www.xxx.com']
  start_urls = ['http://www.521609.com/daxuemeinv/']
  url = 'http://www.521609.com/daxuemeinv/list8%d.html'
  pageNum = 1
  def parse(self, response):
    li_list = response.xpath('//*[@id="content"]/div[2]/div[2]/ul/li')
    for li in li_list:
      img_src = 'http://www.521609.com'+li.xpath('./a[1]/img/@src').extract_first()
      item = ImgproItem()
      item['src'] = img_src

      yield item

2.配置文件修改

配置文件要增加IMAGES_STORE = './imgsLib'表明圖片存放的路徑

3.管道類的修改

原本管道類繼承的object，處理item對象使用時(shí)process_item方法，該方法不能發(fā)送請求，要想對圖片地址發(fā)送請求，需要繼承ImagesPipeline類，然后重寫該類中的三個(gè)方法:get_media_requests，file_path，item_completed

from scrapy.pipelines.images import ImagesPipeline
import scrapy

class ImgproPipeline(ImagesPipeline):

  #對某一個(gè)媒體資源進(jìn)行請求發(fā)送
  #item就是接收到的spider提交過來的item
  def get_media_requests(self, item, info):
    yield scrapy.Request(item['src'])

  #制定媒體數(shù)據(jù)存儲的名稱
  def file_path(self, request, response=None, info=None):
    name = request.url.split('/')[-1]
    print('正在下載：',name)
    return name

  #將item傳遞給下一個(gè)即將給執(zhí)行的管道類
  def item_completed(self, results, item, info):
    return item

以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

如何利用pyecharts畫好看的餅狀圖
這篇文章主要給大家介紹了關(guān)于如何利用pyecharts畫好看的餅狀圖的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2021-03-03
Python多繼承原理與用法示例
這篇文章主要介紹了Python多繼承原理與用法,簡單描述了Python多繼承的相關(guān)概念、原理并結(jié)合實(shí)例形式分析了Python多繼承的具體定義、使用方法及相關(guān)操作注意事項(xiàng),需要的朋友可以參考下
2018-08-08
PyTorch權(quán)值初始化原理解析
這篇文章主要為大家介紹了PyTorch權(quán)值初始化原理示例解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
2023-07-07
Elasticsearch之倒排索引及索引操作
這篇文章主要為大家介紹了Elasticsearch之倒排索引及索引操作示例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪
2022-04-04
python爬蟲之代理ip正確使用方法實(shí)例
在爬蟲的過程中,我們經(jīng)常會遇見很多網(wǎng)站采取了防爬蟲技術(shù),或者說因?yàn)樽约翰杉W(wǎng)站信息的強(qiáng)度和采集速度太大,給對方服務(wù)器帶去了太多的壓力,下面這篇文章主要給大家介紹了關(guān)于python爬蟲之代理ip正確使用方法的相關(guān)資料,需要的朋友可以參考下
2022-07-07
Python將視頻或者動(dòng)態(tài)圖gif逐幀保存為圖片的方法
本文是基于opencv將視頻和動(dòng)態(tài)圖gif保存為圖像幀的方法，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友參考下吧
2019-09-09
pytorch 計(jì)算ConvTranspose1d輸出特征大小方式
這篇文章主要介紹了pytorch 計(jì)算ConvTranspose1d輸出特征大小方式，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-06-06
使用Python讀取Excel數(shù)據(jù)在PPT中創(chuàng)建圖表
使用Python從Excel讀取數(shù)據(jù)并在PowerPoint幻燈片中創(chuàng)建圖表不僅能夠極大地簡化圖表創(chuàng)建過程,通過Python這一橋梁,我們可以輕松實(shí)現(xiàn)數(shù)據(jù)自動(dòng)化處理和圖表生成,本文將演示如何使用Python讀取Excel數(shù)據(jù)在PPT中創(chuàng)建圖表,需要的朋友可以參考下
2024-08-08
OpenCV+python3實(shí)現(xiàn)視頻分解成圖片
這篇文章主要為大家詳細(xì)介紹了OpenCV+python3實(shí)現(xiàn)視頻分解成圖片，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2021-09-09
Pandas庫中ffill函數(shù)的具體使用
ffill（forward fill）是Pandas庫中DataFrame和Series對象的一個(gè)函數(shù),用于填充缺失值,本文主要介紹了Pandas庫中ffill函數(shù)的具體使用,具有一定的參考價(jià)值,感興趣的可以了解一下
2024-07-07