下載圖片

下載圖片有兩種方式，一種是通過(guò) Requests 模塊發(fā)送 get 請(qǐng)求下載，另一種是使用 Scrapy 的 ImagesPipeline 圖片管道類(lèi)，這里主要講后者。

安裝 Scrapy 時(shí)并沒(méi)有安裝圖像處理依賴(lài)包 Pillow，需手動(dòng)安裝否則運(yùn)行爬蟲(chóng)出錯(cuò)。

首先在 settings.py 中設(shè)置圖片的存儲(chǔ)路徑：

IMAGES_STORE = 'D:/'

圖片處理相關(guān)的選項(xiàng)還有：

# 圖片最小高度和寬度設(shè)置，可以過(guò)濾太小的圖片
IMAGES_MIN_HEIGHT = 110
IMAGES_MIN_WIDTH = 110

# 生成縮略圖選項(xiàng)
IMAGES_THUMBS = {
 'small': (50, 50),
 'big': (270, 270),
}

之前已經(jīng)存在提取內(nèi)容的 TuchongPipeline 類(lèi)，如果使用 ImagePipeline 可以將提取內(nèi)容的操作都合并過(guò)來(lái)，但是為了更好的說(shuō)明圖片管道的作用，我們?cè)賳为?dú)創(chuàng)建一個(gè) ImagePipeline 類(lèi)，加到 pipelines.py 文件中，同時(shí)重載函數(shù) get_media_requests：

class PhotoGalleryPipeline(object):
 ...

class PhotoPipeline(ImagesPipeline):
 def get_media_requests(self, item, info):
  for (id, url) in item['images'].items():
   yield scrapy.Request(url)

上篇文章中我們把圖片的URL保存在了 item['images'] 中，它是一個(gè)字典類(lèi)型的數(shù)組，形如：[{img_id: img_url}, ...]，此函數(shù)中需要把 img_url 取出并構(gòu)建為 scrapy.Request 請(qǐng)求對(duì)象并返回，每一個(gè)請(qǐng)求都將觸發(fā)一次下載圖片的操作。

到 settings.py 中注冊(cè) PhotoPipeline，并把優(yōu)先級(jí)設(shè)的比提取內(nèi)容的管道要高一些，保證圖片下載優(yōu)先于內(nèi)容處理，目的是如果有圖片下載未成功，通過(guò)觸發(fā) DropItem 異?？梢灾袛噙@一個(gè) Item 的處理，防止不完整的數(shù)據(jù)進(jìn)入下一管道：

ITEM_PIPELINES = {
 'Toutiao.pipelines.PhotoGalleryPipeline': 300,
 'Toutiao.pipelines.PhotoPipeline': 200,
}

執(zhí)行爬蟲(chóng) scrapy crawl photo ，如無(wú)錯(cuò)誤，在設(shè)定的存儲(chǔ)目錄中會(huì)出現(xiàn)一個(gè) full 目錄，里面是下載后的圖片。

文件名處理

下載的文件名是以圖片URL通過(guò) sha1 編碼得到的字符，類(lèi)似 0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg 不是太友好，可以通過(guò)重載 file_path 函數(shù)自定義文件名，比如可以這樣保留原文件名：

...
 def file_path(self, request, response=None, info=None):
  file_name = request.url.split('/')[-1]
  return 'full/%s' % (file_name)
...

上面這樣處理難免會(huì)有重名的文件被覆蓋，但參數(shù) request 中沒(méi)有過(guò)多的信息，不便于對(duì)圖片分類(lèi)，因此可以改為重載 item_completed 函數(shù)，在下載完成后對(duì)圖片進(jìn)行分類(lèi)操作。

函數(shù) item_completed 的定義：

def item_completed(self, results, item, info)

參數(shù)中包含 item ，有我們抓取的所有信息，參數(shù) results 為下載圖片的結(jié)果數(shù)組，包含下載后的路徑以及是否成功下載，內(nèi)容如下：

[(True,
 {'checksum': '2b00042f7481c7b056c4b410d28f33cf',
 'path': 'full/0a79c461a4062ac383dc4fade7bc09f1384a3910.jpg',
 'url': 'http://www.example.com/files/product1.pdf'}),
 (False,
 Failure(...))]

重載該函數(shù)將下載圖片轉(zhuǎn)移到分類(lèi)目錄中，同時(shí)關(guān)聯(lián)文件路徑到 item 中，保持內(nèi)容與圖片為一個(gè)整體：

def item_completed(self, results, item, info):
 image_paths = {x['url'].split('/')[-1]: x['path'] for ok, x in results if ok}
 if not image_paths:
  # 下載失敗忽略該 Item 的后續(xù)處理
  raise DropItem("Item contains no files")
 else:
  # 將圖片轉(zhuǎn)移至以 post_id 為名的子目錄中
  for (dest, src) in image_paths.items():
   dir = settings.IMAGES_STORE
   newdir = dir + os.path.dirname(src) + '/' + item['post_id'] + '/'
   if not os.path.exists(newdir):
    os.makedirs(newdir)
   os.rename(dir + src, newdir + dest)
 # 將保存路徑保存于 item 中（image_paths 需要在 items.py 中定義）
 item['image_paths'] = image_paths
 return item

接下來(lái)在原 TuchongPipeline 類(lèi)中寫(xiě)入數(shù)據(jù)庫(kù)的操作中，通過(guò) item['image_paths'] 路徑信息寫(xiě)入本地圖片鏈接。

除了 ImagesPipeline 處理圖片外，還有 FilesPipeline 可以處理文件，使用方法與圖片類(lèi)似，事實(shí)上 ImagesPipeline 是 FilesPipeline 的子類(lèi)，因?yàn)閳D片也是文件的一種。