【Python】Python的urllib模塊、urllib2模塊批量進(jìn)行網(wǎng)頁(yè)下載文件

更新時(shí)間：2016年11月19日 14:48:14 作者：xiaoguaihai

這篇文章主要介紹了Python的urllib模塊、urllib2模塊批量進(jìn)行網(wǎng)頁(yè)下載文件，就是一個(gè)簡(jiǎn)單的從網(wǎng)頁(yè)抓取數(shù)據(jù)、下載文件的小程序，需要的可以了解一下。

由于需要從某個(gè)網(wǎng)頁(yè)上下載一些PDF文件，但是需要下載的PDF文件有幾百個(gè)，所以不可能用人工點(diǎn)擊來(lái)下載。正好Python有相關(guān)的模塊，所以寫了個(gè)程序來(lái)進(jìn)行PDF文件的下載，順便熟悉了Python的urllib模塊和ulrllib2模塊。

1、問(wèn)題描述

需要從http://www.cvpapers.com/cvpr2014.html上下載幾百個(gè)論文的PDF文件，該網(wǎng)頁(yè)如下圖所示：

2、問(wèn)題解決

通過(guò)結(jié)合Python的urllib模塊和urllib2模塊來(lái)實(shí)現(xiàn)自動(dòng)下載。代碼如下：

test.py

#!/usr/bin/python 
# -*- coding:utf-8 -*- 
 
import urllib              #導(dǎo)入urllib模塊 
import urllib2             #導(dǎo)入urllib2模塊 
import re               #導(dǎo)入正則表達(dá)式模塊：re模塊 
 
def getPDFFromNet(inputURL): 
  req = urllib2.Request(inputURL) 
  f = urllib2.urlopen(req)         #打開(kāi)網(wǎng)頁(yè) 
  localDir = 'E:\downloadPDF\\'        #下載PDF文件需要存儲(chǔ)在本地的文件夾 
  urlList = []            #用來(lái)存儲(chǔ)提取的PDF下載的url的列表 
  for eachLine in f:          #遍歷網(wǎng)頁(yè)的每一行 
    line = eachLine.strip()       #去除行首位的空格，習(xí)慣性寫法 
    if re.match('.*PDF.*', line):      #去匹配含有“PDF”字符串的行，只有這些行才有PDF下載地址 
      wordList = line.split('\"')    #以"為分界，將該行分開(kāi)，這樣就將url地址單獨(dú)分開(kāi)了 
      for word in wordList:      #遍歷每個(gè)字符串 
        if re.match('.*\.pdf$', word): #去匹配含有“.pdf”的字符串，只有url中才有 
          urlList.append(word)  #將提取的url存入列表 
  for everyURL in urlList:         #遍歷列表的每一項(xiàng)，即每一個(gè)PDF的url 
    wordItems = everyURL.split('/')     #將url以/為界進(jìn)行劃分，為了提取該P(yáng)DF文件名 
    for item in wordItems:       #遍歷每個(gè)字符串 
      if re.match('.*\.pdf$', item):   #查找PDF的文件名 
        PDFName = item     #查找到PDF文件名 
    localPDF = localDir + PDFName      #將本地存儲(chǔ)目錄和需要提取的PDF文件名進(jìn)行連接 
    try:            
      urllib.urlretrieve(everyURL, localPDF) #按照url進(jìn)行下載，并以其文件名存儲(chǔ)到本地目錄 
    except Exception,e: 
      continue 
 
getPDFFromNet('http://www.cvpapers.com/cvpr2014.html')

注意：

（1）第1、6、8、23行分別多謝了一個(gè)“\”來(lái)進(jìn)行轉(zhuǎn)義；

（2）第27行的urlretrieve函數(shù)有3個(gè)參數(shù)：第一個(gè)參數(shù)就是目標(biāo)url；第二個(gè)參數(shù)是保存的文件絕對(duì)路徑(含文件名)，該函數(shù)的返回值是一個(gè)tuple(filename,header)，其中的filename就是第二個(gè)參數(shù)filename。如果urlretrieve僅提供1個(gè)參數(shù),返回值的filename就是產(chǎn)生的臨時(shí)文件名,函數(shù)執(zhí)行完畢后該臨時(shí)文件會(huì)被刪除參數(shù)。第3個(gè)參數(shù)是一個(gè)回調(diào)函數(shù)，當(dāng)連接上服務(wù)器、以及相應(yīng)的數(shù)據(jù)塊傳輸完畢的時(shí)候會(huì)觸發(fā)該回調(diào)。其中回調(diào)函數(shù)名稱可任意，但是參數(shù)必須為三個(gè)。一般直接使用reporthook(block_read,block_size,total_size)定義回調(diào)函數(shù)，block_size是每次讀取的數(shù)據(jù)塊的大小，block_read是每次讀取的數(shù)據(jù)塊個(gè)數(shù)，taotal_size是一一共讀取的數(shù)據(jù)量，單位是byte?？梢允褂胷eporthook函數(shù)來(lái)顯示讀取進(jìn)度。
如果想顯示讀取進(jìn)度，則可以講第三個(gè)參數(shù)加上，將上述程序第27行改為如下：

urllib.urlretrieve(everyURL, localPDF, reporthook=reporthook)

而reporthook回調(diào)函數(shù)的代碼如下：

def reporthook(block_read,block_size,total_size): 
 if not block_read: 
 print "connection opened"; 
 return 
 if total_size<0: 
 #unknown size 
 print "read %d blocks (%dbytes)" %(block_read,block_read*block_size); 
 else: 
 amount_read=block_read*block_size; 
 print 'Read %d blocks,or %d/%d' %(block_read,block_read*block_size,total_size);

綜上所述，這就是一個(gè)簡(jiǎn)單的從網(wǎng)頁(yè)抓取數(shù)據(jù)、下載文件的小程序，希望對(duì)正在學(xué)習(xí)Python的同學(xué)有幫助。謝謝！

您可能感興趣的文章: