Python實現(xiàn)爬取百度貼吧帖子所有樓層圖片的爬蟲示例

更新時間：2018年04月26日 10:04:24 作者：開心果汁

這篇文章主要介紹了Python實現(xiàn)爬取百度貼吧帖子所有樓層圖片的爬蟲,涉及基于urllib的網頁訪問與正則匹配相關操作技巧,需要的朋友可以參考下

本文實例講述了Python實現(xiàn)爬取百度貼吧帖子所有樓層圖片的爬蟲。分享給大家供大家參考，具體如下：

下載百度貼吧帖子圖片，好好看

python2.7版本：

#coding=utf-8
import re
import requests
import urllib
from bs4 import BeautifulSoup
import time
time1=time.time()
def getHtml(url):
  page = requests.get(url)
  html =page.text
  return html
def getImg(html):
  soup = BeautifulSoup(html, 'html.parser')
  img_info = soup.find_all('img', class_='BDE_Image')
  global index
  for index,img in enumerate(img_info,index+1):
    print ("正在下載第{}張圖片".format(index))
    urllib.urlretrieve(img.get("src"),'C:/pic4/%s.jpg' % index)
def getMaxPage(url):
  html = getHtml(url)
  reg = re.compile(r'max-page="(\d+)"')
  page = re.findall(reg,html)
  page = int(page[0])
  return page
if __name__=='__main__':
  url  = "https://tieba.baidu.com/p/5113603072"
  page = getMaxPage(url)
  index = 0
  for i in range(1,page):
    url = "%s%s" % ("https://tieba.baidu.com/p/5113603072?pn=",str(i))
    html = getHtml(url)
    getImg(html)
  print ("OK!All DownLoad!")
  time2=time.time()
  print u'總共耗時：' + str(time2 - time1) + 's'

PS：這里再為大家提供2款非常方便的正則表達式工具供大家參考使用：

JavaScript正則表達式在線測試工具：
http://tools.jb51.net/regex/javascript

正則表達式在線生成工具：
http://tools.jb51.net/regex/create_reg

更多關于Python相關內容可查看本站專題：《Python Socket編程技巧總結》、《Python正則表達式用法總結》、《Python數(shù)據(jù)結構與算法教程》、《Python函數(shù)使用技巧總結》、《Python字符串操作技巧匯總》、《Python入門與進階經典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對大家Python程序設計有所幫助。

您可能感興趣的文章:

Python+OpenCV實現(xiàn)相機標定的方法詳解
opencv中內置了張正友的棋盤格標定法，通過一些姿態(tài)各異的棋盤格圖像，可以標定相機的內外參數(shù)，本文為大家介紹OpenCV進行相機標定的具體方法，希望對大家有所幫助
2023-05-05
python反轉單鏈表算法題
這篇文章主要為大家詳細介紹了python反轉單鏈表算法題，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2022-05-05
python多進程主進程和子進程間共享和不共享全局變量實例
這篇文章主要介紹了python多進程主進程和子進程間共享和不共享全局變量實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-04-04
Python的SimpleHTTPServer模塊用處及使用方法簡介
這篇文章主要介紹了Python的SimpleHTTPServer模塊用處及使用方法簡介，小編覺得還是挺不錯的，具有一定借鑒價值，需要的朋友可以參考下
2018-01-01
Python實現(xiàn)HTML轉Word的示例代碼
這篇文章主要為大家詳細介紹了使用Python實現(xiàn)HTML轉Word的相關知識,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學習一下
2023-12-12
Python多線程編程簡單介紹
這篇文章主要介紹了Python多線程編程簡單介紹,本文講解了創(chuàng)建線程、Thread對象函數(shù)、常用示例等內容,需要的朋友可以參考下
2015-04-04
python線程池的實現(xiàn)實例
這篇文章主要介紹了python線程池的實現(xiàn)方法，代碼簡單實用，供大家參考使用
2013-11-11
Python 詳解爬取并統(tǒng)計CSDN全站熱榜標題關鍵詞詞頻流程
讀萬卷書不如行萬里路，只學書上的理論是遠遠不夠的，只有在實戰(zhàn)中才能獲得能力的提升，本篇文章手把手帶你用Python爬取CSDN全站綜合熱榜標題，順便統(tǒng)計關鍵詞詞頻,大家可以在過程中查缺補漏，提升水平
2021-11-11
Python3中內置類型bytes和str用法及byte和string之間各種編碼轉換問題
這篇文章主要介紹了Python3中內置類型bytes和str用法及byte和string之間各種編碼轉換問題,非常不錯，具有一定的參考借鑒價值，需要的朋友可以參考下
2018-09-09
Python openpyxl模塊實現(xiàn)excel讀寫操作
這篇文章主要介紹了Python openpyxl模塊實現(xiàn)excel讀寫操作,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
2020-06-06