簡單實現(xiàn)python爬蟲功能
在我們?nèi)粘I暇W(wǎng)瀏覽網(wǎng)頁的時候,經(jīng)常會看到一些好看的圖片,我們就希望把這些圖片保存下載,或者用戶用來做桌面壁紙,或者用來做設(shè)計的素材。
我們最常規(guī)的做法就是通過鼠標(biāo)右鍵,選擇另存為。但有些圖片鼠標(biāo)右鍵的時候并沒有另存為選項,還有辦法就通過就是通過截圖工具截取下來,但這樣就降低圖片的清晰度。好吧~!其實你很厲害的,右鍵查看頁面源代碼。
我們可以通過python 來實現(xiàn)這樣一個簡單的爬蟲功能,把我們想要的代碼爬取到本地。下面就看看如何使用python來實現(xiàn)這樣一個功能。
一、獲取整個頁面數(shù)據(jù)
首先我們可以先獲取要下載圖片的整個頁面信息。
getjpg.py
#coding=utf-8
import urllib
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
return html
html = getHtml("http://tieba.baidu.com/p/2738151262")
print html
Urllib模塊提供了讀取web頁面數(shù)據(jù)的接口,我們可以像讀取本地文件一樣讀取www和ftp上的數(shù)據(jù)。首先,我們定義了一個getHtml()函數(shù):
urllib.urlopen()方法用于打開一個URL地址。
read()方法用于讀取URL上的數(shù)據(jù),向getHtml()函數(shù)傳遞一個網(wǎng)址,并把整個頁面下載下來。執(zhí)行程序就會把整個網(wǎng)頁打印輸出。
二、篩選頁面中想要的數(shù)據(jù)
Python 提供了非常強大的正則表達(dá)式,我們需要先要了解一點python 正則表達(dá)式的知識才行。
假如我們百度貼吧找到了幾張漂亮的壁紙,通過到前段查看工具。找到了圖片的地址,如:src=”http://imgsrc.baidu.com/forum......jpg”pic_ext=”jpeg”

修改代碼如下:
import re
import urllib
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
return html
def getImg(html):
reg = r'src="(.+?\.jpg)" pic_ext'
imgre = re.compile(reg)
imglist = re.findall(imgre,html)
return imglist
html = getHtml("http://tieba.baidu.com/p/2460150866")
print getImg(html)
我們又創(chuàng)建了getImg()函數(shù),用于在獲取的整個頁面中篩選需要的圖片連接。re模塊主要包含了正則表達(dá)式:
- re.compile() 可以把正則表達(dá)式編譯成一個正則表達(dá)式對象.
- re.findall() 方法讀取html 中包含 imgre(正則表達(dá)式)的數(shù)據(jù).
運行腳本將得到整個頁面中包含圖片的URL地址。
三、將頁面篩選的數(shù)據(jù)保存到本地
把篩選的圖片地址通過for循環(huán)遍歷并保存到本地,代碼如下:
#coding=utf-8
import urllib
import re
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
return html
def getImg(html):
reg = r'src="(.+?\.jpg)" pic_ext'
imgre = re.compile(reg)
imglist = re.findall(imgre,html)
x = 0
for imgurl in imglist:
urllib.urlretrieve(imgurl,'%s.jpg' % x)
x+=1
html = getHtml("http://tieba.baidu.com/p/2460150866")
print getImg(html)
這里的核心是用到了urllib.urlretrieve()方法,直接將遠(yuǎn)程數(shù)據(jù)下載到本地。
通過一個for循環(huán)對獲取的圖片連接進(jìn)行遍歷,為了使圖片的文件名看上去更規(guī)范,對其進(jìn)行重命名,命名規(guī)則通過x變量加1。保存的位置默認(rèn)為程序的存放目錄。
程序運行完成,將在目錄下看到下載到本地的文件。
結(jié)果展示:

以上就是本文的全部內(nèi)容,希望對大家實現(xiàn)Python爬蟲功能有所幫助。
- python3模擬百度登錄并實現(xiàn)百度貼吧簽到示例分享(百度貼吧自動簽到)
- Python實現(xiàn)的金山快盤的簽到程序
- 詳解Python網(wǎng)絡(luò)爬蟲功能的基本寫法
- Python實現(xiàn)控制臺進(jìn)度條功能
- python控制臺中實現(xiàn)進(jìn)度條功能
- Python 實現(xiàn)簡單的電話本功能
- Python基于有道實現(xiàn)英漢字典功能
- Python功能鍵的讀取方法
- 在Python中使用mechanize模塊模擬瀏覽器功能
- 用Python實現(xiàn)web端用戶登錄和注冊功能的教程
- Python腳本實現(xiàn)蝦米網(wǎng)簽到功能
相關(guān)文章
Django數(shù)據(jù)庫遷移報錯InconsistentMigrationHistory
最近在使用Django,學(xué)習(xí)了一下Django數(shù)據(jù)庫遷移,在執(zhí)行遷移命令時,突然報錯,本文就總結(jié)了一下原因,感興趣的小伙伴們可以參考一下2021-05-05
Python經(jīng)典題實戰(zhàn)記錄之百元買百雞
有一道著名的"百錢買百雞"問題大家應(yīng)該都不陌生,這篇文章主要給大家介紹了關(guān)于Python經(jīng)典題實戰(zhàn)記錄之百元買百雞的相關(guān)資料,文中給出了詳細(xì)的代碼示例,需要的朋友可以參考下2023-12-12
Python文本統(tǒng)計功能之西游記用字統(tǒng)計操作示例
這篇文章主要介紹了Python文本統(tǒng)計功能之西游記用字統(tǒng)計操作,結(jié)合實例形式分析了Python文本讀取、遍歷、統(tǒng)計等相關(guān)操作技巧,需要的朋友可以參考下2018-05-05
使用Keras預(yù)訓(xùn)練好的模型進(jìn)行目標(biāo)類別預(yù)測詳解
這篇文章主要介紹了使用Keras預(yù)訓(xùn)練好的模型進(jìn)行目標(biāo)類別預(yù)測詳解,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
Python繪圖之自定義圖類型控件實現(xiàn)混合類型圖表
這篇文章主要為大家詳細(xì)介紹了Python如何新建繪圖類型控件,實現(xiàn)混合類型圖表,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2023-08-08

