python爬蟲獲取京東手機(jī)圖片的圖文教程
如題,首先當(dāng)然是要打開京東的手機(jī)頁面


因為要獲取不同頁面的所有手機(jī)圖片,所以我們要跳轉(zhuǎn)到不同頁面觀察頁面地址的規(guī)律,這里觀察第二頁頁面

由觀察可以得到,第二頁的鏈接地址很有可能是
https://list.jd.com/list.html?cat=9987,653,655&page=2
那么對應(yīng)第n頁的地址就是
https://list.jd.com/list.html?cat=9987,653,655&page=n
我們就可以利用這個規(guī)律在編程的時候打開自己想要獲取的頁面了
接著我們查看頁面的源代碼,觀察圖片鏈接的規(guī)律


我們使用在源代碼的頁面使用ctrl+f查找,然后在查找框里面輸入頁面第一臺手機(jī)的名字 “vivo X9s 全網(wǎng)通 4GB+64GB 玫瑰金 移動” 快速定位到圖片鏈接附近的代碼,便于后面編程對圖片范圍進(jìn)行篩選

可以看到,上圖的畫紅線的三個部分,<div id="plist" 在這一頁中是唯一出現(xiàn)的一個元素,而且離圖片鏈接比較近,所以可以作為篩選頁面的開頭位置
<img width=“220”……這個是手機(jī)圖片的信息,我們要獲取的是后面
//img14.360buyimg.com/n7/jfs/t6088/107/5539077608/409616/7f98b2bb/596c2edaN9792cd20.jpg
這個鏈接,但是觀察發(fā)現(xiàn)后面也有一個圖片鏈接
img data-sku="5291744" width="25" height="25" class="loading-style2" src="http://img14.360buyimg.com/n9/jfs/t6088/107/5539077608/409616/7f98b2bb/596c2edaN9792cd20.jpg"
這個很明顯不是我們要找的手機(jī)圖片鏈接
所以我們要使用正則表達(dá)式將真正的圖片鏈接篩選出來,觀察發(fā)現(xiàn)這兩個圖片鏈接的區(qū)別在于手機(jī)圖片鏈接里面含有n7元素,而另外一個圖片鏈接含有n9元素,這樣子我們的正則表達(dá)式就可以表示為pat2 = '//.+?/n7/.+?\.jpg'
接著我們要找到這個頁面最后一張手機(jī)圖片的位置,方便找出可以作為篩選頁面的結(jié)束位置,方法和上面類似,在源代碼搜索框輸入 小米(MI) 紅米Note4X 手機(jī) 香檳金 全網(wǎng)通 3GB+32GB 定位到頁面最后一張圖片位置

可以看到,下面<div class="page clearfix">在該頁面中是唯一的,而且比較接近最后一張手機(jī)圖片附近的鏈接,所以可以作為篩選結(jié)尾位置的元素,其實篩選的元素只要滿足唯一并且接近我們要獲取的目標(biāo),那么也可以作為我們要選取的元素
經(jīng)過上面準(zhǔn)備之后,我們得出了大概的思路
1首先進(jìn)行第一次篩選,使用正則表達(dá)式pat1 = '<div id="plist".+<div class="page clearfix">'將圖片鏈接的范圍大概篩選出來
2然后進(jìn)行第二次篩選,使用正則表達(dá)式pat2 = '//.+?/n7/.+?\.jpg'將手機(jī)圖片鏈接篩選出來
3使用urllib.urlretrieve保存鏈接圖片到本地
下面給出python代碼
# -*- coding: UTF-8 -*- import re import urllib2 import urllib def craw(url, page): html1 = urllib2.urlopen(url).read() html1 = str(html1) pat1 = '<div id="plist".+<div class="page clearfix">' result1 = re.compile(pat1, re.DOTALL).findall(html1) #獲取第一次篩選結(jié)果 result1 = result1[0] #*匹配0個或者多個前面表達(dá)式 #.匹配任意字符,加上re.dotall包括換行符 #+匹配1個或者多個前面表達(dá)式 #?非貪婪匹配,就是只匹配一組 #篩選出圖片鏈接列表 pat2 = '//.+?/n7/.+?\.jpg' imagelist = re.compile(pat2).findall(result1) #x作為圖片文件的順序 x=1 for imageurl in imagelist: imagename = "C:/Users/Administrator/Desktop/jdphone_img/" + str(page) + str(x) + ".jpg" imageurl = "http:" + imageurl try: #保存圖片 urllib.urlretrieve(imageurl, filename=imagename) except urllib2.URLError as e: #hasattr判斷對象里面是否有name屬性 if hasattr(e, "code"): x+=1 if hasattr(e, "reason"): x+=1 x+=1 for i in range(1, 3): url = "https://list.jd.com/list.html?cat=9987,653,655&page=" + str(i) craw(url, i)
注意:我這里只保存了第一二頁的手機(jī)圖片,在進(jìn)行第二次篩選的時候正則表達(dá)式之所以會加了一個"?"進(jìn)行非貪婪匹配,也就是一次只篩選出一張手機(jī)圖片鏈接,如果不加這個非貪婪匹配那么我們會把第一個含有“//”到最后一個結(jié)尾含有.jpg之間的所有內(nèi)容都會篩選出來,顯示是不符合的,在這里建議可以把正則表達(dá)式的?去掉,然后看一下輸出結(jié)果,去體會一下非貪婪匹配是怎么樣的。
- python爬蟲實戰(zhàn)之爬取京東商城實例教程
- python制作爬蟲爬取京東商品評論教程
- python爬蟲框架scrapy實戰(zhàn)之爬取京東商城進(jìn)階篇
- python利用urllib實現(xiàn)爬取京東網(wǎng)站商品圖片的爬蟲實例
- Python爬蟲實現(xiàn)爬取京東手機(jī)頁面的圖片(實例代碼)
- Python 3實戰(zhàn)爬蟲之爬取京東圖書的圖片詳解
- Python爬蟲實現(xiàn)網(wǎng)頁信息抓取功能示例【URL與正則模塊】
- Python爬蟲框架Scrapy實戰(zhàn)之批量抓取招聘信息
- python抓取網(wǎng)頁圖片示例(python爬蟲)
- 簡單的抓取淘寶圖片的Python爬蟲
- 編寫Python爬蟲抓取暴走漫畫上gif圖片的實例分享
- Python爬蟲實現(xiàn)抓取京東店鋪信息及下載圖片功能示例
相關(guān)文章
詳解從Django Rest Framework響應(yīng)中刪除空字段
這篇文章主要介紹了詳解從Django Rest Framework響應(yīng)中刪除空字段,小編覺得挺不錯的,現(xiàn)在分享給大家,也給大家做個參考。一起跟隨小編過來看看吧2019-01-01
DataFrame數(shù)據(jù)框模糊查詢與去重方式
數(shù)據(jù)框模糊查詢通常使用contains函數(shù)和正則表達(dá)式來實現(xiàn),可以查詢以某個字符開頭、包含或結(jié)尾的數(shù)據(jù),若數(shù)據(jù)類型不一致可能會報錯,需統(tǒng)一為str類型,數(shù)據(jù)框去重則通過drop_duplicates函數(shù)實現(xiàn),可指定列進(jìn)行去重,并有多種處理重復(fù)值的方式2024-09-09
pandas使用get_dummies進(jìn)行one-hot編碼的方法
今天小編就為大家分享一篇pandas使用get_dummies進(jìn)行one-hot編碼的方法,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-07-07
使用Python實現(xiàn)Oracle數(shù)據(jù)庫自動巡檢程序
這篇文章主要為大家詳細(xì)介紹了如何創(chuàng)建一個Oracle數(shù)據(jù)庫自動巡檢程序,以確保數(shù)據(jù)庫的順暢運(yùn)行,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2024-01-01

