python利用urllib實(shí)現(xiàn)爬取京東網(wǎng)站商品圖片的爬蟲(chóng)實(shí)例
更新時(shí)間：2017年08月24日 09:30:36 投稿：jingxian
下面小編就為大家?guī)?lái)一篇python利用urllib實(shí)現(xiàn)爬取京東網(wǎng)站商品圖片的爬蟲(chóng)實(shí)例。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧
本例程使用urlib實(shí)現(xiàn)的，基于python2.7版本，采用beautifulsoup進(jìn)行網(wǎng)頁(yè)分析，沒(méi)有第三方庫(kù)的應(yīng)該安裝上之后才能運(yùn)行，我用的IDE是pycharm，閑話少說(shuō)，直接上代碼！
# -*- coding: utf-8 -*
import re
import os
import urllib
import urllib2
from bs4 import BeautifulSoup
def craw(url,page):
html1=urllib2.urlopen(url).read()
html1=str(html1)
soup=BeautifulSoup(html1,'lxml')
imagelist=soup.select('#J_goodsList > ul > li > div > div.p-img > a > img')
namelist=soup.select('#J_goodsList > ul > li > div > div.p-name > a > em')
#pricelist=soup.select('#plist > ul > li > div > div.p-price > strong')
#print pricelist
path = "E:/{}/".format(str(goods))
if not os.path.exists(path):
os.mkdir(path)
for (imageurl,name) in zip(imagelist,namelist):
name=name.get_text()
imagename=path + name +".jpg"
imgurl="http:"+str(imageurl.get('data-lazy-img'))
if imgurl == 'http:None':
imgurl = "http:" + str(imageurl.get('src'))
try:
urllib.urlretrieve(imgurl,filename=imagename)
except:
continue
'''
#J_goodsList > ul > li:nth-child(1) > div > div.p-img > a > img
#plist > ul > li:nth-child(1) > div > div.p-name.p-name-type3 > a > em
#plist > ul > li:nth-child(1) > div > div.p-price > strong:nth-child(1) > i
'''
if __name__ == "__main__":
goods=raw_input('please input the goos you want:')
pages=input('please input the pages you want:')
count =0.0
for i in range(1,int(pages+1),2):
url="https://search.jd.com/Search?keyword={}&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&suggest=1.def.0.T06&wq=diann&page={}".format(str(goods),str(i))
craw(url,i)
count += 1
print 'work completed {:.2f}%'.format(count/int(pages)*100)
圖片的命名為商品的名稱，京東商品圖片地址的屬性很可能會(huì)有所變動(dòng)，所以大家進(jìn)行編寫的時(shí)候應(yīng)該舉一反三，靈活運(yùn)用！
這是我下載下來(lái)的手機(jī)類圖片文件的截圖：
我本地的爬取的速度很快，不到一分鐘就能爬取100頁(yè)上千個(gè)商品的圖片！
以上這篇python利用urllib實(shí)現(xiàn)爬取京東網(wǎng)站商品圖片的爬蟲(chóng)實(shí)例就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
Python中輸入若干整數(shù)以逗號(hào)間隔實(shí)現(xiàn)統(tǒng)計(jì)每個(gè)整數(shù)出現(xiàn)次數(shù)
這篇文章主要介紹了Python中輸入若干整數(shù)以逗號(hào)間隔實(shí)現(xiàn)統(tǒng)計(jì)每個(gè)整數(shù)出現(xiàn)次數(shù)的相關(guān)資料,需要的小伙伴可以參考一下，希望對(duì)你有所幫助2022-04-04
Python實(shí)現(xiàn)五子棋聯(lián)機(jī)對(duì)戰(zhàn)小游戲
本文主要介紹了通過(guò)Python實(shí)現(xiàn)簡(jiǎn)單的支持聯(lián)機(jī)對(duì)戰(zhàn)的游戲——支持局域網(wǎng)聯(lián)機(jī)對(duì)戰(zhàn)的五子棋小游戲。廢話不多說(shuō)，快來(lái)跟隨小編一起學(xué)習(xí)吧2021-12-12
從零開(kāi)始搭建基于Python的微信小程序的教程分享
這篇文章主要為大家展示了如何從零開(kāi)始搭建一個(gè)基于?Python?的微信小程序項(xiàng)目，包含詳細(xì)的解決思路、方案和實(shí)際案例，希望對(duì)大家有所幫助2023-05-05
本文主要介紹了Python制作一個(gè)多功能音樂(lè)播放器，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2023-03-03
PyQt實(shí)現(xiàn)計(jì)數(shù)器的方法示例
這篇文章主要介紹了PyQt實(shí)現(xiàn)計(jì)數(shù)器的方法示例，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01
堆排序是一種基于二叉堆數(shù)據(jù)結(jié)構(gòu)的排序算法,本文主要介紹了Python堆排序的實(shí)現(xiàn)示例,具有一定的參考價(jià)值,感興趣的可以了解一下2023-11-11
異常檢測(cè)是通過(guò)數(shù)據(jù)挖掘方法發(fā)現(xiàn)與數(shù)據(jù)集分布不一致的異常數(shù)據(jù)，也被稱為離群點(diǎn)、異常值檢測(cè)等等。本文為大家整理了8個(gè)常見(jiàn)的Python異常檢測(cè)算法，希望對(duì)大家有所幫助2023-02-02
Python復(fù)制Excel中的行、列和單元格的操作代碼
在Excel中,復(fù)制行、列和單元格是日常工作中經(jīng)常需要進(jìn)行的操作,它可以幫助你快速調(diào)整數(shù)據(jù)布局、復(fù)制數(shù)據(jù)模板或進(jìn)行數(shù)據(jù)的批量處理,本文將詳細(xì)介紹如何使用Python將Excel中的行、列、或單元格范圍復(fù)制到指定位置,需要的朋友可以參考下2024-09-09
Python利用pdfplumber實(shí)現(xiàn)讀取PDF寫入Excel
pdfplumber專注PDF內(nèi)容提取，例如文本（位置、字體及顏色等）和形狀（矩形、直線、曲線），還有解析表格的功能。本文主要為大家介紹如何利用pdfplumber實(shí)現(xiàn)讀取PDF寫入Excel，需要的可以參考一下2022-06-06
Python網(wǎng)絡(luò)爬蟲(chóng)之爬取微博熱搜
這篇文章主要介紹了Python網(wǎng)絡(luò)爬蟲(chóng)之爬取微博熱搜的相關(guān)知識(shí)，非常不錯(cuò)，具有一定的參考借鑒價(jià)值,需要的朋友可以參考下2019-04-04