簡單的抓取淘寶圖片的Python爬蟲
更新時間：2014年12月25日 09:42:25 投稿：hebedich
這篇文章主要介紹了簡單的抓取淘寶圖片的Python爬蟲,方法比較簡單，推薦給小伙伴們參考下。
寫了一個抓taobao圖片的爬蟲，全是用if，for，while寫的，比較簡陋，入門作品。
從網(wǎng)頁http://mm.taobao.com/json/request_top_list.htm?type=0&page=中提取taobao模特的照片。
復(fù)制代碼 代碼如下:
# -*- coding: cp936 -*-
import urllib2
import urllib
mmurl=" i=0#第二頁有個人的頁面沒圖片,會出現(xiàn)IO錯誤
while i<15:
url=mmurl+str(i)
#print url #打印出列表的url
up=urllib2.urlopen(url)#打開頁面，存入句柄中
cont=up.read()
#print len(cont)#頁面的長度
ahref='<a href="http'#篩選頁面內(nèi)網(wǎng)頁鏈接的關(guān)鍵字
target="target"
pa=cont.find(ahref)#找出網(wǎng)頁鏈接的頭部位置
pt=cont.find(target,pa)#找出網(wǎng)頁鏈接的尾部位置
for a in range(0,20):#如才能不把20硬編碼進去？如何找到文件結(jié)尾？
urlx=cont[pa+len(ahref)-4:pt-2]#從頭部到尾部，將網(wǎng)頁鏈接存入變量
if len(urlx) < 60:#如果網(wǎng)頁鏈接長度適合【len（）?。。?！】
urla=urlx #那么就準(zhǔn)備將其打印出來
print urla #這是想要的model個人URL
#########以下開始對model個人的URL進行操作#########
mup=urllib2.urlopen(urla)#打開model個人的頁面，存入句柄中
mcont=mup.read()#對model頁面的句柄進行讀出操作，存入mcont字符串
imgh="<img style=" #篩選頁面內(nèi)【圖片】鏈接的關(guān)鍵字
imgt=".jpg"
iph=mcont.find(imgh)#找出【圖片】鏈接的頭部位置
ipt=mcont.find(imgt,iph)#找出【圖片】鏈接的尾部位置
for b in range(0,10):#又是硬編碼····
mpic=mcont[iph:ipt+len(imgt)]#原始圖片鏈接，鏈接字符的噪聲太大
iph1=mpic.find("http")#對上面的鏈接再過濾一次
ipt1=mpic.find(imgt) #同上
picx=mpic[iph1:ipt1+len(imgt)]
if len(picx)<150:#仍有一些URL是“http：ss.png><dfsdf>.jpg”(設(shè)為100竟然會誤傷)
pica=picx #【是len(picx)<100而不是picx!!】不然會不顯示
print pica
############################
###########開始下載pica這個圖片
urllib.urlretrieve(pica,"pic\\tb"+str(i)+"x"+str(a)+"x"+str(b)+".jpg")
########### pica圖片下載完畢.(加上各循環(huán)體的數(shù)字，以免名字重復(fù))
############################
iph=mcont.find(imgh,iph+len(imgh))#開始下一個循環(huán)
ipt=mcont.find(imgt,iph)
############model個人URL內(nèi)的【圖片鏈接】提取完畢##########
pa=cont.find(ahref,pa+len(ahref))#將原來的頭部位作為起始點，繼續(xù)向后找下一個頭部
pt=cont.find(target,pa)#繼續(xù)找下一個尾部
i+=1
是不是很簡單呢，小伙伴們稍微修改下就可以抓取其他內(nèi)容了的。。。
相關(guān)文章
python利用requests庫模擬post請求時json的使用教程
這篇文章主要介紹了python利用requests庫模擬post請求時json的使用 ,本文給大家介紹的非常詳細，具有一定的參考借鑒價值，需要的朋友可以參考下2018-12-12
這篇文章主要介紹了Python代碼規(guī)范性檢測,本文給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2020-07-07
Python 中使用 argparse 解析命令行參數(shù)
這篇文章主要介紹了Python 中使用 argparse 解析命令行參數(shù)，argparse 模塊是一個強大的命令行參數(shù)解析器，還有很多功能沒能在這里介紹。下面文化在哪個詳細介紹該內(nèi)容,需要的朋友可以參考一下2021-11-11
Python時間差中seconds和total_seconds的區(qū)別詳解
今天小編就為大家分享一篇Python時間差中seconds和total_seconds的區(qū)別詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
本文介紹的關(guān)于Python時間日期處理，日期時間處理在實際應(yīng)用場景中無處不在，所以這也成了編程語言中必不可少的模塊，本文主要給大家介紹Python使用一行代碼獲取上個月是幾月的相關(guān)知識，感興趣的朋友一起看看吧2018-08-08
單例模式可以保證一個類僅有一個實例，并提供一個訪問它的全局訪問點。本文為大家介紹了Python實現(xiàn)單例模式的四種方式，需要的可以參考一下2022-05-05
這篇文章主要介紹了Django之choices選項和富文本編輯器的使用詳解，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
Python實現(xiàn)輸入若干個正整數(shù),升序后輸出
這篇文章主要介紹了Python實現(xiàn)輸入若干個正整數(shù),升序后輸出方式,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-02-02
Python機器學(xué)習(xí)特征重要性分析的8個常用方法實例探究
本文詳細介紹8種常用的方法,涵蓋了基于決策樹、集成學(xué)習(xí)模型以及統(tǒng)計學(xué)方法的特征重要性分析,從決策樹模型到SHAP值,深入探討每種方法的原理和示例,幫助全面了解如何評估特征的重要性,將能更好地理解特征對模型預(yù)測的貢獻,為提升模型性能和解釋模型決策提供有力支持2024-01-01
python使用openpyxl庫讀寫Excel表格的方法（增刪改查操作）
這篇文章主要介紹了python使用openpyxl庫讀寫Excel表格的方法（增刪改查操作）,本文通過實例圖文相結(jié)合給大家介紹的非常詳細，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-05-05