python抓取京東商城手機(jī)列表url實(shí)例代碼
#-*- coding: UTF-8 -*-
'''
Created on 2013-12-5
@author: good-temper
'''
import urllib2
import bs4
import time
def getPage(urlStr):
'''
獲取頁面內(nèi)容
'''
content = urllib2.urlopen(urlStr).read()
return content
def getNextPageUrl(currPageNum):
#http://list.jd.com/9987-653-655-0-0-0-0-0-0-0-1-1-頁碼-1-1-72-4137-33.html
url = u'http://list.jd.com/9987-653-655-0-0-0-0-0-0-0-1-1-'+str(currPageNum+1)+'-1-1-72-4137-33.html'
#是否有下一頁
content = getPage(url);
soup = bs4.BeautifulSoup(content)
list = soup.findAll('span',{'class':'next-disabled'});
if(len(list) == 0):
return url
return ''
def analyzeList():
pageNum = 0
list = []
url = getNextPageUrl(pageNum)
while url !='':
soup = bs4.BeautifulSoup(getPage(url))
pagelist = soup.findAll('div',{'class':'p-name'})
for elem in pagelist:
soup1 = bs4.BeautifulSoup(str(elem))
list.append(soup1.find('a')['href'])
pageNum = pageNum+1
print pageNum
url = getNextPageUrl(pageNum)
return list
def analyzeContent(url):
return ''
def writeToFile(list, path):
f = open(path, 'a')
for elem in list:
f.write(elem+'\n')
f.close()
if __name__ == '__main__':
list = analyzeList()
print '共抓取'+str(len(list))+'條\n'
writeToFile(list, u'E:\\jd_phone_list.dat');
- python+selenium小米商城紅米K40手機(jī)自動(dòng)搶購的示例代碼
- python框架Django實(shí)戰(zhàn)商城項(xiàng)目之工程搭建過程圖文詳解
- python簡單商城購物車實(shí)例代碼
- Python 實(shí)現(xiàn)購物商城,含有用戶入口和商家入口的示例
- python爬蟲框架scrapy實(shí)戰(zhàn)之爬取京東商城進(jìn)階篇
- python爬蟲實(shí)戰(zhàn)之爬取京東商城實(shí)例教程
- python 實(shí)現(xiàn)網(wǎng)上商城,轉(zhuǎn)賬,存取款等功能的信用卡系統(tǒng)
- python實(shí)現(xiàn)簡單購物商城
- python實(shí)現(xiàn)淘寶購物系統(tǒng)
- Python實(shí)現(xiàn)購物系統(tǒng)(示例講解)
- Python實(shí)現(xiàn)信用卡系統(tǒng)(支持購物、轉(zhuǎn)賬、存取錢)
- 基于Python實(shí)現(xiàn)的購物商城管理系統(tǒng)
相關(guān)文章
Windows下pycharm創(chuàng)建Django 項(xiàng)目(虛擬環(huán)境)過程解析
這篇文章主要介紹了Windows下pycharm創(chuàng)建Django 項(xiàng)目(虛擬環(huán)境)過程解析,文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-09-09
這篇文章主要介紹了Python 里最強(qiáng)的地圖繪制神器,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2021-03-03
Python 使用threading+Queue實(shí)現(xiàn)線程池示例
今天小編就為大家分享一篇Python 使用threading+Queue實(shí)現(xiàn)線程池示例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-12-12
淺談matplotlib默認(rèn)字體設(shè)置探索
這篇文章主要介紹了matplotlib默認(rèn)字體設(shè)置探索，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02
python實(shí)現(xiàn)學(xué)員管理系統(tǒng)
這篇文章主要為大家詳細(xì)介紹了python實(shí)現(xiàn)學(xué)員管理系統(tǒng)，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-02-02
這篇文章主要介紹了Python中Pyspider爬蟲框架的基本使用詳解，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-01-01
Python腳本啟動(dòng)應(yīng)用并輸入賬號(hào)或密碼的操作命令
這篇文章主要介紹了Python腳本啟動(dòng)應(yīng)用并輸入賬號(hào)或密碼,安裝所需要的模塊pyautogui、subprocess、psutil等,可以通過pip安裝,下面以安裝pyautogui為例cmd命令行中輸入,需要的朋友可以參考下2024-05-05
大家好，本篇文章主要講的是Python的函數(shù)使用詳解，感興趣的同學(xué)趕快來看一看吧，對(duì)你有幫助的話記得收藏一下，方便下次瀏覽2021-12-12
解決Python 寫文件報(bào)錯(cuò)TypeError的問題
這篇文章主要介紹了解決Python 寫文件報(bào)錯(cuò)TypeError的問題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2020-10-10
matplotlib繪制正余弦曲線圖的實(shí)現(xiàn)
這篇文章主要介紹了matplotlib繪制正余弦曲線圖的實(shí)現(xiàn)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-02-02