python抓取豆瓣圖片并自動保存示例學習
環(huán)境Python 2.7.6，BS4，在powershell或命令行均可運行。請確保安裝了BS模塊
# -*- coding:utf8 -*-
# 2013.12.36 19:41 wnlo-c209
# 抓取dbmei.com的圖片。
from bs4 import BeautifulSoup
import os, sys, urllib2
# 創(chuàng)建文件夾，昨天剛學會
path = os.getcwd() # 獲取此腳本所在目錄
new_path = os.path.join(path,u'豆瓣妹子')
if not os.path.isdir(new_path):
os.mkdir(new_path)
def page_loop(page=0):
url = 'http://www.dbmeizi.com/?p=%s' % page
content = urllib2.urlopen(url)
soup = BeautifulSoup(content)
my_girl = soup.find_all('img')
# 加入結束檢測，寫的不好....
if my_girl ==[]:
print u'已經(jīng)全部抓取完畢'
sys.exit(0)
print u'開始抓取'
for girl in my_girl:
link = girl.get('src')
flink = 'http://www.dbmeizi.com/' + link
print flink
content2 = urllib2.urlopen(flink).read()
with open(u'豆瓣妹子'+'/'+flink[-11:],'wb') as code: #在OSC上現(xiàn)學的
code.write(content2)
page = int(page) + 1
print u'開始抓取下一頁'
print 'the %s page' % page
page_loop(page)
page_loop().
相關文章
為什么在函數(shù)中運行的?Python?代碼速度更快？
對于Python解釋器來說,讀取和寫入局部變量比全局變量更容易和更快,因為它們的作用域范圍較小2023-09-09
Python日期與時間模塊(datetime+time+Calendar+dateuil?)相關使用講解
這篇文章主要介紹了Python日期與時間模塊(datetime+time+Calendar+dateuil?)相關使用講解,文章圍繞主題展開詳細的內容戒殺，具有一定的參考價值，需要的朋友可以參考一下2022-09-09
最近在開發(fā)行為驗證碼，經(jīng)常觸及到關于驗證類型的相關內容。但使用起來不太熟練，所以本文就來總結一下對行為驗證碼驗證類型的理解2023-03-03
在本篇文章里小編給大家整理了一篇關于celery在python爬蟲中定時操作實例講解內容，需要的朋友們可以參考下。2020-11-11
如果你的Python程序或Django項目運行速度慢，先別急著怪Python或Django。其實程序運行效率是可以通過提升硬件水平、架構和數(shù)據(jù)庫優(yōu)化和改進算法來大大提升的。今天大江哥將分享一些主要Django性能優(yōu)化手段，完全可以讓你的Django程序跑得飛快。2021-04-04
沒想到python是如此強大，令人著迷，以前看見圖片總是一張一張復制粘貼，現(xiàn)在好了，學會python就可以用程序將一張張圖片，保存下來。今天網(wǎng)上沖浪看到很多美圖，可是圖片有點多，不想一張一張地復制粘貼，怎么辦呢？辦法總是有的，即便沒有我們也可以創(chuàng)造一個辦法2021-11-11
python3新特性函數(shù)注釋Function Annotations用法分析
這篇文章主要介紹了python3新特性函數(shù)注釋Function Annotations用法,結合實例形式分析了Python3函數(shù)注釋的定義方法與使用技巧,需要的朋友可以參考下2016-07-07
這篇文章主要介紹了Python高光譜遙感影像處理問題，總的來說這并不是一道難題，那為什么要拿出這道題介紹？拿出這道題真正想要傳達的是解題的思路，以及不斷優(yōu)化探尋最優(yōu)解的過程。希望通過這道題能給你帶來一種解題優(yōu)化的思路2023-01-01
matplotlib jupyter notebook 圖像可視化 plt show操作
這篇文章主要介紹了matplotlib jupyter notebook 圖像可視化 plt show操作，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-04-04
AUC（Area?under?curve）是機器學習常用的二分類評測手段，直接含義是ROC曲線下的面積。本文總結了Python語言實現(xiàn)計算AUC的三種方式，感興趣的可以學習一下2022-07-07