Python實現(xiàn)的爬取百度貼吧圖片功能完整示例
本文實例講述了Python實現(xiàn)的爬取百度貼吧圖片功能。分享給大家供大家參考,具體如下:
#coding:utf-8
import requests
import urllib2
import urllib
```
from lxml import etree
class Tieba:
def __init__(self):
self.tiebaName = raw_input("請輸入需要爬取的貼吧:")
self.beginPage = int(raw_input("請輸入爬取的起始頁:"))
self.endPage = int(raw_input("請輸入爬取的結(jié)束頁:"))
self.baseURL = "http://tieba.baidu.com"
#self.headers = {"User-Agent" : "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/59.0.3071.86 Safari/537.36"}
self.headers = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 Trident/5.0;"} def startWork(self):
"""
發(fā)送貼吧每一頁的url請求
"""
for page in range(self.beginPage, self.endPage + 1):
pn = (page - 1) * 50
keyword = {"kw" : self.tiebaName, "pn" : pn}
kw = urllib.urlencode(keyword)
url = self.baseURL + "/f?" + kw
#print url
html = self.loadRequest(url)
self.loadPage(html)
def loadRequest(self, url):
"""
發(fā)送請求,返回響應(yīng)
url: 發(fā)送請求的url地址
"""
request = urllib2.Request(url, headers = self.headers)
#request = urllib2.Request(url)
response = urllib2.urlopen(request)
return response.read()
def loadPage(self, html):
"""
提取每個帖子的url,并發(fā)送請求,獲取響應(yīng)
html: 貼吧每一頁的html
"""
content = etree.HTML(html)
print '------'
print content
# xpath 返回的所有匹配成功后的結(jié)果的列表
#pagelink_list = content.xpath("http://div[@class='threadlist_lz clearfix']/div/a[@class='j_th_tit']/@href")
pagelink_list = content.xpath("http://div[@class='col2_right j_threadlist_li_right']//div/a/@href")
pagelink_list = content.xpath("http://div[@class='t_con cleafix']//div/a/@href")
for link in pagelink_list:
print link
self.loadImage(self.loadRequest(self.baseURL + link))
def loadImage(self, html):
"""
提取帖子里用戶發(fā)送的圖片的url地址
html: 每個帖子的html
"""
content = etree.HTML(html)
imagelink_list = content.xpath("http://div[@class='p_content ']//img[@class='BDE_Image']/@src")
for link in imagelink_list:
self.writeImage(self.loadRequest(link), link[-10:])
def writeImage(self, data, filename):
"""
將圖片的響應(yīng)數(shù)據(jù),寫入到本地磁盤里
data: 圖片的響應(yīng)數(shù)據(jù)
filename: 文件名(圖片url的后10位)
"""
print "正在保存圖片...%s" % filename
with open(filename, "wb") as f:
f.write(data)
if __name__ == "__main__":
tieba = Tieba()
tieba.startWork()
更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題:《Python Socket編程技巧總結(jié)》、《Python正則表達式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》
希望本文所述對大家Python程序設(shè)計有所幫助。
相關(guān)文章
python中使用urllib2獲取http請求狀態(tài)碼的代碼例子
這篇文章主要介紹了python中使用urllib2獲取http請求狀態(tài)碼的代碼例子,需要的朋友可以參考下2014-07-07
Python內(nèi)建類型list源碼學(xué)習(xí)
這篇文章主要為大家介紹了Python內(nèi)建類型list源碼學(xué)習(xí),有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪2022-05-05
Python查找兩個有序列表中位數(shù)的方法【基于歸并算法】
這篇文章主要介紹了Python查找兩個有序列表中位數(shù)的方法,結(jié)合實例形式分析了Python基于歸并算法遍歷、計算有序列表相關(guān)操作技巧,需要的朋友可以參考下2018-04-04

