python實(shí)現(xiàn)從web抓取文檔的方法

更新時間：2014年09月26日 09:28:02 投稿：shichen2014

這篇文章主要介紹了python實(shí)現(xiàn)從web抓取文檔的方法,以抓取人人網(wǎng)頁面為例講述了完整的web文檔抓取方法,需要的朋友可以參考下

本文實(shí)例講述了Python實(shí)現(xiàn)從Web的一個URL中抓取文檔的方法，分享給大家供大家參考。具體方法分析如下：

實(shí)例代碼如下：

import urllib 
doc = urllib.urlopen("http://www.python.org").read() 
print doc#直接打印出網(wǎng)頁 
def reporthook(*a): 
 print a 
#將http://www.renren.com網(wǎng)頁保存到renre.html中，
#每讀取一個塊調(diào)用一字reporthook函數(shù) 
 
urllib.urlretrieve("http://www.renren.com",'renren.html',reporthook) 
#將http://www.renren.com網(wǎng)頁保存到renre.html中 
urllib.urlretrieve("http://www.renren.com",'renren.html')

程序運(yùn)行結(jié)果如下：

<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
..........................網(wǎng)頁內(nèi)容
</body>
</html>


(0, 8192, -1)
(1, 8192, -1)
(2, 8192, -1)

其中urllib.urlopen返回一個類文件對象。

希望本文所述對大家的Python程序設(shè)計有所幫助。

您可能感興趣的文章:

相關(guān)文章

使用Python創(chuàng)建簡單的HTTP服務(wù)器的方法步驟
這篇文章主要介紹了使用Python創(chuàng)建簡單的HTTP服務(wù)器的方法步驟，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2019-04-04
Python3爬樓梯算法示例
這篇文章主要介紹了Python3爬樓梯算法,涉及Python基于面向?qū)ο蟮淖址闅v、切片、運(yùn)算等相關(guān)操作技巧,需要的朋友可以參考下
2019-03-03
python3中布局背景顏色代碼分析
在本篇文章里小編給大家分享了一篇關(guān)于python3中布局背景顏色代碼分析的相關(guān)內(nèi)容，有興趣的朋友們可以學(xué)習(xí)參考下。
2020-12-12
Python + selenium + requests實(shí)現(xiàn)12306全自動搶票及驗(yàn)證碼破解加自動點(diǎn)擊功能
這篇文章主要介紹了Python + selenium + requests實(shí)現(xiàn)12306全自動搶票及驗(yàn)證碼破解加自動點(diǎn)擊功能,需要的朋友可以參考下
2018-11-11
Python實(shí)現(xiàn)數(shù)據(jù)可視化看如何監(jiān)控你的爬蟲狀態(tài)【推薦】
今天主要是來說一下怎么可視化來監(jiān)控你的爬蟲的狀態(tài)。文中通過實(shí)例代碼給大家分析了Python實(shí)現(xiàn)數(shù)據(jù)可視化看如何監(jiān)控你的爬蟲狀態(tài)，感興趣的朋友一起看看吧
2018-08-08
使用Python更換外網(wǎng)IP的方法
這篇文章主要介紹了使用Python更換外網(wǎng)IP的方法，，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2018-07-07
python單向鏈表實(shí)例詳解
這篇文章主要為大家詳細(xì)介紹了python單向鏈表實(shí)例，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2022-05-05
Python實(shí)現(xiàn)備份文件實(shí)例
這篇文章主要介紹了Python實(shí)現(xiàn)備份文件的方法,可實(shí)現(xiàn)針對各類常見擴(kuò)展名的文件進(jìn)行備份的功能,需要的朋友可以參考下
2014-09-09
Python實(shí)現(xiàn)監(jiān)控遠(yuǎn)程主機(jī)實(shí)時數(shù)據(jù)的示例詳解
這篇文章主要為大家詳細(xì)介紹了Python如何使用Socket庫和相應(yīng)的第三方庫來監(jiān)控遠(yuǎn)程主機(jī)的實(shí)時數(shù)據(jù)，比如CPU使用率、內(nèi)存使用率、網(wǎng)絡(luò)帶寬等，感興趣的可以了解一下
2023-04-04
python 魔法函數(shù)實(shí)例及解析
這篇文章主要介紹了python 魔法函數(shù)實(shí)例及解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
2019-09-09