Python簡(jiǎn)單實(shí)現(xiàn)網(wǎng)頁(yè)內(nèi)容抓取功能示例

更新時(shí)間：2018年06月07日 08:43:54 作者：偶-木

這篇文章主要介紹了Python簡(jiǎn)單實(shí)現(xiàn)網(wǎng)頁(yè)內(nèi)容抓取功能,結(jié)合實(shí)例形式分析了Python基于urllib模塊的網(wǎng)頁(yè)請(qǐng)求、內(nèi)容讀取等相關(guān)操作技巧,需要的朋友可以參考下

本文實(shí)例講述了Python簡(jiǎn)單實(shí)現(xiàn)網(wǎng)頁(yè)內(nèi)容抓取功能。分享給大家供大家參考，具體如下：

使用模塊：

import urllib2 
import urllib

普通抓取實(shí)例：

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
url = 'http://www.baidu.com'
#創(chuàng)建request對(duì)象
request = urllib2.Request(url)
#發(fā)送請(qǐng)求，獲取結(jié)果
try:
 response = urllib2.urlopen(request)
except BaseException, err:
 print err
 exit()
#獲取狀態(tài)碼，如果是200表示獲取成功
code = response.getcode()
print code
#讀取內(nèi)容
if 200 == code:
 content = response.read() 
 print content

Get請(qǐng)求抓取實(shí)例：

#!/usr/bin/python
# -*- coding: UTF-8 -*-
import urllib2
import urllib
#urllib2使用GET方式的請(qǐng)求
url = 'http://www.baidu.com/s'
values = {'wd' : '車云'}
# 必須編碼
data = urllib.urlencode(values) 
url = url + '?' + data 
print url
#url == http://www.baidu.com/s?wd=%E8%BD%A6%E4%BA%91
#創(chuàng)建request對(duì)象
request = urllib2.Request(url)
#發(fā)送請(qǐng)求，獲取結(jié)果
try:
 response = urllib2.urlopen(request)
except BaseException, err:
 print err
 exit()
#獲取狀態(tài)碼，如果是200表示獲取成功
code = response.getcode()
print code
#讀取內(nèi)容
if 200 == code:
 content = response.read() 
 print content

更多關(guān)于Python相關(guān)內(nèi)容可查看本站專題：《Python Socket編程技巧總結(jié)》、《Python正則表達(dá)式用法總結(jié)》、《Python數(shù)據(jù)結(jié)構(gòu)與算法教程》、《Python函數(shù)使用技巧總結(jié)》、《Python字符串操作技巧匯總》、《Python入門與進(jìn)階經(jīng)典教程》及《Python文件與目錄操作技巧匯總》

希望本文所述對(duì)大家Python程序設(shè)計(jì)有所幫助。

您可能感興趣的文章:

相關(guān)文章

Python實(shí)現(xiàn)在PDF中添加數(shù)字簽名
無論是商業(yè)文件、法律文件還是個(gè)人文件,都可能需要證明其來源的真實(shí)性和完整性,PDF數(shù)字簽名就是解決這些問題的關(guān)鍵工具,下面我們來看看如何使用?Python?為PDF文檔添加數(shù)字簽名吧
2025-01-01
django drf框架自帶的路由及最簡(jiǎn)化的視圖
這篇文章主要介紹了django-drf框架自帶的路由以及最簡(jiǎn)化的視圖,本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2019-09-09
pandas之?dāng)?shù)據(jù)修改與基本運(yùn)算方式
這篇文章主要介紹了pandas之?dāng)?shù)據(jù)修改與基本運(yùn)算方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教
2024-02-02
python使用協(xié)程實(shí)現(xiàn)并發(fā)操作的方法詳解
這篇文章主要介紹了python使用協(xié)程實(shí)現(xiàn)并發(fā)操作的方法,結(jié)合實(shí)例形式詳細(xì)分析了Python協(xié)程的原理及使用Gevent實(shí)現(xiàn)協(xié)程操作的相關(guān)技巧與操作注意事項(xiàng),需要的朋友可以參考下
2019-12-12
Python和OpenCV庫(kù)實(shí)現(xiàn)識(shí)別人物出現(xiàn)并鎖定
本文主要介紹了Python和OpenCV庫(kù)實(shí)現(xiàn)識(shí)別人物出現(xiàn)并鎖定，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2023-04-04
Python入門必須知道的11個(gè)知識(shí)點(diǎn)
這篇文章主要為大家詳細(xì)介紹了Python入門必須知道的11個(gè)知識(shí)點(diǎn)，幫助更好地了解python，感興趣的小伙伴們可以參考一下
2018-03-03
python使用MQTT給硬件傳輸圖片的實(shí)現(xiàn)方法
最近因需要用python寫一個(gè)微服務(wù)來用MQTT給硬件傳輸圖片，其中python用的是flask框架。這篇文章主要介紹了python使用MQTT給硬件傳輸圖片,需要的朋友可以參考下
2019-05-05
python中元組的用法整理
在本篇內(nèi)容里小編給大家整理的是關(guān)于python中元組的用法及相關(guān)實(shí)例，需要的朋友們可以學(xué)習(xí)下。
2020-06-06
Python實(shí)現(xiàn)獲取網(wǎng)站PR及百度權(quán)重
這篇文章主要介紹了Python實(shí)現(xiàn)獲取網(wǎng)站PR及百度權(quán)重,本文使用傳參的方式請(qǐng)求站長(zhǎng)工具和谷歌工具獲取PR值和百度權(quán)重,需要的朋友可以參考下
2015-01-01
python清除字符串里非字母字符的方法
這篇文章主要介紹了python清除字符串里非字母字符的方法,涉及Python字符串正則替換操作的相關(guān)技巧,需要的朋友可以參考下
2015-07-07