python訪問抓取網(wǎng)頁常用命令總結(jié)

更新時間：2017年04月11日 15:34:37 投稿：lqh

這篇文章主要介紹了python訪問抓取網(wǎng)頁常用命令的相關(guān)資料,需要的朋友可以參考下

python訪問抓取網(wǎng)頁常用命令

簡單的抓取網(wǎng)頁:

import urllib.request  
url="http://google.cn/" 
response=urllib.request.urlopen(url)  #返回文件對象
page=response.read()

直接將URL保存為本地文件：

import urllib.request  
url="http://google.cn/" 
response=urllib.request.urlopen(url)  #返回文件對象
page=response.read()

POST方式：

import urllib.parse 
import urllib.request 
 
url="http://liuxin-blog.appspot.com/messageboard/add" 
 
values={"content":"命令行發(fā)出網(wǎng)頁請求測試"} 
data=urllib.parse.urlencode(values) 

#創(chuàng)建請求對象 
req=urllib.request.Request(url,data) 
#獲得服務(wù)器返回的數(shù)據(jù) 
response=urllib.request.urlopen(req) 
#處理數(shù)據(jù) 
page=response.read()

GET方式：

import urllib.parse 
import urllib.request 
 
url="http://www.google.cn/webhp" 
 
values={"rls":"ig"} 
data=urllib.parse.urlencode(values) 
 
theurl=url+"?"+data 
#創(chuàng)建請求對象 
req=urllib.request.Request(theurl) 
#獲得服務(wù)器返回的數(shù)據(jù) 
response=urllib.request.urlopen(req) 
#處理數(shù)據(jù) 
page=response.read()

有2個常用的方法,geturl(),info()

geturl()的設(shè)置是為了辨別是否有服務(wù)器端的網(wǎng)址重定向,而info()則包含了一系列的信息。

中文問題的處理，會用到 encode()編碼 dencode()解碼：

感謝閱讀，希望能幫助到大家，謝謝大家對本站的支持！

您可能感興趣的文章:

相關(guān)文章

用python畫一只可愛的皮卡丘實例
今天小編就為大家分享一篇用python畫一只可愛的皮卡丘實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2019-11-11
python Polars庫的使用簡介
這篇文章主要介紹了python Polars庫的使用簡介，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下
2021-04-04
詳解Python logging調(diào)用Logger.info方法的處理過程
這篇文章主要介紹了詳解Python logging調(diào)用Logger.info方法的處理過程，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2019-02-02
Python學(xué)習(xí)之日志模塊詳解
說到日志，我們完全可以想象為現(xiàn)實生活中的日記。日記是我們平時記錄我們生活中點點滴滴的一種方法，而日志我們可以認(rèn)為是程序的日記，程序的日記是用來記錄程序的行為。本文將詳細(xì)介紹Python中的日志模塊(logging)，需要的可以參考一下
2022-03-03
Python實現(xiàn)文件按照日期命名的方法
這篇文章主要介紹了Python實現(xiàn)文件按照日期命名的方法,涉及Python針對文件的遍歷、讀寫及時間操作相關(guān)技巧,需要的朋友可以參考下
2015-07-07
Python unittest單元測試框架實現(xiàn)參數(shù)化
這篇文章主要介紹了Python unittest單元測試框架實現(xiàn)參數(shù)化,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
2020-04-04
Python短信轟炸的代碼
這篇文章主要介紹了Python短信轟炸的代碼，代碼簡單易懂，對大家的學(xué)習(xí)或工作具有一定的參考借鑒價值,需要的朋友可以參考下
2020-03-03
python高效的素數(shù)判斷算法
這篇文章主要介紹了python高效的素數(shù)判斷算法，研究算法的同學(xué)一定要看一下
2021-04-04
解決python opencv無法顯示圖片的問題
今天小編就為大家分享一篇解決python opencv無法顯示圖片的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-10-10
BeautifulSoup中find和find_all的使用詳解
這篇文章主要介紹了BeautifulSoup中find和find_all的使用詳解，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-12-12