Python3爬蟲之urllib攜帶cookie爬取網頁的方法
更新時間：2018年12月28日 11:49:52 作者：haeasringnar
今天小編就為大家分享一篇Python3爬蟲之urllib攜帶cookie爬取網頁的方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
如下所示：
import urllib.request
import urllib.parse
url = 'https://weibo.cn/5273088553/info'
#正常的方式進行訪問
# headers = {
# 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36'
# }
# 攜帶cookie進行訪問
headers = {
'GET https':'//weibo.cn/5273088553/info HTTP/1.1',
'Host':' weibo.cn',
'Connection':' keep-alive',
'Upgrade-Insecure-Requests':' 1',
'User-Agent':' Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Safari/537.36',
'Accept':' text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
# 'Referer: https':'//weibo.cn/',
'Accept-Language':' zh-CN,zh;q=0.9',
'Cookie':' _T_WM=c1913301844388de10cba9d0bb7bbf1e; SUB=_2A253Wy_dDeRhGeNM7FER-CbJzj-IHXVUp7GVrDV6PUJbkdANLXPdkW1NSesPJZ6v1GA5MyW2HEUb9ytQW3NYy19U; SUHB=0bt8SpepeGz439; SCF=Aua-HpSw5-z78-02NmUv8CTwXZCMN4XJ91qYSHkDXH4W9W0fCBpEI6Hy5E6vObeDqTXtfqobcD2D32r0O_5jSRk.; SSOLoginState=1516199821',
}
request = urllib.request.Request(url=url,headers=headers)
response = urllib.request.urlopen(request)
#輸出所有
# print(response.read().decode('gbk'))
#將內容寫入文件中
with open('weibo.html','wb') as fp:
fp.write(response.read())
以上這篇Python3爬蟲之urllib攜帶cookie爬取網頁的方法就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關文章
python使用openpyxl庫處理Excel文件詳細教程
這篇文章主要給大家介紹了關于python使用openpyxl庫處理Excel文件詳細教程的相關資料,openpyxl屬于第三方模塊,在python中用來處理excel文件,可以對excel進行的操作有讀寫、修改、調整樣式及插入圖片等,需要的朋友可以參考下2023-11-11
這篇文章主要為大家介紹一下Python異常語法中的另一個成員—finally，通過學習finally，可以幫助我們更好的處理異常，快來跟隨小編一起學習一下吧2022-03-03
2022虎年新年即將來臨，小編為大家?guī)砹艘粋€利用Python編寫的虎年煙花特效，文中的示例代碼簡潔易懂，感興趣的同學可以動手試一試2022-01-01
解決Django的request.POST獲取不到內容的問題
今天小編就為大家分享一篇解決Django的request.POST獲取不到內容的問題，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
最近開始研究python，于是寫了個Python版的文曲星猜數字游戲，喜歡的朋友可以參考下2013-09-09
詳細解讀tornado協(xié)程(coroutine)原理
這篇文章主要介紹了詳細解讀tornado協(xié)程(coroutine)原理，涉及協(xié)程定義，生成器和yield語義，Future對象，ioloop對象，函數裝飾器coroutine等相關內容，具有一定借鑒價值,需要的朋友可以參考下2018-01-01
這篇文章主要介紹了基于pytorch中的Sequential用法說明，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
這篇文章主要為大家詳細介紹了Python(PyS60)實現簡單語音整點報時，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-11-11
這篇文章主要為大家詳細介紹了python3實現SMTP發(fā)送郵件的詳細教程，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-06-06
在Python中提供了很多的方法可以調用并執(zhí)行shell腳本，本文主要介紹了python執(zhí)行shell腳本的四種方法，文中通過示例代碼介紹的非常詳細，需要的朋友們下面隨著小編來一起學習學習吧2023-06-06