Python headers請求頭如何實現(xiàn)快速添加
更新時間：2020年11月03日 08:23:08 作者：15號計劃
這篇文章主要介紹了Python headers請求頭如何實現(xiàn)快速添加,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
1、為什么要設(shè)置headers?
在請求網(wǎng)頁爬取的時候，輸出的text信息中會出現(xiàn)抱歉，無法訪問等字眼，這就是禁止爬取，需要通過反爬機制去解決這個問題。
headers是解決requests請求反爬的方法之一，相當(dāng)于我們進去這個網(wǎng)頁的服務(wù)器本身，假裝自己本身在爬取數(shù)據(jù)。
對反爬蟲網(wǎng)頁，可以設(shè)置一些headers信息，模擬成瀏覽器取訪問網(wǎng)站 。
2、 headers在哪里找？
谷歌或者火狐瀏覽器，在網(wǎng)頁面上點擊：右鍵–>檢查–>剩余按照圖中顯示操作，需要按Fn+F5刷新出網(wǎng)頁來
有的瀏覽器是點擊：右鍵->查看元素，刷新
Python爬蟲中Requests設(shè)置請求頭Headers的方法
注意：headers中有很多內(nèi)容，主要常用的就是user-agent 和 host，他們是以鍵對的形式展現(xiàn)出來，如果user-agent 以字典鍵對形式作為headers的內(nèi)容，就可以反爬成功，就不需要其他鍵對；否則，需要加入headers下的更多鍵對形式。
代碼如下
import re
# 下方引號內(nèi)添加替換掉請求頭內(nèi)容
headers_str = """
Accept: application/json, text/javascript, */*; q=0.01
Accept-Encoding: gzip, deflate, br
Accept-Language: zh-CN,zh;q=0.9,en;q=0.8
Cache-Control: no-cache
Connection: keep-alive
Content-Length: 77
Content-Type: application/json
User-Agent: Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1
X-Apple-App-Id: 632
X-Apple-Frame-Id: daw-10beaddd-c22f-4fd4-8aba-ef4909a721dd
X-Requested-With: XMLHttpRequest
"""
pattern = '^(.*?):(.*)$'
for line in headers_str.splitlines():
print(re.sub(pattern,'\'\\1\':\'\\2\',',line).replace(' ',''))
結(jié)果
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
我們在使用爬蟲來抓取網(wǎng)頁內(nèi)容的時候，HTTP異常是必須要注意的一項，所以本文，我們來詳細(xì)探尋一下HTTP異常處理的相關(guān)內(nèi)容，通過一些具體的實例來分析一下，非常的簡單，但是卻很實用。2014-11-11
專注于Python數(shù)據(jù)結(jié)構(gòu),想要深入了解AVL樹和紅黑樹的讀者們,你們的機會來了！在這篇指南中,我們將帶你探索這兩種神奇樹結(jié)構(gòu)的奧秘,緊張刺激的實戰(zhàn)代碼演示,讓你一窺這兩種樹的獨特魅力,準(zhǔn)備好了嗎？讓我們一起踏上這場Python樹結(jié)構(gòu)之旅！2023-12-12
WebSocket 是一種計算機通信協(xié)議,它為客戶端和服務(wù)器之間的雙向通信提供了一個全雙工的通道,本篇文章將詳解 Python 中如何實現(xiàn) WebSocket,感興趣的可以了解下2025-03-03
計算機二級python學(xué)習(xí)教程（1） 教大家如何學(xué)習(xí)python
這篇文章主要為大家詳細(xì)介紹了計算機二級python學(xué)習(xí)教程，具有一定的參考價值，感興趣的小伙伴們可以參考一下2019-05-05
相信大家在測試任務(wù)過程中都或多或少遇到自己處理文本文件的情況,這篇文章主要給大家介紹了關(guān)于python文件處理筆記之文本文件的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2021-08-08
Python3和pyqt5實現(xiàn)控件數(shù)據(jù)動態(tài)顯示方式
今天小編就為大家分享一篇Python3和pyqt5實現(xiàn)控件數(shù)據(jù)動態(tài)顯示方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2019-12-12
今天小編就為大家分享一篇Python使用docx模塊實現(xiàn)刷題功能代碼，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-02-02
使用Python構(gòu)建Markdown轉(zhuǎn)Word文檔轉(zhuǎn)換器
在當(dāng)今的文檔處理中,Markdown因其簡潔的語法和易讀性而廣受歡迎,而Microsoft Word（DOCX格式）則因其廣泛的兼容性和專業(yè)的排版效果成為商業(yè)文檔的標(biāo)準(zhǔn),本文將介紹如何使用Python構(gòu)建一個帶有圖形界面的Markdown轉(zhuǎn)Word文檔轉(zhuǎn)換器,需要的朋友可以參考下2025-02-02
這篇文章主要介紹了Python 多線程之threading 模塊的使用，幫助大家更好的理解和學(xué)習(xí)使用python，感興趣的朋友可以了解下2021-04-04
Python使用Matplotlib繪制散點趨勢線的代碼詳解
Matplotlib是一個用于數(shù)據(jù)可視化的強大Python庫,其基本功能之一是創(chuàng)建帶有趨勢線的散點圖,散點圖對于可視化變量之間的關(guān)系非常有用,本文將指導(dǎo)您使用Matplotlib繪制散點趨勢線的過程,涵蓋線性和多項式趨勢線,需要的朋友可以參考下2025-01-01