python網(wǎng)絡(luò)爬蟲之如何偽裝逃過反爬蟲程序的方法

更新時間：2017年11月23日 09:15:03 作者：Master HaKu

本篇文章主要介紹了python網(wǎng)絡(luò)爬蟲之如何偽裝逃過反爬蟲程序的方法，小編覺得挺不錯的，現(xiàn)在分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

有的時候，我們本來寫得好好的爬蟲代碼，之前還運行得Ok, 一下子突然報錯了。

報錯信息如下：

Http 800 Internal internet error

這是因為你的對象網(wǎng)站設(shè)置了反爬蟲程序，如果用現(xiàn)有的爬蟲代碼，會被拒絕。

之前正常的爬蟲代碼如下：

from urllib.request import urlopen
...
html = urlopen(scrapeUrl)
bsObj = BeautifulSoup(html.read(), "html.parser")

這個時候，需要我們給我們的爬蟲代碼做下偽裝，

給它添加表頭偽裝成是來自瀏覽器的請求

修改后的代碼如下：

import urllib.parse
import urllib.request
from bs4 import BeautifulSoup
...
req = urllib.request.Request(scrapeUrl)
req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)') 
response = urllib.request.urlopen(req) 
html = response.read()
 
bsObj = BeautifulSoup(html, "html.parser")

Ok,一切搞定，又可以繼續(xù)爬了。

以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

python2和python3的輸入和輸出區(qū)別介紹
這篇文章主要介紹了python2和python3的輸入和輸出區(qū)別介紹，本文給大家介紹的非常詳細，具有一定的參考借鑒價值,需要的朋友可以參考下
2018-11-11
Python中的enumerate函數(shù)示例詳解
enumerate?是一個非常有用的函數(shù),它允許你在迭代過程中方便地獲取元素及其對應(yīng)的索引,使代碼更簡潔、更Pythonic,這篇文章主要介紹了Python中的enumerate函數(shù)示例詳解,需要的朋友可以參考下
2023-08-08
Python Social Auth構(gòu)建靈活而強大的社交登錄系統(tǒng)實例探究
這篇文章主要為大家介紹了Python Social Auth構(gòu)建靈活而強大的社交登錄系統(tǒng)實例探究,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步,早日升職加薪
2024-01-01
手把手教你Python抓取數(shù)據(jù)并可視化
很多小伙伴在提到python數(shù)據(jù)可視化的時候第一反應(yīng)就是matplotlib庫,但實際上python還有很多很好用的數(shù)據(jù)可視化的庫,下面這篇文章主要給大家介紹了關(guān)于如何利用Python抓取數(shù)據(jù)并可視化的相關(guān)資料,需要的朋友可以參考下
2022-05-05
批量將ppt轉(zhuǎn)換為pdf的Python代碼只要27行!
這篇文章主要為大家詳細介紹了批量將ppt轉(zhuǎn)換為pdf的Python代碼，只要27行，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2018-02-02
解決python 輸出到csv 出現(xiàn)多空行的情況
這篇文章主要介紹了解決python 輸出到csv 出現(xiàn)多空行的情況，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2021-03-03
Python對FTP交互封裝的實現(xiàn)
本文主要介紹了Python對FTP交互封裝的實現(xiàn)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2022-06-06
windows下python安裝pip圖文教程
這篇文章主要為大家詳細介紹了windows下python安裝pip圖文教程，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2018-05-05
Python實現(xiàn)圖片裁剪的兩種方式(Pillow和OpenCV)
這篇文章主要介紹了Python實現(xiàn)圖片裁剪的兩種方式(Pillow和OpenCV)，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧
2019-10-10
Python 將代碼轉(zhuǎn)換為可執(zhí)行文件脫離python環(huán)境運行(步驟詳解)
這篇文章主要介紹了Python 將代碼轉(zhuǎn)換為可執(zhí)行文件脫離python環(huán)境運行(步驟詳解),本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下
2021-01-01