Python爬蟲爬取商品失敗處理方法

更新時間：2021年08月05日 08:28:56 作者：py

在本篇文章里小編給大家整理了一篇關(guān)于Python爬蟲爬取商品失敗處理方法，有興趣的朋友們可以學習參考下。

1.登陸網(wǎng)站，開啟開發(fā)者模式。

可以在瀏覽器中點擊右鍵檢查或者F12打開開發(fā)者模式。

2.點選 NetWork，DOC，然后刷新頁面。

在 network 中選擇 doc，在請求的 headers 中搜索 cookie。

3.獲取對應的 cookie 以及 user-agent。

4.在代碼中添加到 headers 里面。

def getHTMLText(url):
  kv = {
    'cookie': 'adsgadfafegadsgadsfaefasdfaewfadsfag'
    'uaer-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
  }
    try:
    r = requests.get(url, headers=kv, timeout=30)
    r.raise_for_status()
    r.encoding = r.apparent_encoding
    return r.text
  except:
    return "gg"

實例擴展：

程序的結(jié)構(gòu)設(shè)計

提交商品搜索請求，循環(huán)獲取頁面
對于每個頁面，提取商品名稱和價格信息
將信息輸出

遇到問題

爬取成功，數(shù)據(jù)有問題

打印 html 文件，返回如下

<script type="text/javascript">
  TRLang = {
    ERROR_NICK_BLANK: "請?zhí)顚戀~戶名",
    ERROR_PASSWORD_BLANK: "請輸入密碼",
    ERROR_NICK_PASSWORD_BLANK: "請輸入賬戶名和密碼",
    ERROR_CHECKCODE_BLANK: "請輸入驗證碼",
    TIPS_REMEMBER_PASSWORD: "記住密碼",
    TIPS_NOT_REMEMBER_PSW_ON_PUBLIC: "不要在公共計算機記住密碼，防止賬戶被盜"
  };
</script>

到此這篇關(guān)于Python爬蟲爬取商品失敗處理方法的文章就介紹到這了,更多相關(guān)Python爬蟲爬取商品失敗內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

相關(guān)文章

如何用python將單引號替換為雙引號
這篇文章主要介紹了如何用python將單引號替換為雙引號，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2022-07-07
python制作最美應用的爬蟲
這篇文章主要介紹了python制作最美應用的爬蟲的相關(guān)資料,需要的朋友可以參考下
2015-10-10
Python實現(xiàn)單詞拼寫檢查
這篇文章主要介紹了Python實現(xiàn)單詞拼寫檢查,本文講解了單詞拼寫檢查的一些知識并給出兩種實現(xiàn)方法,需要的朋友可以參考下
2015-04-04
pyhton Sanic框架的文件上傳功能開發(fā)實戰(zhàn)示例教程
Sanic是一個Python 3.5+的異步Web框架,它的設(shè)計理念與Flask相似,但采用了更高效的異步I/O處理,在處理文件上傳時,Sanic同樣提供了方便、高效的方法,本教程將結(jié)合實際案例,詳細介紹如何在Sanic框架中實現(xiàn)文件上傳的功能,感興趣的朋友跟隨小編一起看看吧
2024-08-08
Tensorflow: 從checkpoint文件中讀取tensor方式
今天小編就為大家分享一篇Tensorflow: 從checkpoint文件中讀取tensor方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-02-02
Python+selenium實現(xiàn)瀏覽器基本操作詳解
這篇文章主要為大家詳細介紹了如何通過python腳本實現(xiàn)瀏覽器的一些基本操作，如：瀏覽器的前進后退、頁面刷新等，感興趣的可以學習一下
2022-06-06
Python數(shù)學建模StatsModels統(tǒng)計回歸模型數(shù)據(jù)的準備
這篇文章主要介紹了Python數(shù)學建模StatsModels統(tǒng)計回歸模型數(shù)據(jù)的準備學習，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步
2021-10-10
Python實現(xiàn)簡單猜數(shù)字游戲
這篇文章主要為大家詳細介紹了Python實現(xiàn)猜數(shù)字游戲，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2021-02-02
Python標準庫datetime之datetime模塊用法分析詳解
這篇文章主要介紹了Python標準庫datetime之datetime模塊用法分析詳解，文章圍繞主題展開詳細的內(nèi)容介紹，具有一定的參考價值，需要的小伙伴可以參考一下
2022-07-07
Python with語句和過程抽取思想
這篇文章主要介紹了Python with語句和過程抽取思想,本文給大家介紹的非常詳細，具有一定的參考借鑒價值，需要的朋友可以參考下
2019-12-12