python3中編碼獲取網(wǎng)頁的實(shí)例方法

更新時(shí)間：2020年11月16日 08:34:01 作者：PYCN

在本篇文章里小編給大家整理了一篇關(guān)于python3中編碼獲取網(wǎng)頁的實(shí)例方法，有興趣的朋友們可以學(xué)習(xí)下。

學(xué)了python后，之前一些我們常用的方法，也可以換一種思路用python中的知識來解決。相信操作出來后，能收獲一大批小粉絲們。就像我們沒學(xué)習(xí)編程之前，看到那種大神都是可望而不可即。今天我們就之前簡單獲取網(wǎng)頁的這種操作用python中的編碼來解決，大家可以自行體會(huì)一下兩者的不同。

1. encoding和apparent_encoding

import scrapy
url="https://www.xxx.net/html/gndy/dyzz/index.html"
re=requests.get(url)
#獲取響應(yīng)頭Content-Type的charset值，有的網(wǎng)站沒有charset字段，就可能使用默認(rèn)的 ISO-8859-1
print(re.encoding)
#apparent_encoding就是獲取網(wǎng)站真實(shí)的編碼
print(re.apparent_encoding)

2. 處理方案

直接用r.encoding = ‘xxx'

re.encoding='utf-8'

3. requests的text() 跟 content() 有什么區(qū)別

re.text返回的是處理過的Unicode型的數(shù)據(jù)，

而使用re.content返回的是bytes型的原始數(shù)據(jù)。

4. 爬蟲拿到的HTML和瀏覽器中的源碼不相同時(shí)

通過下載源碼對比

import requests
url = 'https://www.xxx.net/html/gndy/dyzz/index.html'
r = requests.get(url)
r.encoding = r.apparent_encoding
html = r.text
with open('test.html','w',encoding='utf8') as f:
f.write(html)

到此這篇關(guān)于python3中編碼獲取網(wǎng)頁的實(shí)例方法的文章就介紹到這了,更多相關(guān)python3中編碼如何獲取網(wǎng)頁內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！

您可能感興趣的文章:

相關(guān)文章

使用django自帶的user做外鍵的方法
這篇文章主要介紹了使用django自帶的user做外鍵的方法，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2020-11-11
Python version 2.7 required, which was not found in the regi
這篇文章主要介紹了安裝PIL庫時(shí)提示錯(cuò)誤Python version 2.7 required, which was not found in the registry問題的解決方法,需要的朋友可以參考下
2014-08-08
Python抓取框架Scrapy爬蟲入門：頁面提取
Scrapy吸引人的地方在于它是一個(gè)框架，任何人都可以根據(jù)需求方便的修改，下面這篇文章主要給大家介紹了關(guān)于Python抓取框架Scrapy爬蟲入門之頁面提取的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，需要的朋友可以參考下。
2017-12-12
Python+smtplib庫實(shí)現(xiàn)郵件發(fā)送功能
這篇文章主要為大家詳細(xì)介紹了Python如何通過smtplib庫實(shí)現(xiàn)簡單的郵件發(fā)送功能,文中的示例代碼借鑒一下,有需要的小伙伴可以參考一下
2025-02-02
Python 詳解通過Scrapy框架實(shí)現(xiàn)爬取百度新冠疫情數(shù)據(jù)流程
Scrapy是用純Python實(shí)現(xiàn)一個(gè)為了爬取網(wǎng)站數(shù)據(jù)、提取結(jié)構(gòu)性數(shù)據(jù)而編寫的應(yīng)用框架，用途非常廣泛，框架的力量，用戶只需要定制開發(fā)幾個(gè)模塊就可以輕松的實(shí)現(xiàn)一個(gè)爬蟲，用來抓取網(wǎng)頁內(nèi)容以及各種圖片，非常之方便
2021-11-11
詳解Python列表賦值復(fù)制深拷貝及5種淺拷貝
這篇文章主要介紹了Python列表賦值，復(fù)制，深拷貝以及5種淺拷貝詳解,本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下
2019-05-05
python3.8中關(guān)于sklearn問題(win10)
這篇文章主要介紹了python3.8中關(guān)于sklearn問題(win10)，具有很好的參考價(jià)值，希望對大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教
2023-06-06
如何用Python合并lmdb文件
這篇文章主要為大家詳細(xì)介紹了如何用Python合并lmdb文件，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下
2018-07-07
詳解Python的Django框架中Manager方法的使用
這篇文章主要介紹了Python的Django框架中Manager方法的使用,包括修改初始Manager QuerySets和增加額外的Manager方法等操作,需要的朋友可以參考下
2015-07-07
matplotlib更改窗口圖標(biāo)的方法示例
這篇文章主要介紹了matplotlib更改窗口圖標(biāo)的方法示例，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2021-02-02