Python爬蟲urllib和requests的區(qū)別詳解
我們講了requests的用法以及利用requests簡(jiǎn)單爬取、保存網(wǎng)頁(yè)的方法，這節(jié)課我們主要講urllib和requests的區(qū)別。
1、獲取網(wǎng)頁(yè)數(shù)據(jù)
第一步，引入模塊。
兩者引入的模塊是不一樣的，這一點(diǎn)顯而易見。
第二步，簡(jiǎn)單網(wǎng)頁(yè)發(fā)起的請(qǐng)求。
urllib是通過(guò)urlopen方法獲取數(shù)據(jù)。
requests需要通過(guò)網(wǎng)頁(yè)的響應(yīng)類型獲取數(shù)據(jù)。
第三步，數(shù)據(jù)封裝。
對(duì)于復(fù)雜的數(shù)據(jù)請(qǐng)求，我們只是簡(jiǎn)單的通過(guò)urlopen方法肯定是不行的。最后，如果你的時(shí)間不是很緊張，并且又想快速的提高，最重要的是不怕吃苦，建議你可以聯(lián)系維：762459510 ，那個(gè)真的很不錯(cuò)，很多人進(jìn)步都很快，需要你不怕吃苦哦！大家可以去添加上看一下~
urllib中，我們知道對(duì)于有反爬蟲機(jī)制的網(wǎng)站，我們需要對(duì)URL進(jìn)行封裝，以獲取到數(shù)據(jù)。我們可以回顧下前幾節(jié)課的內(nèi)容：
requests模塊中，就不需要這么復(fù)雜的操作，直接在第二步中，加入?yún)?shù)headers即可：
2、解析網(wǎng)頁(yè)數(shù)據(jù)
urllib和requests都可以通過(guò)bs4和re進(jìn)行數(shù)據(jù)的解析，requests還可以通過(guò)xpath進(jìn)行解析。具體解析方法之后會(huì)詳解
3.保存數(shù)據(jù)
urllib需要引入xlwt模塊進(jìn)行新建表格、sheet表格寫入數(shù)據(jù).最后，如果你的時(shí)間不是很緊張，并且又想快速的提高，最重要的是不怕吃苦，建議你可以聯(lián)系維：762459510 ，那個(gè)真的很不錯(cuò)，很多人進(jìn)步都很快，需要你不怕吃苦哦！大家可以去添加上看一下~
requests通過(guò)with…as直接虛入數(shù)據(jù)：
到此這篇關(guān)于Python爬蟲urllib和requests的區(qū)別詳解的文章就介紹到這了,更多相關(guān)Python爬蟲urllib和requests的區(qū)別內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
python list的index()和find()的實(shí)現(xiàn)
這篇文章主要介紹了python list的index()和find()的實(shí)現(xiàn)，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2020-11-11
Python實(shí)現(xiàn)輸入若干個(gè)正整數(shù),升序后輸出
這篇文章主要介紹了Python實(shí)現(xiàn)輸入若干個(gè)正整數(shù),升序后輸出方式,具有很好的參考價(jià)值,希望對(duì)大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-02-02
Python3利用Dlib19.7實(shí)現(xiàn)攝像頭人臉識(shí)別的方法
這篇文章主要介紹了Python 3 利用 Dlib 19.7 實(shí)現(xiàn)攝像頭人臉識(shí)別 ，利用python開發(fā)，借助Dlib庫(kù)捕獲攝像頭中的人臉，提取人臉特征，通過(guò)計(jì)算歐氏距離來(lái)和預(yù)存的人臉特征進(jìn)行對(duì)比，達(dá)到人臉識(shí)別的目的，感興趣的小伙伴們可以參考一下2018-05-05
python讓圖片按照exif信息里的創(chuàng)建時(shí)間進(jìn)行排序的方法
這篇文章主要介紹了python讓圖片按照exif信息里的創(chuàng)建時(shí)間進(jìn)行排序的方法,涉及Python操作圖片exif獲取信息的技巧,需要的朋友可以參考下2015-03-03
這篇文章主要介紹了python實(shí)現(xiàn)單向鏈表詳解，分享了相關(guān)代碼示例，每一步操作前都有簡(jiǎn)單分析，小編覺(jué)得還是挺不錯(cuò)的，具有一定借鑒價(jià)值，需要的朋友可以參考下2018-02-02
這篇文章主要介紹了使用Python AIML搭建聊天機(jī)器人的方法示例,小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-07-07
Python使用切片移動(dòng)元素位置的代碼實(shí)踐
在 Python 中,切片是指從序列類型（如列表、字符串、元組等）中提取子序列的過(guò)程,切片可以用來(lái)快速獲取列表的一部分也可以用于反轉(zhuǎn)列表,本文小編給大家介紹了Python使用切片移動(dòng)元素位置的代碼實(shí)踐,需要的朋友可以參考下2024-09-09
Python數(shù)據(jù)類型轉(zhuǎn)換匯總
這篇文章主要給大家分享的是Python數(shù)據(jù)類型轉(zhuǎn)換匯總，int,float相互轉(zhuǎn)換、int,string相互轉(zhuǎn)換、float,string相互轉(zhuǎn)換、string,list相互轉(zhuǎn)換等常見內(nèi)容，需要的小伙伴可以參考一下2022-03-03
下面小編就為大家分享一篇python提取圖像的名字*.jpg到txt文本的方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-05-05
今天小編就為大家分享一篇關(guān)于Python并發(fā):多線程與多進(jìn)程的詳解，小編覺(jué)得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來(lái)看看吧2019-01-01