python爬蟲(chóng)獲取百度首頁(yè)內(nèi)容教學(xué)
由傳智播客教程整理，我們這里使用的是python2.7.x版本，就是2.7之后的版本，因?yàn)閜ython3的改動(dòng)略大，我們這里不用它?，F(xiàn)在我們嘗試一下url和網(wǎng)絡(luò)爬蟲(chóng)配合的關(guān)系，爬瀏覽器首頁(yè)信息。
1、首先我們創(chuàng)建一個(gè)urllib2_test01.py，然后輸入以下代碼：
2、最簡(jiǎn)單的獲取一個(gè)url的信息代碼居然只需要4行，執(zhí)行寫(xiě)的python代碼：
3、之后我們會(huì)看到一下的結(jié)果
4、實(shí)際上，如果我們?cè)跒g覽器上打開(kāi)網(wǎng)頁(yè)主頁(yè)的話，右鍵選擇“查看源代碼”，你會(huì)發(fā)現(xiàn)，跟我們剛打印出來(lái)的是一模一樣的。也就是說(shuō)，上面的4行代碼就已經(jīng)幫我們把百度的首頁(yè)和全部代碼爬了下來(lái)了 。
5、下面我們介紹一下這四行代碼，第一行如下圖，這個(gè)就是將urllib2組件進(jìn)入進(jìn)來(lái)，供給我們使用。
6、圖片下面這步驟是調(diào)用urllib2庫(kù)中的urlopen方法，該方法接受一個(gè)url地址，然后將請(qǐng)求后的得到的回應(yīng)封裝到一個(gè)叫respones對(duì)象當(dāng)中。
7、最后這里，是調(diào)用response對(duì)象的read（）方法，將請(qǐng)求的回應(yīng)內(nèi)容以字符串的形式給html變量。最后的print html就是將字符串打出來(lái)，所以說(shuō)一個(gè)基本的url請(qǐng)求是對(duì)應(yīng)的python代碼是很簡(jiǎn)單的。
總結(jié)：以上就是關(guān)于利用python爬蟲(chóng)獲取百度信息的步驟內(nèi)容，感謝大家的學(xué)習(xí)和對(duì)腳本之家的支持。
- python 爬取百度文庫(kù)并下載(免費(fèi)文章限定)
- Python實(shí)現(xiàn)的爬取百度文庫(kù)功能示例
- 用python下載百度文庫(kù)的代碼
- python 爬蟲(chóng)如何實(shí)現(xiàn)百度翻譯
- 詳解用Python爬蟲(chóng)獲取百度企業(yè)信用中企業(yè)基本信息
- Python爬蟲(chóng)爬取百度搜索內(nèi)容代碼實(shí)例
- Python爬蟲(chóng)實(shí)現(xiàn)百度翻譯功能過(guò)程詳解
- python 爬蟲(chóng)百度地圖的信息界面的實(shí)現(xiàn)方法
- python爬蟲(chóng)之爬取百度音樂(lè)的實(shí)現(xiàn)方法
- Python爬蟲(chóng)實(shí)現(xiàn)爬取百度百科詞條功能實(shí)例
- Python爬蟲(chóng)實(shí)現(xiàn)百度圖片自動(dòng)下載
- Python爬蟲(chóng)實(shí)例_利用百度地圖API批量獲取城市所有的POI點(diǎn)
- python實(shí)現(xiàn)百度文庫(kù)自動(dòng)化爬取
相關(guān)文章
Python學(xué)習(xí)筆記基本數(shù)據(jù)結(jié)構(gòu)之序列類(lèi)型list tuple range用法分析
這篇文章主要介紹了Python學(xué)習(xí)筆記基本數(shù)據(jù)結(jié)構(gòu)之序列類(lèi)型list tuple range用法,結(jié)合具體實(shí)例形式分析了Python序列類(lèi)型list tuple range基本概念、定義與使用技巧,需要的朋友可以參考下2019-06-06
用TensorFlow實(shí)現(xiàn)lasso回歸和嶺回歸算法的示例
本篇文章主要介紹了用TensorFlow實(shí)現(xiàn)lasso回歸和嶺回歸算法的示例，小編覺(jué)得挺不錯(cuò)的，現(xiàn)在分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2018-05-05
解決安裝tensorflow遇到無(wú)法卸載numpy 1.8.0rc1的問(wèn)題
今天小編就為大家分享一篇解決安裝tensorflow遇到無(wú)法卸載numpy 1.8.0rc1的問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2018-06-06
python 數(shù)據(jù)類(lèi)型強(qiáng)制轉(zhuǎn)換的總結(jié)
這篇文章主要介紹了python 數(shù)據(jù)類(lèi)型強(qiáng)制轉(zhuǎn)換的使用總結(jié)，幫助大家更好的理解和使用python，感興趣的朋友可以了解下2021-01-01
Python學(xué)習(xí)筆記嵌套循環(huán)詳解
這篇文章主要介紹了Python學(xué)習(xí)筆記嵌套循環(huán)詳解，文章圍繞主題展開(kāi)詳細(xì)的內(nèi)容介紹，具有一定的參考價(jià)值，需要的小伙伴可以參考一下2022-07-07
Django框架HttpRequest對(duì)象用法實(shí)例分析
這篇文章主要介紹了Django框架HttpRequest對(duì)象用法,結(jié)合實(shí)例形式分析了Django框架HttpRequest對(duì)象發(fā)送請(qǐng)求數(shù)據(jù)的相關(guān)使用技巧,需要的朋友可以參考下2019-11-11
Python中內(nèi)置的日志模塊logging用法詳解
Python的logging模塊提供了記錄程序運(yùn)行情況的日志功能,類(lèi)似于Apache的log4j,很好很強(qiáng)大,這里我們就來(lái)看一下Python中內(nèi)置的日志模塊logging用法詳解2016-07-07
Python數(shù)據(jù)分析之?Matplotlib?折線圖繪制
這篇文章主要介紹了Python數(shù)據(jù)分析之?Matplotlib?折線圖繪制，在數(shù)據(jù)分析中，數(shù)據(jù)可視化也非常重要，下文通過(guò)數(shù)據(jù)分析展開(kāi)對(duì)折線圖的繪制，需要的小伙伴可以參考一下2022-05-05
詳解Pandas中stack()和unstack()的使用技巧
當(dāng)你在處理包含某種序列（例如時(shí)間序列數(shù)據(jù)）的變量的數(shù)據(jù)集時(shí)，數(shù)據(jù)通常需要進(jìn)行重塑。Pandas?提供了各種用于重塑?DataFrame?的內(nèi)置方法。其中，stack()?和?unstack()?是最流行的，本文總結(jié)了這兩個(gè)方法的7種使用技巧，需要的可以參考一下2022-03-03
這篇文章主要介紹了Python 下載手機(jī)小視頻,主要為大家介紹使用 mitmproxy 這個(gè)抓包工具如何監(jiān)控手機(jī)上網(wǎng)，并且通過(guò)抓包，把我們想要的數(shù)據(jù)下載下來(lái)，需要的朋友可以參考下2022-04-04