Python爬蟲學(xué)習(xí)之獲取指定網(wǎng)頁源碼
更新時間：2019年07月30日 14:43:42 作者：羅思洋
這篇文章主要為大家詳細(xì)介紹了Python爬蟲學(xué)習(xí)之獲取指定網(wǎng)頁源碼，具有一定的參考價值，感興趣的小伙伴們可以參考一下
本文實例為大家分享了Python獲取指定網(wǎng)頁源碼的具體代碼，供大家參考，具體內(nèi)容如下
1、任務(wù)簡介
前段時間一直在學(xué)習(xí)Python基礎(chǔ)知識，故未更新博客，近段時間學(xué)習(xí)了一些關(guān)于爬蟲的知識，我會分為多篇博客對所學(xué)知識進行更新，今天分享的是獲取指定網(wǎng)頁源碼的方法，只有將網(wǎng)頁源碼抓取下來才能從中提取我們需要的數(shù)據(jù)。
2、任務(wù)代碼
Python獲取指定網(wǎng)頁源碼的方法較為簡單，我在Java中使用了38行代碼才獲取了網(wǎng)頁源碼（大概是學(xué)藝不精），而Python中只用了6行就達(dá)到了效果。
Python中獲取網(wǎng)頁源碼最簡單的方法就是使用urllib包，具體代碼如下：
import urllib.request #導(dǎo)入urllib.request庫
b = str(input("請輸入：")) #提示用戶輸入信息，并強制類型轉(zhuǎn)換為字符串型
a = urllib.request.urlopen(b)#打開指定網(wǎng)址
html = a.read() #讀取網(wǎng)頁源碼
html = html.decode("utf-8") #解碼為unicode碼
print(html) #打印網(wǎng)頁源碼
我輸入的網(wǎng)址是我博客主頁的網(wǎng)址https://blog.csdn.net/lsylsy726
運行結(jié)果如下：
3、總結(jié)
這篇博客介紹的方法較為簡單，其實有的網(wǎng)站會“反爬蟲”，這時就需要我們使用User-Agent或者代理，這些東西都會在后面的博客中進行更新，我預(yù)計在后面博客中更新“讀取CSDN博客訪問量的小程序”和“有道翻譯小程序”及其他更難一些的知識，由于剛開始學(xué)習(xí)爬蟲，水平有限，請大家多多包涵。
以上就是本文的全部內(nèi)容，希望對大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
在本篇內(nèi)容里小編給大家分享的是一篇關(guān)于Python 打印自己設(shè)計的字體的實例講解內(nèi)容，有需要的朋友們可以參考學(xué)習(xí)下。2021-01-01
這篇文章主要介紹了程序猿新手必備的Python工具整合，Python 是一種開源編程語言，用于 Web 編程、數(shù)據(jù)科學(xué)、人工智能和許多科學(xué)應(yīng)用2021-09-09
這篇文章主要為大家詳細(xì)介紹了Python代碼實現(xiàn)雙鏈表，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-05-05
銀行卡識別是一個在金融、安全等領(lǐng)域具有重要應(yīng)用的問題,本文主要為大家介紹了如何使用Python和深度學(xué)習(xí)技術(shù)來實現(xiàn)銀行卡識別功能,需要的可以參考下2024-03-03
這篇文章主要為大家介紹了Python中的Sequence類型使用實例，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2023-12-12
在Java，C++，以及PHP中都有對應(yīng)的關(guān)鍵字，public，protected，private，但是在Python中卻沒有這些關(guān)鍵字來聲明類成員的訪問作用域。2008-12-12
函數(shù)式編程Functional Programming，雖然也可以歸結(jié)到面向過程的程序設(shè)計，但其思想更接近數(shù)學(xué)計算。函數(shù)式編程就是一種抽象程度很高的編程范式，純粹的函數(shù)式編程語言編寫的函數(shù)沒有變量。2017-07-07
這篇文章主要介紹了python訪問sqlserver示例,需要的朋友可以參考下2014-02-02
python matplotlib擬合直線的實現(xiàn)
這篇文章主要介紹了python matplotlib擬合直線的實現(xiàn),文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下2019-11-11
這篇文章主要介紹了python有證書的加密解密實現(xiàn)方法,采用了M2Crypto組件進行相關(guān)的加密解密操作,包含了詳細(xì)的完整實現(xiàn)過程,需要的朋友可以參考下2014-11-11