用Python程序抓取網(wǎng)頁的HTML信息的一個小實(shí)例

更新時間：2015年05月02日 15:02:49 作者：cyqian

這篇文章主要介紹了用Python程序抓取網(wǎng)頁的HTML信息的一個小實(shí)例,用到的方法同時也是用Python編寫爬蟲的基礎(chǔ),需要的朋友可以參考下

抓取網(wǎng)頁數(shù)據(jù)的思路有好多種，一般有：直接代碼請求http、模擬瀏覽器請求數(shù)據(jù)（通常需要登錄驗(yàn)證）、控制瀏覽器實(shí)現(xiàn)數(shù)據(jù)抓取等。這篇不考慮復(fù)雜情況，放一個讀取簡單網(wǎng)頁數(shù)據(jù)的小例子：
目標(biāo)數(shù)據(jù)

將ittf網(wǎng)站上這個頁面上所有這些選手的超鏈接保存下來。

201552150315618.png (600×587)

數(shù)據(jù)請求

真的很喜歡符合人類思維的庫，比如requests，如果是要直接拿網(wǎng)頁文本，一句話搞定：

doc = requests.get(url).text

解析html獲得數(shù)據(jù)

以beautifulsoup為例，包含獲取標(biāo)簽、鏈接，以及根據(jù)html層次結(jié)構(gòu)遍歷等方法。參考見這里。下面這個片段，從ittf網(wǎng)站上獲取指定頁面上指定位置的鏈接。

url = 'http://www.ittf.com/ittf_ranking/WR_Table_3_A2.asp?Age_category_1=&Age_category_2=&Age_category_3=&Age_category_4=&Age_category_5=&Category=100W&Cont=&Country=&Gender=W&Month1=4&Year1=2015&s_Player_Name=&Formv_WR_Table_3_Page='+str(page)
doc = requests.get(url).text
soup = BeautifulSoup(doc)
atags = soup.find_all('a')
rank_link_pre = 'http://www.ittf.com/ittf_ranking/'

mlfile = open(linkfile,'a')
for atag in atags:
  #print atag
  if atag!=None and atag.get('href') != None:
    if "WR_Table_3_A2_Details.asp" in atag['href']:
      link = rank_link_pre + atag['href']
      links.append(link)
      mlfile.write(link+'\n')
      print 'fetch link: '+link
mlfile.close()

您可能感興趣的文章:

Python

相關(guān)文章

python 實(shí)現(xiàn)在無序數(shù)組中找到中位數(shù)方法
這篇文章主要介紹了python 實(shí)現(xiàn)在無序數(shù)組中找到中位數(shù)方法，具有很好對參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-03-03
如何將寫好的.py/.java程序變成.exe文件詳解
有時候我們需要將自己寫的代碼打包成exe文件,給別人使用需要怎么辦呢,下面這篇文章主要給大家介紹了關(guān)于如何將寫好的.py/.java程序變成.exe文件的相關(guān)資料,需要的朋友可以參考下
2023-01-01
利用python實(shí)現(xiàn)漢諾塔游戲
這篇文章主要為大家詳細(xì)介紹了利用python實(shí)現(xiàn)漢諾塔游戲，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價值，感興趣的小伙伴們可以參考一下
2021-03-03
海王小姐姐悄悄問我怎么在PC端登錄多個微信
這篇文章主要介紹了怎么在PC端登錄多個微信號,眾所周知pc端一般只能登陸一個微信號,可這年頭誰還只有一個號,又不能同時用兩臺電腦,這篇文章帶給你答案
2021-08-08
Python 轉(zhuǎn)換RGB顏色值的示例代碼
這篇文章主要介紹了Python 轉(zhuǎn)換RGB顏色值的示例代碼，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2019-10-10
通過python實(shí)現(xiàn)windows桌面截圖代碼實(shí)例
這篇文章主要介紹了python實(shí)現(xiàn)windows桌面截圖代碼實(shí)例,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
2020-01-01
python中opencv K均值聚類的實(shí)現(xiàn)示例
本文主要介紹了python中opencv K均值聚類的實(shí)現(xiàn)示例，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2022-06-06
快速進(jìn)修Python指南之函數(shù)進(jìn)階
這篇文章主要為大家介紹了Java開發(fā)者快速進(jìn)修Python指南之函數(shù)進(jìn)階示例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪
2023-12-12
Python Django 簡單分頁的實(shí)現(xiàn)代碼解析
這篇文章主要介紹了Python Django 簡單分頁的實(shí)現(xiàn)代碼解析,文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值,需要的朋友可以參考下
2019-08-08
詳解python中文編碼問題
一直以來python中文編碼是個及其頭大的問題，需要好好學(xué)習(xí)下，我用python為例，簡單介紹下python編程時如何處理好中文編碼的問題，感興趣的朋友們可以參考下
2021-06-06