Python使用Beautiful Soup包編寫爬蟲時的一些關(guān)鍵點
更新時間：2016年01月20日 11:14:28 作者：crifan
這篇文章主要介紹了Python使用Beautiful Soup包編寫爬蟲時的一些關(guān)鍵點,文中講到了parent屬性的使用以及soup的編碼問題,需要的朋友可以參考下
1.善于利用soup節(jié)點的parent屬性
比如對于已經(jīng)得到了如下html代碼：
<td style="padding-left:0" width="60%"><label>November</label> <input type="Hidden" id="cboMonth1" name="cboMonth1" value="11"> </td><td style="padding-right:0;" width="40%"> <label>2012</label> <input type="Hidden" id="cboYear1" name="cboYear1" value="2012"> </td>
的soup變量eachMonthHeader了。
想要提取其中的
Month的label的值：November
和Year的label的值：2012
最簡單，也是最省事的辦法是，直接搜兩個label，然后肯定會找到這兩個label，然后分別對應著Month和Year的label，然后獲得對應的string即可：
foundTwoLabel = eachMonthHeader.findAll("label");
print "foundTwoLabel=",foundTwoLabel;
monthLabel = foundTwoLabel[0];
yearLabel = foundTwoLabel[1];
monthStr = monthLabel.string;
yearStr = yearLabel.string;
print "monthStr=",monthStr; # monthStr= November
print "yearStr=",yearStr; # yearStr= 2012
但是很明顯，這樣的邏輯性很不好，而且萬一處理多個這樣的soup變量，而且兩者的順便顛倒了，那么結(jié)果也就錯誤了。
此時，可以考慮利用soup變量的parent屬性，從一個soup變量本身，獲得其上一級的soup變量。
示例代碼如下：
# <td style="padding-left:0" width="60%"><label>November</label>
# <input type="Hidden" id="cboMonth1" name="cboMonth1" value="11">
# </td><td style="padding-right:0;" width="40%">
# <label>2012</label>
# <input type="Hidden" id="cboYear1" name="cboYear1" value="2012">
# </td>
foundCboMonth = eachMonthHeader.find("input", {"id":re.compile("cboMonth\d+")});
#print "foundCboMonth=",foundCboMonth;
tdMonth = foundCboMonth.parent;
#print "tdMonth=",tdMonth;
tdMonthLabel = tdMonth.label;
#print "tdMonthLabel=",tdMonthLabel;
monthStr = tdMonthLabel.string;
print "monthStr=",monthStr;
foundCboYear = eachMonthHeader.find("input", {"id":re.compile("cboYear\d+")});
#print "foundCboYear=",foundCboYear;
tdYear = foundCboYear.parent;
#print "tdYear=",tdYear;
tdYearLabel = tdYear.label;
#print "tdYearLabel=",tdYearLabel;
yearStr = tdYearLabel.string;
print "yearStr=",yearStr;
我們再來看一個例子：
from BeautifulSoup import BeautifulSoup
doc = ['<html><head><title>Page title</title></head>',
'<body><p id="firstpara" align="center">This is paragraph <b>one</b>.',
'<p id="secondpara" align="blah">This is paragraph <b>two</b>.',
'</html>']
soup = BeautifulSoup(''.join(doc))
print soup.prettify()
# <html>
# <head>
# <title>
# Page title
# </title>
# </head>
# <body>
# <p id="firstpara" align="center">
# This is paragraph
# <b>
# one
# </b>
# .
# </p>
# <p id="secondpara" align="blah">
# This is paragraph
# <b>
# two
# </b>
# .
# </p>
# </body>
# </html>
這個例子中，<HEAD> Tag的parent是<HTML> Tag. <HTML> Tag 的parent是BeautifulSoup 剖析對象自己。 剖析對象的parent是None. 利用parent，你可以向前遍歷剖析樹。
soup.head.parent.name # u'html' soup.head.parent.parent.__class__.__name__ # 'BeautifulSoup' soup.parent == None # True
2.當解析非UTF-8或ASCII編碼類型的HTML時，需要指定對應的字符編碼
當html為ASCII或UTF-8編碼時，可以不指定html字符編碼，便可正確解析html為對應的soup：
#這里respHtml是ASCII或UTF-8編碼，此時可以不指定編碼類型，即可正確解析出對應的soup soup = BeautifulSoup(respHtml);
當html為其他類型編碼，比如GB2312的話，則需要指定相應的字符編碼，BeautifulSoup才能正確解析出對應的soup：
比如：
#此處respHtml是GB2312編碼的，所以要指定該編碼類型，BeautifulSoup才能解析出對應的soup htmlCharset = "GB2312"; soup = BeautifulSoup(respHtml, fromEncoding=htmlCharset);
相關(guān)文章
最近小編一直在學習python的東西，今天小編給大家分享基于python寫的一個爬蟲程序，能實現(xiàn)簡單的網(wǎng)頁圖片下載，具體實例代碼大家參考下本文2018-07-07
python?tkinter自定義實現(xiàn)Expander控件
和其他成熟的GUI庫相比，tkinter的組件并不是太多，但在自定義組件這一點上，并不遜色于其他框架，下面小編就教大家如何自定義一個Expander控件吧2023-08-08
Python實現(xiàn)GUI學生信息管理系統(tǒng)
這篇文章主要為大家詳細介紹了Python實現(xiàn)GUI學生信息管理系統(tǒng)，文中示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2018-01-01
這篇文章主要介紹了使用Python生成url短鏈接的方法,短鏈接在如今在微博等社交網(wǎng)站中等是非常常見的功能,需要的朋友可以參考下2015-05-05
正則表達式是用來匹配字符串非常強大的工具，在其他編程語言中同樣有正則表達式的概念，Python同樣不例外，利用了正則表達式，我們想要從返回的頁面內(nèi)容提取出我們想要的內(nèi)容就易如反掌了。2016-09-09
這篇文章主要給大家介紹了關(guān)于Python時間序列缺失值（日期缺失填充）的處理方法，文中通過示例代碼介紹的非常詳細，對大家學習或者使用Python具有一定的參考學習價值，需要的朋友們下面來一起學習學習吧2019-08-08
這篇文章主要為大家介紹了Python賦值多個變量，具有一定的參考價值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12
今天小編就為大家分享一篇Python加載帶有注釋的Json文件實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2018-05-05
這篇文章主要介紹了pyinstaller還原python代碼過程圖解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-01-01
這篇文章主要介紹了python列表推導式入門學習解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2019-12-12