詳細解讀Python中解析XML數(shù)據(jù)的方法
Python可以使用 xml.etree.ElementTree 模塊從簡單的XML文檔中提取數(shù)據(jù)。 為了演示，假設(shè)你想解析Planet Python上的RSS源。下面是相應的代碼：
from urllib.request import urlopen
from xml.etree.ElementTree import parse
# Download the RSS feed and parse it
u = urlopen('http://planet.python.org/rss20.xml')
doc = parse(u)
# Extract and output tags of interest
for item in doc.iterfind('channel/item'):
title = item.findtext('title')
date = item.findtext('pubDate')
link = item.findtext('link')
print(title)
print(date)
print(link)
print()
運行上面的代碼，輸出結(jié)果類似這樣：
Steve Holden: Python for Data Analysis Mon, 19 Nov 2012 02:13:51 +0000 http://holdenweb.blogspot.com/2012/11/python-for-data-analysis.html Vasudev Ram: The Python Data model (for v2 and v3) Sun, 18 Nov 2012 22:06:47 +0000 http://jugad2.blogspot.com/2012/11/the-python-data-model.html Python Diary: Been playing around with Object Databases Sun, 18 Nov 2012 20:40:29 +0000 http://www.pythondiary.com/blog/Nov.18,2012/been-...-object-databases.html Vasudev Ram: Wakari, Scientific Python in the cloud Sun, 18 Nov 2012 20:19:41 +0000 http://jugad2.blogspot.com/2012/11/wakari-scientific-python-in-cloud.html Jesse Jiryu Davis: Toro: synchronization primitives for Tornado coroutines Sun, 18 Nov 2012 20:17:49 +0000 http://feedproxy.google.com/~r/EmptysquarePython/~3/_DOZT2Kd0hQ/
很顯然，如果你想做進一步的處理，你需要替換 print() 語句來完成其他有趣的事。
在很多應用程序中處理XML編碼格式的數(shù)據(jù)是很常見的。 不僅因為XML在Internet上面已經(jīng)被廣泛應用于數(shù)據(jù)交換， 同時它也是一種存儲應用程序數(shù)據(jù)的常用格式(比如字處理，音樂庫等)。 接下來的討論會先假定讀者已經(jīng)對XML基礎(chǔ)比較熟悉了。
在很多情況下，當使用XML來僅僅存儲數(shù)據(jù)的時候，對應的文檔結(jié)構(gòu)非常緊湊并且直觀。 例如，上面例子中的RSS訂閱源類似于下面的格式：
<?xml version="1.0"?>
<rss version="2.0" xmlns:dc="http://purl.org/dc/elements/1.1/">
<channel>
<title>Planet Python</title>
<link>http://planet.python.org/</link>
<language>en</language>
<description>Planet Python - http://planet.python.org/</description>
<item>
<title>Steve Holden: Python for Data Analysis</title>
<guid>http://holdenweb.blogspot.com/...-data-analysis.html</guid>
<link>http://holdenweb.blogspot.com/...-data-analysis.html</link>
<description>...</description>
<pubDate>Mon, 19 Nov 2012 02:13:51 +0000</pubDate>
</item>
<item>
<title>Vasudev Ram: The Python Data model (for v2 and v3)</title>
<guid>http://jugad2.blogspot.com/...-data-model.html</guid>
<link>http://jugad2.blogspot.com/...-data-model.html</link>
<description>...</description>
<pubDate>Sun, 18 Nov 2012 22:06:47 +0000</pubDate>
</item>
<item>
<title>Python Diary: Been playing around with Object Databases</title>
<guid>http://www.pythondiary.com/...-object-databases.html</guid>
<link>http://www.pythondiary.com/...-object-databases.html</link>
<description>...</description>
<pubDate>Sun, 18 Nov 2012 20:40:29 +0000</pubDate>
</item>
...
</channel>
</rss>
xml.etree.ElementTree.parse() 函數(shù)解析整個XML文檔并將其轉(zhuǎn)換成一個文檔對象。 然后，你就能使用 find() 、iterfind() 和 findtext() 等方法來搜索特定的XML元素了。 這些函數(shù)的參數(shù)就是某個指定的標簽名，例如 channel/item 或 title 。
每次指定某個標簽時，你需要遍歷整個文檔結(jié)構(gòu)。每次搜索操作會從一個起始元素開始進行。 同樣，每次操作所指定的標簽名也是起始元素的相對路徑。 例如，執(zhí)行 doc.iterfind('channel/item') 來搜索所有在 channel 元素下面的 item 元素。 doc 代表文檔的最頂層(也就是第一級的 rss 元素)。 然后接下來的調(diào)用 item.findtext() 會從已找到的 item 元素位置開始搜索。
ElementTree 模塊中的每個元素有一些重要的屬性和方法，在解析的時候非常有用。 tag 屬性包含了標簽的名字，text 屬性包含了內(nèi)部的文本，而 get() 方法能獲取屬性值。例如：
>>> doc
<xml.etree.ElementTree.ElementTree object at 0x101339510>
>>> e = doc.find('channel/title')
>>> e
<Element 'title' at 0x10135b310>
>>> e.tag
'title'
>>> e.text
'Planet Python'
>>> e.get('some_attribute')
>>>
有一點要強調(diào)的是 xml.etree.ElementTree 并不是XML解析的唯一方法。 對于更高級的應用程序，你需要考慮使用 lxml 。 它使用了和ElementTree同樣的編程接口，因此上面的例子同樣也適用于lxml。 你只需要將剛開始的import語句換成 from lxml.etree import parse 就行了。 lxml 完全遵循XML標準，并且速度也非?？?，同時還支持驗證，XSLT，和XPath等特性。
增量式解析大型XML文件
任何時候只要你遇到增量式的數(shù)據(jù)處理時，第一時間就應該想到迭代器和生成器。 下面是一個很簡單的函數(shù)，只使用很少的內(nèi)存就能增量式的處理一個大型XML文件：
from xml.etree.ElementTree import iterparse
def parse_and_remove(filename, path):
path_parts = path.split('/')
doc = iterparse(filename, ('start', 'end'))
# Skip the root element
next(doc)
tag_stack = []
elem_stack = []
for event, elem in doc:
if event == 'start':
tag_stack.append(elem.tag)
elem_stack.append(elem)
elif event == 'end':
if tag_stack == path_parts:
yield elem
elem_stack[-2].remove(elem)
try:
tag_stack.pop()
elem_stack.pop()
except IndexError:
pass
為了測試這個函數(shù)，你需要先有一個大型的XML文件。 通常你可以在政府網(wǎng)站或公共數(shù)據(jù)網(wǎng)站上找到這樣的文件。 例如，你可以下載XML格式的芝加哥城市道路坑洼數(shù)據(jù)庫。 在寫這本書的時候，下載文件已經(jīng)包含超過100,000行數(shù)據(jù)，編碼格式類似于下面這樣：
假設(shè)你想寫一個腳本來按照坑洼報告數(shù)量排列郵編號碼。你可以像這樣做：
from xml.etree.ElementTree import parse
from collections import Counter
potholes_by_zip = Counter()
doc = parse('potholes.xml')
for pothole in doc.iterfind('row/row'):
potholes_by_zip[pothole.findtext('zip')] += 1
for zipcode, num in potholes_by_zip.most_common():
print(zipcode, num)
這個腳本唯一的問題是它會先將整個XML文件加載到內(nèi)存中然后解析。 在我的機器上，為了運行這個程序需要用到450MB左右的內(nèi)存空間。 如果使用如下代碼，程序只需要修改一點點：
from collections import Counter
potholes_by_zip = Counter()
data = parse_and_remove('potholes.xml', 'row/row')
for pothole in data:
potholes_by_zip[pothole.findtext('zip')] += 1
for zipcode, num in potholes_by_zip.most_common():
print(zipcode, num)
結(jié)果是：這個版本的代碼運行時只需要7MB的內(nèi)存–大大節(jié)約了內(nèi)存資源。
討論
這里技術(shù)會依賴 ElementTree 模塊中的兩個核心功能。 第一，iterparse() 方法允許對XML文檔進行增量操作。 使用時，你需要提供文件名和一個包含下面一種或多種類型的事件列表： start , end, start-ns 和 end-ns 。 由 iterparse() 創(chuàng)建的迭代器會產(chǎn)生形如 (event, elem) 的元組， 其中 event 是上述事件列表中的某一個，而 elem 是相應的XML元素。例如：
>>> data = iterparse('potholes.xml',('start','end'))
>>> next(data)
('start', <Element 'response' at 0x100771d60>)
>>> next(data)
('start', <Element 'row' at 0x100771e68>)
>>> next(data)
('start', <Element 'row' at 0x100771fc8>)
>>> next(data)
('start', <Element 'creation_date' at 0x100771f18>)
>>> next(data)
('end', <Element 'creation_date' at 0x100771f18>)
>>> next(data)
('start', <Element 'status' at 0x1006a7f18>)
>>> next(data)
('end', <Element 'status' at 0x1006a7f18>)
>>>
start 事件在某個元素第一次被創(chuàng)建并且還沒有被插入其他數(shù)據(jù)(如子元素)時被創(chuàng)建。 而 end 事件在某個元素已經(jīng)完成時被創(chuàng)建。 盡管沒有在例子中演示， start-ns 和 end-ns 事件被用來處理XML文檔命名空間的聲明。
這本節(jié)例子中， start 和 end 事件被用來管理元素和標簽棧。 棧代表了文檔被解析時的層次結(jié)構(gòu)， 還被用來判斷某個元素是否匹配傳給函數(shù) parse_and_remove() 的路徑。 如果匹配，就利用 yield 語句向調(diào)用者返回這個元素。
在 yield 之后的下面這個語句才是使得程序占用極少內(nèi)存的ElementTree的核心特性：
elem_stack[-2].remove(elem)
這個語句使得之前由 yield 產(chǎn)生的元素從它的父節(jié)點中刪除掉。 假設(shè)已經(jīng)沒有其它的地方引用這個元素了，那么這個元素就被銷毀并回收內(nèi)存。
對節(jié)點的迭代式解析和刪除的最終效果就是一個在文檔上高效的增量式清掃過程。 文檔樹結(jié)構(gòu)從始自終沒被完整的創(chuàng)建過。盡管如此，還是能通過上述簡單的方式來處理這個XML數(shù)據(jù)。
這種方案的主要缺陷就是它的運行性能了。 我自己測試的結(jié)果是，讀取整個文檔到內(nèi)存中的版本的運行速度差不多是增量式處理版本的兩倍快。 但是它卻使用了超過后者60倍的內(nèi)存。 因此，如果你更關(guān)心內(nèi)存使用量的話，那么增量式的版本完勝。
- Python數(shù)據(jù)提取-lxml模塊
- Python爬蟲基于lxml解決數(shù)據(jù)編碼亂碼問題
- Python 解析簡單的XML數(shù)據(jù)
- Python xml、字典、json、類四種數(shù)據(jù)類型如何實現(xiàn)互相轉(zhuǎn)換
- Python 讀取xml數(shù)據(jù),cv2裁剪圖片實例
- Python大數(shù)據(jù)之使用lxml庫解析html網(wǎng)頁文件示例
- Python 3.x基于Xml數(shù)據(jù)的Http請求方法
- Python基于dom操作xml數(shù)據(jù)的方法示例
- python與xml數(shù)據(jù)的交互詳解
相關(guān)文章
這篇文章主要講解了Python爬蟲的基礎(chǔ)知識，文中相關(guān)知識講解的非常詳細，感興趣的小伙伴可以參考參考2021-08-08
這篇文章主要為大家介紹了Python深拷貝淺拷貝的圖文示例清晰整理，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-06-06
上一篇文章我們介紹了Python繪制專業(yè)的K線圖，講解了數(shù)據(jù)獲取、K線圖繪制及成交量繪制等內(nèi)容。本篇將在上一篇的基礎(chǔ)上，繼續(xù)講解移動均線的繪制,需要的朋友可以參考下2021-10-10
這篇文章主要介紹了Python單體模式的幾種常見實現(xiàn)方法,結(jié)合實例形式分析了Python單體模式的實現(xiàn)方法、原理與相關(guān)注意事項,需要的朋友可以參考下2017-07-07
這篇文章主要介紹了利用python實時刷新基金估值(摸魚小工具),本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-09-09
這篇文章主要介紹了Python3操作CSV文件使用包過程解析,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下2020-04-04
Django 權(quán)限管理(permissions)與用戶組(group)詳解
這篇文章主要介紹了Django 權(quán)限管理(permissions)與用戶組(group)詳解，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-11-11
這篇文章主要介紹了Python登錄并獲取CSDN博客所有文章列表代碼實例，具有一定借鑒價值,需要的朋友可以參考下2017-12-12
最近在開發(fā)一款自動化的應用,但是,在測試時,卻發(fā)現(xiàn)了問題,當我點擊暫停任務(wù)后,此時子線程被阻塞,如果我這個時候點擊停止,那么就會任務(wù)結(jié)束,之后,如果我再點擊開始運行,整個應用就會卡死,所以本文介紹了Python應用開發(fā)頻繁假死的問題分析及解決,需要的朋友可以參考下2024-08-08
用Python計算三角函數(shù)之a(chǎn)cos()方法的使用
這篇文章主要介紹了用Python計算三角函數(shù)之a(chǎn)cos()方法的使用,是Python學習中的基礎(chǔ)知識,需要的朋友可以參考下2015-05-05