使用C#高效解析HTML的實(shí)戰(zhàn)指南

更新時(shí)間：2025年01月26日 11:14:05 作者：code_shenbing

在網(wǎng)頁開發(fā)和數(shù)據(jù)處理的場景中,經(jīng)常需要從 HTML 文檔里提取有用的信息,C# 作為一門強(qiáng)大的編程語言,提供了豐富的工具和庫來實(shí)現(xiàn) HTML 的解析,這篇博客就帶你深入了解如何使用 C# 高效地解析 HTML

一、為什么要在 C# 中解析 HTML

在實(shí)際項(xiàng)目中，無論是進(jìn)行網(wǎng)頁數(shù)據(jù)采集、網(wǎng)頁內(nèi)容分析，還是開發(fā)網(wǎng)頁爬蟲，都離不開對 HTML 的解析。例如，電商平臺(tái)可能需要從競品網(wǎng)站上采集商品價(jià)格和庫存信息；新聞聚合應(yīng)用可能需要從各大新聞網(wǎng)站提取文章標(biāo)題、正文和發(fā)布時(shí)間。通過 C# 解析 HTML，能夠自動(dòng)化地獲取這些關(guān)鍵數(shù)據(jù)，大大提高工作效率。

二、C# 解析 HTML 的常用工具和庫

HtmlAgilityPack：這是 C# 中最常用的 HTML 解析庫之一，它提供了簡單易用的 API，能夠?qū)?HTML 文檔解析成一個(gè) DOM（文檔對象模型）樹，方便開發(fā)者通過 XPath 或 CSS 選擇器來提取節(jié)點(diǎn)和屬性。

AngleSharp：另一個(gè)功能強(qiáng)大的 HTML 解析庫，支持現(xiàn)代的 HTML5 標(biāo)準(zhǔn)，并且在性能上表現(xiàn)出色。它同樣可以構(gòu)建 DOM 樹，同時(shí)還提供了豐富的事件處理機(jī)制，方便處理復(fù)雜的網(wǎng)頁結(jié)構(gòu)。

三、使用 HtmlAgilityPack 解析 HTML

安裝庫：最簡單的方式是通過 NuGet 包管理器。在 Visual Studio 中，右鍵點(diǎn)擊項(xiàng)目，選擇 “管理 NuGet 程序包”，搜索 “HtmlAgilityPack” 并安裝。

基本解析示例：下面是一個(gè)使用 HtmlAgilityPack 從 HTML 字符串中提取所有鏈接的代碼示例：

 
using HtmlAgilityPack;
 
class Program
 
{
 
static void Main()
 
{
 
string html = "<html><body><a >Example Link</a></body></html>";
 
HtmlDocument doc = new HtmlDocument();
 
doc.LoadHtml(html);
 
HtmlNodeCollection links = doc.DocumentNode.SelectNodes("http://a");
 
if (links!= null)
 
{
 
foreach (HtmlNode link in links)
 
{
 
string href = link.GetAttributeValue("href", "");
 
Console.WriteLine($"Link: {href}");
 
}
 
}
 
}
 
}

在這段代碼中，首先創(chuàng)建了一個(gè)HtmlDocument對象并加載 HTML 字符串。然后使用SelectNodes方法結(jié)合 XPath 表達(dá)式//a來選取所有的<a>標(biāo)簽節(jié)點(diǎn)，最后遍歷這些節(jié)點(diǎn)并提取href屬性的值。

提取復(fù)雜結(jié)構(gòu)的數(shù)據(jù)：假設(shè)我們要從一個(gè)電商網(wǎng)頁中提取商品信息，包括商品名稱、價(jià)格和圖片鏈接。HTML 結(jié)構(gòu)可能如下：

 
<div class="product">
 
<img src="product1.jpg" alt="Product Name">
 
<h2 class="product-name">Product 1</h2>
 
<span class="price">$19.99</span>
 
</div>

使用 HtmlAgilityPack 提取數(shù)據(jù)的代碼如下：

 
using HtmlAgilityPack;
 
class Product
 
{
 
public string Name { get; set; }
 
public string Price { get; set; }
 
public string ImageUrl { get; set; }
 
}
 
class Program
 
{
 
static void Main()
 
{
 
string html = "<div class='product'><img src='product1.jpg' alt='Product Name'><h2 class='product-name'>Product 1</h2><span class='price'>$19.99</span></div>";
 
HtmlDocument doc = new HtmlDocument();
 
doc.LoadHtml(html);
 
HtmlNode productNode = doc.DocumentNode.SelectSingleNode("http://div[@class='product']");
 
if (productNode!= null)
 
{
 
Product product = new Product();
 
HtmlNode imgNode = productNode.SelectSingleNode(".//img");
 
if (imgNode!= null)
 
{
 
product.ImageUrl = imgNode.GetAttributeValue("src", "");
 
}
 
HtmlNode nameNode = productNode.SelectSingleNode(".//h2[@class='product-name']");
 
if (nameNode!= null)
 
{
 
product.Name = nameNode.InnerText;
 
}
 
HtmlNode priceNode = productNode.SelectSingleNode(".//span[@class='price']");
 
if (priceNode!= null)
 
{
 
product.Price = priceNode.InnerText;
 
}
 
Console.WriteLine($"Name: {product.Name}, Price: {product.Price}, ImageUrl: {product.ImageUrl}");
 
}
 
}
 
}

這里使用SelectSingleNode方法結(jié)合 XPath 表達(dá)式來精確選取需要的節(jié)點(diǎn)，并提取相應(yīng)的屬性和文本內(nèi)容。

四、使用 AngleSharp 解析 HTML

安裝庫：同樣通過 NuGet 包管理器搜索并安裝 “AngleSharp”。

基本解析示例：使用 AngleSharp 提取所有鏈接的代碼如下：

 
using AngleSharp;
 
using System.Threading.Tasks;
 
class Program
 
{
 
static async Task Main()
 
{
 
string html = "<html><body><a >Example Link</a></body></html>";
 
var context = BrowsingContext.New();
 
var document = await context.OpenAsync(req => req.Content(html));
 
var links = document.QuerySelectorAll("a");
 
foreach (var link in links)
 
{
 
string href = link.GetAttribute("href");
 
Console.WriteLine($"Link: {href}");
 
}
 
}
 
}

在這段代碼中，通過BrowsingContext.New()創(chuàng)建一個(gè)瀏覽上下文，然后使用OpenAsync方法加載 HTML 字符串并得到一個(gè)IDocument對象。接著使用QuerySelectorAll方法結(jié)合 CSS 選擇器來選取所有的<a>標(biāo)簽，最后提取href屬性。