1.jsoup介紹

很多時(shí)候，我們需要從各種網(wǎng)頁(yè)上面抓取數(shù)據(jù)，而jsoup 是一款Java 的HTML解析器，可直接解析某個(gè)URL地址、HTML文本內(nèi)容。它提供了一套非常省力的API，可通過(guò)DOM，CSS以及類似于jQuery的操作方法來(lái)取出和操作數(shù)據(jù)。

jsoup官方文檔：https://jsoup.org/cookbook/

2.使用場(chǎng)景

下面是一張關(guān)于美食的截圖，可以留意到這是一個(gè)html網(wǎng)頁(yè)，當(dāng)我們想要抓取里面的數(shù)據(jù)的時(shí)候，jsoup就能幫到我們很多。

接下來(lái)開(kāi)始手把手教學(xué)

首先，也是很重要的一步，就是下載jar包，丟到libs里面

jar包下載地址：http://jsoup.org/download

Android studio玩家可以不下載jar包,在Gradle里面加入

dependencies {
  compile 'org.jsoup:jsoup:1.9.2'
}

然后，找到你心儀的網(wǎng)頁(yè)去抓取數(shù)據(jù)

這里我們我繼續(xù)使用美食的網(wǎng)頁(yè)，然后右鍵查看網(wǎng)頁(yè)源碼，或者按F12，接下來(lái)可以看到一大堆標(biāo)簽：

找到需要的，例如上圖這個(gè) “美食天下” ，可以看到 “美食天下” 是放在以 <div class="top-bar" id="J_top_bar"> 為節(jié)點(diǎn)的 <a title="美食天下" 中，要獲取這個(gè)“美食天下”，代碼可以這樣寫(xiě):

try {  
  //從一個(gè)URL加載一個(gè)Document對(duì)象。
  Document doc = Jsoup.connect("http://home.meishichina.com/show-top-type-recipe.html").get();
  //選擇“美食天下”所在節(jié)點(diǎn)
  Elements elements = doc.select("div.top-bar");  
  //打印 <a>標(biāo)簽里面的title
  Log.i("mytag",elements.select("a").attr("title"));
}catch(Exception e) {  
  Log.i("mytag", e.toString());
}

接下來(lái)看一下打印出來(lái)的結(jié)果：

Jsoup.connect(String url)方法從一個(gè)URL加載一個(gè)Document對(duì)象。如果從該URL獲取HTML時(shí)發(fā)生錯(cuò)誤，便會(huì)拋出 IOException，應(yīng)適當(dāng)處理。

一旦擁有了一個(gè)Document，你就可以使用Document中適當(dāng)?shù)姆椒ɑ蛩割?Element和Node中的方法來(lái)取得相關(guān)數(shù)據(jù)。

public class Element extends Node
public class Document extends Element

很多文章都是說(shuō)一大堆原理然后放出一個(gè)簡(jiǎn)單的例子，就跟我上面簡(jiǎn)單的打了一個(gè)log一樣，然后發(fā)現(xiàn)用起來(lái)的時(shí)候是沒(méi)那么簡(jiǎn)單的。為了大家能不看文檔也可以直接使用(并且看不懂那一大堆標(biāo)簽也可以用)，我決定再舉一個(gè)例子(其實(shí)也就是比上面多打幾個(gè)log)：

下圖紅色框框是我們要獲取的數(shù)據(jù)，可以看到他們對(duì)應(yīng)的節(jié)點(diǎn)就是藍(lán)色圓圈里面的<div class="xxx">

廢話不多說(shuō)上代碼

try {  
  //還是一樣先從一個(gè)URL加載一個(gè)Document對(duì)象。
  Document doc = Jsoup.connect("http://home.meishichina.com/show-top-type-recipe.html").get();

  //“椒麻雞”和它對(duì)應(yīng)的圖片都在<div class="pic">中
  Elements titleAndPic = doc.select("div.pic");
  //使用Element.select(String selector)查找元素，使用Node.attr(String key)方法取得一個(gè)屬性的值
  Log.i("mytag", "title:" + titleAndPic.get(1).select("a").attr("title") + "pic:" + titleAndPic.get(1).select("a").select("img").attr("data-src"));

  //所需鏈接在<div class="detail">中的<a>標(biāo)簽里面
  Elements url = doc.select("div.detail").select("a");
  Log.i("mytag", "url:" + url.get(i).attr("href"));

  //原料在<p class="subcontent">中
  Elements burden = doc.select("p.subcontent");
  //對(duì)于一個(gè)元素中的文本，可以使用Element.text()方法
  Log.i("mytag", "burden:" + burden.get(1).text());

}catch(Exception e) {  
  Log.i("mytag", e.toString());
}

大功告成，接下來(lái)看看log

沒(méi)有問(wèn)題！那么教學(xué)可以結(jié)束了！

注意：

Jsoup.connect(String url)方法不能運(yùn)行在主線程，否則會(huì)報(bào)NetworkOnMainThreadException

最后上一張應(yīng)用在項(xiàng)目的效果圖：

有沒(méi)有發(fā)現(xiàn)熟悉的椒麻雞？很酷炫有木有！

小結(jié)

整堂課分幾步:

1.下載jar包并丟到libs(或者在gradle)

2.找到心儀的網(wǎng)頁(yè)

3.用Jsoup.connect()獲取網(wǎng)頁(yè)的document

4.查看網(wǎng)頁(yè)源碼，對(duì)準(zhǔn)你想要的地方，給他來(lái)一個(gè)Element.select(String selector)

5.用Node.attr(String key)或者Element.text()方法把數(shù)據(jù)抽出來(lái)

6.沒(méi)有6了就是這么簡(jiǎn)單！

以上就是本文的全部?jī)?nèi)容，希望對(duì)大家的學(xué)習(xí)有所幫助，也希望大家多多支持腳本之家。