接下來就是各個(gè)部分的獲取工作了。

先看下標(biāo)題：

正則把握住那個(gè)class即可，正則語句可以寫成：zm-editable-content\">(.+?)<

運(yùn)行下看看結(jié)果：

哎喲不錯(cuò)哦。

接下來抓取問題描述：

啊哈一樣的原理，抓住class，因?yàn)樗鼞?yīng)該是這個(gè)的唯一標(biāo)識(shí)。

驗(yàn)證方法：右擊查看頁面源代碼，ctrl+F看看頁面中有沒有其他的這個(gè)字符串。

后來經(jīng)過驗(yàn)證，還真出了問題：

標(biāo)題和描述內(nèi)容前面的class是一樣的。

那只能通過修改正則的方式來重新抓?。?/p>

// 匹配標(biāo)題
   pattern = Pattern.compile("zh-question-title.+?<h2.+?>(.+?)</h2>");
   matcher = pattern.matcher(content);
   if (matcher.find()) {
    question = matcher.group(1);
   }
   // 匹配描述
   pattern = Pattern
     .compile("zh-question-detail.+?<div.+?>(.*?)</div>");
   matcher = pattern.matcher(content);
   if (matcher.find()) {
    questionDescription = matcher.group(1);
   }

最后就是循環(huán)抓取答案了：

初步暫定正則語句：/answer/content.+?<div.+?>(.*?)</div>

改下代碼之后我們會(huì)發(fā)現(xiàn)軟件運(yùn)行的速度明顯變慢了，因?yàn)樗枰L問每個(gè)網(wǎng)頁并且把上面的內(nèi)容抓下來。

比如說編輯推薦有20個(gè)問題，那么就需要訪問網(wǎng)頁20次，速度也就慢下來了。

試驗(yàn)一下，看上去效果不錯(cuò)：

OK，那就先這樣好了~下次繼續(xù)進(jìn)行一些細(xì)節(jié)的調(diào)整，比如多線程，IO流寫入本地等等。

附項(xiàng)目源碼：

Zhihu.java

Spider.java

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
public class Spider {
 static String SendGet(String url) {
  // 定義一個(gè)字符串用來存儲(chǔ)網(wǎng)頁內(nèi)容
  String result = "";
  // 定義一個(gè)緩沖字符輸入流
  BufferedReader in = null;
  try {
   // 將string轉(zhuǎn)成url對(duì)象
   URL realUrl = new URL(url);
   // 初始化一個(gè)鏈接到那個(gè)url的連接
   URLConnection connection = realUrl.openConnection();
   // 開始實(shí)際的連接
   connection.connect();
   // 初始化 BufferedReader輸入流來讀取URL的響應(yīng)
   in = new BufferedReader(new InputStreamReader(
     connection.getInputStream(), "UTF-8"));
   // 用來臨時(shí)存儲(chǔ)抓取到的每一行的數(shù)據(jù)
   String line;
   while ((line = in.readLine()) != null) {
    // 遍歷抓取到的每一行并將其存儲(chǔ)到result里面
    result += line;
   }
  } catch (Exception e) {
   System.out.println("發(fā)送GET請(qǐng)求出現(xiàn)異常！" + e);
   e.printStackTrace();
  }
  // 使用finally來關(guān)閉輸入流
  finally {
   try {
    if (in != null) {
     in.close();
    }
   } catch (Exception e2) {
    e2.printStackTrace();
   }
  }
  return result;
 }
 // 獲取所有的編輯推薦的知乎內(nèi)容
 static ArrayList<Zhihu> GetRecommendations(String content) {
  // 預(yù)定義一個(gè)ArrayList來存儲(chǔ)結(jié)果
  ArrayList<Zhihu> results = new ArrayList<Zhihu>();
  // 用來匹配url，也就是問題的鏈接
  Pattern pattern = Pattern
    .compile("<h2>.+?question_link.+?href=\"(.+?)\".+?</h2>");
  Matcher matcher = pattern.matcher(content);
  // 是否存在匹配成功的對(duì)象
  Boolean isFind = matcher.find();
  while (isFind) {
   // 定義一個(gè)知乎對(duì)象來存儲(chǔ)抓取到的信息
   Zhihu zhihuTemp = new Zhihu(matcher.group(1));
   // 添加成功匹配的結(jié)果
   results.add(zhihuTemp);
   // 繼續(xù)查找下一個(gè)匹配對(duì)象
   isFind = matcher.find();
  }
  return results;
 }
}

Main.java

以上就是抓取知乎答案的全部記錄，非常的詳盡，有需要的朋友可以參考下