php實現(xiàn)遞歸抓取網(wǎng)頁類實例

更新時間：2015年04月03日 12:20:50 作者：pythoner

這篇文章主要介紹了php實現(xiàn)遞歸抓取網(wǎng)頁類,實例分析了php遞歸操作及網(wǎng)頁抓取的技巧,非常具有實用價值,需要的朋友可以參考下

本文實例講述了php實現(xiàn)遞歸抓取網(wǎng)頁類的方法。分享給大家供大家參考。具體如下：

<?php
class crawler{
 private $_depth=5;
 private $_urls=array();
 function extract_links($url)
 {
  if(!$this->_started){
   $this->_started=1;
   $curr_depth=0;
  }else{
   $curr_depth++;
  }
  if($curr_depth<$this->_depth)
  {
   $data=file_get_contents($url);
   if(preg_match_all('/((?:http|https)://(?:www.)*(?:[a-zA-Z0-9_-]{1,15}.+[a-zA-Z0-9_]{1,}){1,}(?:[a-zA-Z0-9_/.-?&:%,!;]*))/',$data,$urls12))
   {
    foreach($urls12[0] as $k=>$v){
     $check=get_headers($v,1);
     if(strstr($v,$url) && $check[0]=='HTTP/1.1 200 OK' && !array_search($v,$this->_urls) && $curr_depth<$this->_depth){
      $this->_urls[]=$v;
      $this->extract_links($v);
     }
    }
   }
  }
  return $this->_urls;
 }
}
?>

希望本文所述對大家的php程序設計有所幫助。

您可能感興趣的文章:

php json與xml序列化/反序列化
在WEB開發(fā)中，php對象的序列化與反序列化經(jīng)常使用，比較主流的有json格式與xml格式的序列化與反序列化。今天我們就來看看是如何用的。
2013-10-10
php的ajax框架xajax入門與試用介紹
xajax功能很簡單，但很靈活！~它不象其它一些大的框架，功能確實強大，但執(zhí)行速度不敢恭維。。功能雖多，但不夠靈活。api多，學起來簡直如同學習一門新的語言。
2010-12-12
php使用pdo連接并查詢sql數(shù)據(jù)庫的方法
這篇文章主要介紹了php使用pdo連接并查詢sql數(shù)據(jù)庫的方法,實例分析了常用的pdo連接方法與改進方法,并針對pdo技術進行了分析說明,需要的朋友可以參考下
2014-12-12
基于PHP導出Excel的小經(jīng)驗完美解決亂碼問題
本篇文章是對PHP導出Excel亂碼問題的解決方法就行了詳細的分析介紹，需要的朋友參考下
2013-06-06
php實現(xiàn)約瑟夫問題的方法小結
這篇文章主要介紹了php實現(xiàn)約瑟夫問題的方法,實例總結了兩種常見的實現(xiàn)約瑟夫問題的技巧,具有一定參考借鑒價值,需要的朋友可以參考下
2015-03-03
PHP簡單實現(xiàn)定時監(jiān)控nginx日志文件功能示例
這篇文章主要介紹了PHP簡單實現(xiàn)定時監(jiān)控nginx日志文件功能,涉及php定時讀取nginx服務器日志以及基于curl的數(shù)據(jù)傳輸相關操作技巧,需要的朋友可以參考下
2018-06-06
PHP的instanceof詳解及使用方法介紹
php的instanceof是什么意思？instanceof由兩個單詞組成，instance和of，instance表示實例的意思，從字面上就可以理解這是實例引用的意思。instanceof?運算符是?PHP?5?引進的。在此之前用?is_a()，但是?is_a()?已經(jīng)過時了，最好用?instanceof。
2023-05-05
PHP中的替代語法簡介
這篇文章主要介紹了PHP中的替代語法簡介,是PHP程序設計中并不常見卻有重要作用的一個用法,需要的朋友可以參考下
2014-08-08
詳解PHP使用OSS上傳文件
這篇文章主要介紹了PHP使用OSS上傳文件，對OSS感興趣的同學，可以參考并且實驗一下
2021-04-04
Search File Contents PHP 搜索目錄文本內(nèi)容的代碼
這個類可以用來搜索在給定的文本目錄中的文件。它可以給定目錄遍歷遞歸查找某些文件擴展名的文件。
2010-02-02