自己寫(xiě)的php curl庫(kù)實(shí)現(xiàn)整站克隆功能
有時(shí)候經(jīng)常會(huì)用到一些在線手冊(cè)，比如國(guó)內(nèi)或國(guó)外的，有些是訪問(wèn)速度慢，有些是作者直接吧網(wǎng)站關(guān)閉了，有些是服務(wù)器總是宕機(jī)，所以還是全盤(pán)克隆到自己服務(wù)器比較爽。
庫(kù)特點(diǎn)：
給定一初始連接，初始鏈接以下的層級(jí)所有文件會(huì)拷貝到本地。
多次克隆可以配置是否覆蓋。
可以配置是否下載圖片。
所有鏈接替換為相對(duì)鏈接，所以可以隨便rewrite。
絕對(duì)不會(huì)出現(xiàn)文件覆蓋等問(wèn)題。
最NB的特點(diǎn)是，沒(méi)有比這更NB的庫(kù)了。
SVN：http://svn.phpdr.net/repos/ares/php/library/trunk/lib/CurlMulti/MyCurl/Clone.php
腳本之家下載：http://xiazai.jb51.net/201502/other/CurlMulti.rar
克隆結(jié)果展示(這個(gè)克隆操作幾秒鐘就完成了)：
克隆源網(wǎng)站：http://www.laruence.com/manual/
克隆結(jié)果：http://manual.phpdr.net/yaf/
Demo代碼：
<?php
class Controller_Spider extends MyYaf_Controller_Base{
function init(){
parent::init();
if(!$this->getRequest()->isCli()){
Ares_Http::error403();
}
include 'CurlMulti/CurlMulti.php';
include 'CurlMulti/MyCurl.php';
include 'phpQuery.php';
}
}
<?php
class YafdocController extends Controller_Spider {
function init() {
parent::init ();
include 'CurlMulti/MyCurl/Clone.php';
}
function indexAction() {
$url = 'http://www.laruence.com/manual';
$dir = Yaf_Application::app ()->getAppDirectory () . '/data/manual';
$cacheDir = $this->getBaseDir () . '/cache/curl';
if (! is_dir ( $cacheDir )) {
mkdir ( $cacheDir );
}
$curl = new CurlMulti ();
$curl->maxThread = 10;
$curl->cache ['enable'] = true;
$curl->cache ['enableDownload'] = true;
$curl->cache ['dir'] = $cacheDir;
$curl->cache ['compress'] = true;
$clone = new MyCurl_Clone ( $curl, $url, $dir );
$clone->overwrite = true;
$clone->start ();
return false;
}
}
相關(guān)文章
Laravel (Lumen) 解決JWT-Auth刷新token的問(wèn)題
今天小編就為大家分享一篇Laravel (Lumen) 解決JWT-Auth刷新token的問(wèn)題，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過(guò)來(lái)看看吧2019-10-10
php smarty truncate UTF8亂碼問(wèn)題解決辦法
這篇文章主要介紹了php smarty truncate UTF8亂碼問(wèn)題解決辦法,需要的朋友可以參考下2014-06-06
PHP數(shù)組內(nèi)存利用率低和弱類型詳細(xì)解讀
本篇文章主要介紹了PHP數(shù)組內(nèi)存利用率低和弱類型詳細(xì)解讀，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下。2017-08-08
一般mysql數(shù)據(jù)庫(kù)中存儲(chǔ)時(shí)間都是使用的Unix時(shí)間戳，那么我們顯示時(shí)間的時(shí)候如果更加的友好呢，今天就給大家分享3個(gè)封裝好的格式化函數(shù)，有需要的小伙伴可以參考下2016-12-12
這篇文章主要介紹了phpStorm+XDebug+chrome 配置詳解，文中通過(guò)示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來(lái)一起學(xué)習(xí)學(xué)習(xí)吧2019-04-04
Thinkphp5.0自動(dòng)生成模塊及目錄的方法詳解
這篇文章主要介紹了Thinkphp5.0自動(dòng)生成模塊及目錄的方法,簡(jiǎn)單分析了Thinkphp5.0的結(jié)構(gòu)、目錄、創(chuàng)建與運(yùn)行方法,需要的朋友可以參考下2017-04-04
Gulp 是一個(gè)自動(dòng)化工具，前端開(kāi)發(fā)者可以使用它來(lái)處理常見(jiàn)任務(wù)，下面這篇文章主要給大家介紹了關(guān)于Laravel利用gulp如何構(gòu)建前端資源的相關(guān)資料，文中通過(guò)示例代碼介紹的非常詳細(xì)，需要的朋友可以參考借鑒，下面來(lái)一起看看吧2018-06-06
這篇文章主要介紹了CodeIgniter CLI模式,需要的朋友可以參考下2014-06-06
PHP 構(gòu)造函數(shù)和析構(gòu)函數(shù)原理與用法分析
這篇文章主要介紹了PHP 構(gòu)造函數(shù)和析構(gòu)函數(shù)原理與用法,結(jié)合具體實(shí)例形式分析了PHP 構(gòu)造函數(shù)和析構(gòu)函數(shù)基本概念、功能、原理、用法及相關(guān)操作注意事項(xiàng),需要的朋友可以參考下2020-04-04
ThinkPHP之用戶注冊(cè)登錄留言完整實(shí)例
這篇文章主要介紹了ThinkPHP之用戶注冊(cè)登錄留言完整實(shí)例,有助于詳細(xì)了解ThinkPHP的運(yùn)作流程,需要的朋友可以參考下2014-07-07