php使用QueryList輕松采集js動(dòng)態(tài)渲染頁(yè)面方法
QueryList使用jQuery的方式來(lái)做采集,擁有豐富的插件。下面來(lái)演示QueryList使用PhantomJS插件抓取JS動(dòng)態(tài)創(chuàng)建的頁(yè)面內(nèi)容。
一、安裝
使用Composer安裝:
1.安裝QueryList
composer require jaeger/querylist
GitHub: https://github.com/jae-jae/QueryList
2.安裝PhantomJS插件
composer require jaeger/querylist-phantomjs
GitHub: https://github.com/jae-jae/QueryList-PhantomJS
二、下載PhantomJS二進(jìn)制文件
PhantomJS官網(wǎng):http://phantomjs.org ,下載對(duì)應(yīng)平臺(tái)的PhantomJS二進(jìn)制文件。
三、插件API
QueryList browser($url,$debug = false,$commandOpt = []):使用瀏覽器打開(kāi)連接
四、使用
以采集「今日頭條」手機(jī)版為例,「今日頭條」手機(jī)版基于React框架,內(nèi)容是純動(dòng)態(tài)渲染出來(lái)的。
下面演示QueryList的PhantomJs插件用法:
1.安裝插件
use QL\QueryList; use QL\Ext\PhantomJs; $ql = QueryList::getInstance(); // 安裝時(shí)需要設(shè)置PhantomJS二進(jìn)制文件路徑 $ql->use(PhantomJs::class,'/usr/local/bin/phantomjs'); //or Custom function name $ql->use(PhantomJs::class,'/usr/local/bin/phantomjs','browser');
2.Example-1
獲取動(dòng)態(tài)渲染的HTML:
$html = $ql->browser('https://m.toutiao.com')->getHtml();
print_r($html);
獲取所有p標(biāo)簽文本內(nèi)容:
$data = $ql->browser('https://m.toutiao.com')->find('p')->texts();
print_r($data->all());
輸出:
Array(
[0] => 自拍模式開(kāi)啟!國(guó)慶假期我和國(guó)旗合個(gè)影
[1] => 你旅途已開(kāi)始 他們?nèi)栽谧约旱膷徫簧蠟槟愕募倨诒q{護(hù)航
[2] => 喜極而泣,都教授終于回到地球了! //....)
使用http代理:
// 更多選項(xiàng)可以查看文檔:
http://phantomjs.org/api/command-line.html
$ql->browser('https://m.toutiao.com',true,[
// 使用http代理
'--proxy' => '192.168.1.42:8080', '--proxy-type' => 'http'
])
3.Example-2
自定義一個(gè)復(fù)雜的請(qǐng)求:
$data = $ql->browser(function (\JonnyW\PhantomJs\Http\RequestInterface $r){
$r->setMethod('GET');
$r->setUrl('https://m.toutiao.com');
$r->setTimeout(10000); // 10 seconds
$r->setDelay(3); // 3 seconds
return $r;
})->find('p')->texts();
print_r($data->all());
開(kāi)啟debug模式,并從本地加載cookie文件:
$data = $ql->browser(function (\JonnyW\PhantomJs\Http\RequestInterface $r){
$r->setMethod('GET');
$r->setUrl('https://m.toutiao.com');
$r->setTimeout(10000); // 10 seconds
$r->setDelay(3); // 3 seconds
return $r;
},true,[
'--cookies-file' => '/path/to/cookies.txt'
])->rules([
'title' => ['p','text'],
'link' => ['a','href']
])->query()->getData();
print_r($data->all());
相關(guān)文章
php設(shè)計(jì)模式 Template (模板模式)
定義一個(gè)操作中的算法骨架,而將一些步驟延遲到子類(lèi)中,使得子類(lèi)可以不改變一個(gè)算法的結(jié)構(gòu)可以定義該算法的某些特定步驟2011-06-06
PHP實(shí)現(xiàn)手機(jī)號(hào)碼中間四位用星號(hào)(*)隱藏的自定義函數(shù)分享
這篇文章主要介紹了PHP實(shí)現(xiàn)手機(jī)號(hào)碼中間四位用星號(hào)(*)隱藏的自定義函數(shù)分享,這是一個(gè)比較常用的功能,需要的朋友可以參考下2014-09-09
PHP函數(shù)extension_loaded()用法實(shí)例
這篇文章主要介紹了PHP函數(shù)extension_loaded()用法,實(shí)例分析了函數(shù)extension_loaded()檢查一個(gè)擴(kuò)展是否已經(jīng)加載的具體用法,并補(bǔ)充說(shuō)明了查看本機(jī)已加載php擴(kuò)展的方法,需要的朋友可以參考下2015-01-01
PHP進(jìn)制轉(zhuǎn)換實(shí)例分析(2,8,16,36,64進(jìn)制至10進(jìn)制相互轉(zhuǎn)換)
這篇文章主要介紹了PHP進(jìn)制轉(zhuǎn)換,結(jié)合具體實(shí)例形式分析了2,8,16,36,64進(jìn)制至10進(jìn)制相互轉(zhuǎn)換實(shí)現(xiàn)技巧,具有一定參考借鑒價(jià)值,需要的朋友可以參考下2017-02-02
PHP使用三種方法實(shí)現(xiàn)數(shù)據(jù)采集
這篇文章主要介紹了PHP使用三種方法實(shí)現(xiàn)數(shù)據(jù)采集,對(duì)數(shù)據(jù)采集感興趣的同學(xué),可以參考下2021-04-04
PHP實(shí)現(xiàn)數(shù)據(jù)庫(kù)統(tǒng)計(jì)時(shí)間戳按天分組輸出數(shù)據(jù)的方法
這篇文章主要介紹了PHP實(shí)現(xiàn)數(shù)據(jù)庫(kù)統(tǒng)計(jì)時(shí)間戳按天分組輸出數(shù)據(jù)的方法,涉及php基于時(shí)間的運(yùn)算與數(shù)據(jù)庫(kù)查詢(xún)相關(guān)操作技巧,需要的朋友可以參考下2017-10-10

