PHP CURL獲取cookies模擬登錄的方法
更新時(shí)間：2013年11月04日 15:41:16 作者：
利用PHP的curl函數(shù)實(shí)現(xiàn)模擬登錄的方法。
要提取google搜索的部分?jǐn)?shù)據(jù)，發(fā)現(xiàn)google對(duì)于軟件抓取它的數(shù)據(jù)屏蔽的厲害，以前偽造下 USER-AGENT 就可以抓數(shù)據(jù)，但是現(xiàn)在卻不行了。利用抓包數(shù)據(jù)發(fā)現(xiàn)，Google 判斷了 cookies，當(dāng)你沒有cookies的時(shí)候，直接返回 302 跳轉(zhuǎn)，而且是連續(xù)幾十個(gè)302跳轉(zhuǎn)，根本抓不了數(shù)據(jù)。
因此，在發(fā)送搜索命令時(shí)，需要先提取 cookies 并保存，然后利用保存下來的這個(gè)cookies再次發(fā)送搜索命令即可正常抓數(shù)據(jù)了。這其實(shí)和論壇的模擬登錄一個(gè)道理，先POST登錄，獲取cookies并保存，然后利用這個(gè)cookies訪問就可以了。
PHP 代碼如下：
<?php
header('Content-Type: text/html; charset=utf-8');
$cookie_file = dirname(__FILE__).'/cookie.txt';
//$cookie_file = tempnam("tmp","cookie");
//先獲取cookies并保存
$url = "http://www.google.com.hk";
$ch = curl_init($url); //初始化
curl_setopt($ch, CURLOPT_HEADER, 0); //不返回header部分
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); //返回字符串，而非直接輸出
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file); //存儲(chǔ)cookies
curl_exec($ch);
curl_close($ch);
//使用上面保存的cookies再次訪問
$url = "http://www.google.com.hk/search?oe=utf8&ie=utf8&source=uds&hl=zh-CN&q=qq";
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file); //使用上面獲取的cookies
$response = curl_exec($ch);
curl_close($ch);
echo $response;
?>
因此，在發(fā)送搜索命令時(shí)，需要先提取 cookies 并保存，然后利用保存下來的這個(gè)cookies再次發(fā)送搜索命令即可正常抓數(shù)據(jù)了。這其實(shí)和論壇的模擬登錄一個(gè)道理，先POST登錄，獲取cookies并保存，然后利用這個(gè)cookies訪問就可以了。
PHP 代碼如下：
復(fù)制代碼 代碼如下:
<?php
header('Content-Type: text/html; charset=utf-8');
$cookie_file = dirname(__FILE__).'/cookie.txt';
//$cookie_file = tempnam("tmp","cookie");
//先獲取cookies并保存
$url = "http://www.google.com.hk";
$ch = curl_init($url); //初始化
curl_setopt($ch, CURLOPT_HEADER, 0); //不返回header部分
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); //返回字符串，而非直接輸出
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file); //存儲(chǔ)cookies
curl_exec($ch);
curl_close($ch);
//使用上面保存的cookies再次訪問
$url = "http://www.google.com.hk/search?oe=utf8&ie=utf8&source=uds&hl=zh-CN&q=qq";
$ch = curl_init($url);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file); //使用上面獲取的cookies
$response = curl_exec($ch);
curl_close($ch);
echo $response;
?>
相關(guān)文章
今天小編就為大家分享一篇PHP調(diào)用接口API封裝的例子，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-10-10
Django中datetime的處理方法(strftime/strptime)
這篇文章主要介紹了Django中datetime的處理方式(strftime/strptime),本文給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2018-07-07
thinkphp3查詢mssql數(shù)據(jù)庫亂碼解決方法分享
這篇文章主要介紹了thinkphp3查詢mssql數(shù)據(jù)庫亂碼解決方法,需要的朋友可以參考下2014-02-02
VSCode+PHPstudy配置PHP開發(fā)環(huán)境的步驟詳解
這篇文章主要介紹了VSCode+PHPstudy配置PHP開發(fā)環(huán)境,本文分步驟給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-08-08
php版微信公眾賬號(hào)第三方管理工具開發(fā)簡明教程
這篇文章主要介紹了php版微信公眾賬號(hào)第三方管理工具開發(fā)方法,結(jié)合實(shí)例形式分析了php基于curl參數(shù)傳遞實(shí)現(xiàn)第三方管理功能的相關(guān)操作技巧與注意事項(xiàng),需要的朋友可以參考下2016-09-09
discuz摘出來的php分頁函數(shù)multi()，大家以后也可以從discuz來獲取各種比較好的函數(shù)了，學(xué)習(xí)要注意借鑒。2009-06-06
PHP上傳目錄禁止執(zhí)行php文件實(shí)例講解
這篇文章主要介紹了PHP上傳目錄禁止執(zhí)行php文件實(shí)例講解，這個(gè)是比較實(shí)用的防止惡意攻擊的方法，有需要的同學(xué)可以學(xué)習(xí)下2021-03-03
這篇文章主要介紹了PHP+AJAX 投票器功能，本文通過一個(gè)實(shí)例代碼給大家介紹的非常詳細(xì)，需要的朋友參考下2017-11-11
Laravel接收前端ajax傳來的數(shù)據(jù)的實(shí)例代碼
本篇文章主要介紹了Laravel接收前端ajax傳來的數(shù)據(jù)的實(shí)例代碼，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下。2017-07-07
php項(xiàng)目中百度 UEditor 簡單安裝調(diào)試和調(diào)用
這篇文章主要介紹了php項(xiàng)目中百度 UEditor 簡單安裝調(diào)試和調(diào)用的相關(guān)資料,需要的朋友可以參考下2015-07-07