爬蟲小技巧利用Mitmproxy破解app

更新時(shí)間：2021年09月23日 09:01:58 作者：哆啦安全

不同于Fiddler或Wireshark等抓包工具，mitmproxy不僅可以截獲請(qǐng)求幫助開發(fā)者查看、分析，還可以通過自定義腳本進(jìn)行二次開發(fā)

mitmproxy就是用于MITM的proxy，MITM即中間人攻擊（Man-in-the-middle attack）。用于中間人攻擊的代理首先會(huì)向正常的代理一樣轉(zhuǎn)發(fā)請(qǐng)求，保障服務(wù)端與客戶端的通信，其次會(huì)實(shí)時(shí)查、記錄其截獲的數(shù)據(jù)或篡改數(shù)據(jù)，引發(fā)服務(wù)端或客戶端特定的行為。

利用Fiddler可以過濾出瀏覽器對(duì)某個(gè)特定URL的請(qǐng)求，并查看、分析其數(shù)據(jù)，
但實(shí)現(xiàn)不了高度定制化的需求，類似于：“截獲對(duì)瀏覽器對(duì)該URL的請(qǐng)求，將返回內(nèi)容置空，并將真實(shí)的返回內(nèi)容存到某個(gè)數(shù)據(jù)庫，出現(xiàn)異常時(shí)發(fā)出郵件通知”。而對(duì)于mitmproxy，這樣的需求可以通過載入自定義python腳本輕松實(shí)現(xiàn)。

但mitmproxy并不會(huì)真的對(duì)無辜的人發(fā)起中間人攻擊，由于mitmproxy工作在HTTP層，而當(dāng)前HTTPS的普及讓客戶端擁有了檢測(cè)并規(guī)避中間人攻擊的能力，所以要讓mitmproxy 能夠正常工作，必須要讓客戶端（APP 或?yàn)g覽器）主動(dòng)信任 mitmproxy 的SSL證書，或忽略證書異常，這也就意味著APP或?yàn)g覽器是屬于開發(fā)者本人的——顯而易見，這不是在做黑產(chǎn)，而是在做開發(fā)或測(cè)試。

目前比較廣泛的應(yīng)用是做仿真爬蟲，即利用手機(jī)模擬器、無頭瀏覽器來爬取APP或網(wǎng)站的數(shù)據(jù)，mitmproxy作為代理可以攔截、存儲(chǔ)爬蟲獲取到的數(shù)據(jù)，或修改數(shù)據(jù)調(diào)整爬蟲的行為。

(1)安裝Python2、Python3環(huán)境

(2)App爬蟲神器mitmproxy

Mac/Windows環(huán)境安裝mitmproxy

python3
pip3 install mitmproxy
或者
python2
pip install mitmproxy

(3)按鍵精靈

(4)強(qiáng)制抓包工具postern

https://github.com/postern-overwal/postern-stuff

啟動(dòng)mitmproxy

要啟動(dòng)mitmproxy用mitmproxy、mitmdump、mitmweb這三個(gè)命令中的任意一個(gè)即可，這三個(gè)命令功能一致，且都可以加載自定義腳本，唯一的區(qū)別是交互界面的不同。
mitmproxy命令啟動(dòng)后，會(huì)提供一個(gè)命令行界面，用戶可以實(shí)時(shí)看到發(fā)生的請(qǐng)求，并通過命令過濾請(qǐng)求，查看請(qǐng)求數(shù)據(jù)