用Python爬取某乎手機APP數(shù)據(jù)
一、配置抓包工具
1.安裝軟件
本文選擇的抓包工具:Fiddler
具體的下載安裝這里不詳細贅述!(網(wǎng)上搜Fiddler安裝,一大堆教程),本文以實戰(zhàn)為例,就不再這里浪費時間了!
2.配置Fiddler
安裝好之后,接下來就開始配置Fiddler工具(這里是關(guān)鍵,仔細閱讀!)
配置Connections
打開Fiddler后,點擊Tools->Options

點擊Connections

勾選上對應的選項
配置HTTPS
由于目前大部分APP都是https加密,包括本文實戰(zhàn)『某乎』案例也是https加密,因此配置HTTPS,來抓取https數(shù)據(jù)包!

勾選上對應的選項
最后抓包工具Fiddler就配置好了
記得重啟Fiddler!重啟Fiddler!重啟Fiddler!不然可能不生效
二、配置手機代理
1.設置代理
準備工作
首先看一下安裝Fiddler主機ip(電腦和手機必須處于同一局域網(wǎng))
查看ip命令
window:ipconfig

開始配置
目標代理主機信息
ip:192.168.31.195
端口:8888
在wifi無線網(wǎng)處進去,點擊配置代理
填寫好相關(guān)代理信息

2.安裝證書
在瀏覽器輸入:
http://192.168.31.195:8888

點擊下載證書后,下面就開始安裝(看圖操作)




ok,這樣手機端就配置完成,下面開始抓取數(shù)據(jù)?。?!
三、抓取數(shù)據(jù)
1.打開某乎app

2.查看數(shù)據(jù)包列表
打開app之后,F(xiàn)iddler就已經(jīng)抓取到數(shù)據(jù)了

這里可以看到app發(fā)送和接收了哪些數(shù)據(jù)包
為了更加精準定位到某乎(只看目標的數(shù)據(jù)包),添加一個過濾條件

這樣我們獲取的數(shù)據(jù)包列表就都是過濾條件內(nèi)的目標網(wǎng)址

3.查找數(shù)據(jù)包
比如點擊熱榜

對應的https加密數(shù)據(jù)包如下:

數(shù)據(jù)包中的數(shù)據(jù)如下:

提取出url鏈接

https://api.zhihu.com/topstory/hot-list?limit=10&reverse_order=0
拿到url之后,接著開始編程爬取保存數(shù)據(jù)。
4.編寫爬蟲程序
# -*- coding: utf-8 -*-

ok這樣就可以將數(shù)據(jù)獲取下來!
四、總結(jié)
1.配置抓包工具Fiddler(重點)。
2.ios蘋果手機配置證書和設置代理(安卓手機也類似)。
3.簡單使用Fiddler(過濾數(shù)據(jù)包、查看數(shù)據(jù)包等)。
4.本文以某乎為實戰(zhàn),實現(xiàn)了python爬取手機app數(shù)據(jù)
到此這篇關(guān)于用Python爬取某乎手機APP數(shù)據(jù)的文章就介紹到這了,更多相關(guān)Python爬取APP數(shù)據(jù)內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
Pytorch?Conda環(huán)境pack打包遷移報錯的處理方案
這篇文章主要介紹了Pytorch?Conda環(huán)境pack打包遷移報錯的處理方案,文中通過代碼示例和圖文結(jié)合的方式給大家介紹的非常詳細,對大家的學習或工作有一定的幫助,需要的朋友可以參考下2024-07-07
5個Python中實現(xiàn)文字轉(zhuǎn)語音模塊的使用講解
這篇文章主要為大家詳細介紹了5個Python中實現(xiàn)文字轉(zhuǎn)語音模塊的使用,文中的示例代碼講解詳細,對我們深入掌握Python有一定的幫助,需要的可以參考下2023-11-11
詳解python uiautomator2 watcher的使用方法
這篇文章主要介紹了python uiautomator2 watcher的使用方法,該方是基于uiautomator2如下版本進行驗證,本文給大家介紹的非常詳細,需要的朋友可以參考下2019-09-09
Python接口自動化淺析數(shù)據(jù)驅(qū)動原理
這篇文章主要介紹了Python接口自動化淺析數(shù)據(jù)驅(qū)動原理,文中會詳細描述怎樣使用openpyxl模塊操作excel及結(jié)合ddt來實現(xiàn)數(shù)據(jù)驅(qū)動,有需要的朋友可以參考下2021-08-08
Python3 用matplotlib繪制sigmoid函數(shù)的案例
這篇文章主要介紹了Python3 用matplotlib繪制sigmoid函數(shù)的案例,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧2020-12-12

