Python調(diào)用API的常用方式解析
一、引言
在數(shù)據(jù)開發(fā)中,調(diào)用API是連接外部服務、獲取數(shù)據(jù)或?qū)崿F(xiàn)系統(tǒng)集成的核心方式之一。
最近由于阿里云ODPS安全限制問題,處理了一批API調(diào)用的任務,所以從原理、案例和優(yōu)缺點等維度,寫一寫python調(diào)用API的常用方式介紹。
二、常用方式介紹
Python調(diào)用API的主要方法可分為以下四類,每種方式的特點和適用場景有些許差異:
| 方法 | 原理 | 適用場景 |
|---|---|---|
| requests | 基于HTTP的第三方庫,封裝GET/POST等請求方法,提供簡潔的API調(diào)用接口。 | 常規(guī)HTTP請求、快速開發(fā)、數(shù)據(jù)交互 |
| http.client | Python內(nèi)置HTTP庫,需手動構(gòu)建請求頭和報文,精細控制請求的場景。 | 低層級操作、兼容性要求高 |
| urllib | 標準庫模塊,包含urllib.request等子模塊,基礎(chǔ)核心。 | 簡單請求、無需依賴第三方庫的場景 |
| aiohttp | 基于異步IO的HTTP庫,通過協(xié)程實現(xiàn)非阻塞請求,適用高并發(fā)場景。 | 異步編程、高并發(fā)API調(diào)用 |
三、實現(xiàn)與案例
1.requests
- ?原理?:通過封裝HTTP請求方法,簡化參數(shù)傳遞和響應處理,自動處理URL編碼、連接池管理和響應解析,支持JSON解析、Session會話、文件上傳等功能。
- 優(yōu)點?:代碼簡潔、功能全面
- 缺點?:請求IO密集型場景效率較低
import requests
def get_github_user(username):
"""
使用requests庫調(diào)用GitHub API獲取用戶信息
"""
# 構(gòu)造API請求
url = f"https://api.github.com/users/{username}"
try:
# 發(fā)送GET請求(自動處理連接和關(guān)閉)
response = requests.get(url, timeout=5)
# 檢查HTTP狀態(tài)碼
if response.status_code == 200:
# 解析JSON響應數(shù)據(jù)
user_data = response.json()
return {
"name": user_data.get("name"),
"location": user_data.get("location"),
"public_repos": user_data.get("public_repos")
}
else:
print(f"請求失敗,狀態(tài)碼:{response.status_code}")
except requests.exceptions.RequestException as e:
print(f"請求異常:{str(e)}")
# 調(diào)用示例
if __name__ == "__main__":
print(get_github_user("octocat")) # GitHub官方測試賬號
2.http.client
- 原理?:內(nèi)置的底層HTTP客戶端庫,手動管理連接生命周期和報文頭構(gòu)造,適合需要精細控制HTTP協(xié)議的場景
- 優(yōu)點?:直接可用、細粒度控制
- 缺點?:代碼冗長、需手動處理編碼和連接
import http.client
import json
def get_httpbin_data():
"""
使用http.client獲取httpbin測試數(shù)據(jù)
"""
# 創(chuàng)建對象
conn = http.client.HTTPSConnection("httpbin.org")
try:
# 發(fā)送GET請求
conn.request("GET", "/get")
# 獲取響應對象
response = conn.getresponse()
# 讀取響應體并解碼
data = response.read().decode('utf-8')
# 解析JSON數(shù)據(jù)
return json.loads(data)
except Exception as e:
print(f"請求異常:{str(e)}")
finally:
# 必須手動關(guān)閉連接
conn.close()
# 調(diào)用示例
if __name__ == "__main__":
print(get_httpbin_data())
3.urllib(輕量級方案)
- 原理?:復合型HTTP工具,集成request/error/parse等模塊,適合簡單請求和無需依賴的環(huán)境
- 優(yōu)點?:輕量級
- 缺點?:接口設計分散、缺少高級功能
from urllib.request import urlopen
import json
def get_user_agent():
"""
使用urllib獲取客戶端UA信息
"""
url = "http://httpbin.org/user-agent"
try:
# 打開連接,自動處理HTTP/HTTPS
with urlopen(url, timeout=5) as response:
# 讀取并解析JSON數(shù)據(jù)
return json.loads(response.read().decode())
except Exception as e:
print(f"請求異常:{str(e)}")
# 調(diào)用示例
if __name__ == "__main__":
print(get_user_agent())
4.aiohttp(異步方案)
- 原理?:基于asyncio的異步HTTP客戶端,使用協(xié)程實現(xiàn)非阻塞IO操作,適合高并發(fā)場景(如爬蟲、實時系統(tǒng))
- ?優(yōu)點?:高吞吐量、資源利用率高
- 缺點?:需要異步編程知識、調(diào)試復雜度高
import aiohttp
import asyncio
async def fetch_concurrent_data():
"""
使用aiohttp并發(fā)獲取多個API數(shù)據(jù)
"""
urls = [
"https://jsonplaceholder.typicode.com/posts/1",
"https://jsonplaceholder.typicode.com/comments/1"
]
# 創(chuàng)建共享會話(自動管理連接池)
async with aiohttp.ClientSession() as session:
tasks = []
for url in urls:
# 創(chuàng)建并發(fā)任務
task = asyncio.create_task(
session.get(url, timeout=aiohttp.ClientTimeout(total=3))
)
tasks.append(task)
# 等待所有任務完成
responses = await asyncio.gather(*tasks)
results = []
for response in responses:
# 檢查響應狀態(tài)
if response.status == 200:
data = await response.json()
results.append(data)
return results
# 調(diào)用示例
if __name__ == "__main__":
print(asyncio.run(fetch_concurrent_data()))
四、總結(jié)對比
| 方法 | 適用場景 | 性能表現(xiàn) | 難度 |
|---|---|---|---|
| requests | 常規(guī)REST API調(diào)用 | ★★★★☆ | 簡單 |
| http.client | 底層協(xié)議控制 | ★★☆☆☆ | 中等 |
| urllib | 簡單請求/無依賴環(huán)境 | ★★★☆☆ | 簡單 |
| aiohttp | 高并發(fā)/異步任務 | ★★★★★ | 復雜 |
到此這篇關(guān)于Python調(diào)用API的常用方式解析的文章就介紹到這了,更多相關(guān)Python調(diào)用API方式內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家!
相關(guān)文章
python光學仿真面向?qū)ο蠊鈱W元件類的實現(xiàn)
這篇文章主要為大家介紹了python光學仿真面向?qū)ο蠊鈱W元件類的實現(xiàn)示例解析,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進步2021-10-10
Python 如何將integer轉(zhuǎn)化為羅馬數(shù)(3999以內(nèi))
這篇文章主要介紹了Python 將integer轉(zhuǎn)化為羅馬數(shù)(3999以內(nèi))的操作,具有很好的參考價值,希望對大家有所幫助。如有錯誤或未考慮完全的地方,望不吝賜教2021-06-06
django框架基于queryset和雙下劃線的跨表查詢操作詳解
這篇文章主要介紹了django框架基于queryset和雙下劃線的跨表查詢操作,結(jié)合實例形式詳細分析了Django框架queryset和雙下劃線的跨表查詢相關(guān)實現(xiàn)技巧與操作注意事項,需要的朋友可以參考下2019-12-12
python計算數(shù)字或者數(shù)組的階乘的實現(xiàn)
本文主要介紹了python計算數(shù)字或者數(shù)組的階乘,文中通過示例代碼介紹的非常詳細,具有一定的參考價值,感興趣的小伙伴們可以參考一下2021-08-08

