詳談python http長連接客戶端

更新時間：2017年06月12日 08:30:39 投稿：jingxian

下面小編就為大家?guī)硪黄斦刾ython http長連接客戶端。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧

背景：

線上機器，需要過濾access日志，發(fā)送給另外一個api

期初是單進程，效率太低，改為多進程發(fā)送后，查看日志中偶爾會出現(xiàn)異常錯誤（忘記截圖了。。。）

總之就是端口不夠用了報錯

原因：

每一條日志都是一次請求發(fā)送給api，短連接產(chǎn)生大量time_wait狀態(tài)，占用了大量端口

這種高并發(fā)導(dǎo)致的大量time_wait狀態(tài)內(nèi)核調(diào)優(yōu)基本是沒用的，后來改為長連接解決問題

第一版短連接版本關(guān)鍵代碼如下

因涉及具體業(yè)務(wù)信息，只貼出了關(guān)鍵部分代碼

import pycurl
where True:
 url=myqueue.get()
 send_msg=pycurl.Curl()
 send_msg.setopt(pycurl.URL,url)
 send_msg.perform()
 print send_msg.getinfo(send_msg.HTTP_CODE)

修改后長連接版本如下：

采用requests庫

import requests
client=requests.session()
headers = {'Content-Type': 'application/json', 'Connection': 'keep-alive'}
where True:
 url=myqueue.get()
 r=client.get(url,headers=headers)
 print r.status_code

以上這篇詳談python http長連接客戶端就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

python神經(jīng)網(wǎng)絡(luò)AlexNet分類模型訓(xùn)練貓狗數(shù)據(jù)集
這篇文章主要為大家介紹了python神經(jīng)網(wǎng)絡(luò)AlexNet分類模型訓(xùn)練貓狗數(shù)據(jù)集，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪
2022-05-05
Pytorch: 自定義網(wǎng)絡(luò)層實例
今天小編就為大家分享一篇Pytorch: 自定義網(wǎng)絡(luò)層實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2020-01-01
Python中property屬性的用處詳解
這篇文章主要給大家介紹了關(guān)于Python中property屬性的相關(guān)資料,需簡單地說就是一個類里面的方法一旦被@property裝飾,就可以像調(diào)用屬性一樣地去調(diào)用這個方法,它能夠簡化調(diào)用者獲取數(shù)據(jù)的流程,而且不用擔(dān)心將屬性暴露出來,有人對其進行賦值操作,下面要的朋友可以參考下
2022-04-04
python使用for...else跳出雙層嵌套循環(huán)的方法實例
這篇文章主要給大家介紹了關(guān)于python使用for...else跳出雙層嵌套循環(huán)的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家學(xué)習(xí)或者使用python具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧
2020-05-05
Python networkx中獲取圖的鄰接矩陣方式
這篇文章主要介紹了Python networkx中獲取圖的鄰接矩陣方式，具有很好的參考價值，希望對大家有所幫助。如有錯誤或未考慮完全的地方，望不吝賜教
2022-12-12
python中print的不換行即時輸出的快速解決方法
下面小編就為大家?guī)硪黄猵ython中print的不換行即時輸出的快速解決方法。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考
2016-07-07
深入了解和應(yīng)用Python 裝飾器 @decorator
在編程過程中，經(jīng)常遇到這樣的場景：登錄校驗，權(quán)限校驗，日志記錄等，這些功能代碼在各個環(huán)節(jié)都可能需要，但又十分雷同，通過裝飾器來抽象、剝離這部分代碼可以很好解決這類場景，這篇文章主要介紹了Python的裝飾器 @decorator，探討了使用的方式，需要的朋友可以參考下
2019-04-04
python列表list保留順序去重的實例
今天小編就為大家分享一篇python列表list保留順序去重的實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-12-12
Python安裝Flask環(huán)境及簡單應(yīng)用示例
這篇文章主要介紹了Python安裝Flask環(huán)境及簡單應(yīng)用,結(jié)合實例形式分析了Flask框架的安裝、以及路由、重定向、cookie等相關(guān)操作實現(xiàn)方法,需要的朋友可以參考下
2019-05-05
Django跨域請求無法傳遞Cookie的解決
這篇文章主要介紹了Django跨域請求無法傳遞Cookie的解決方案，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2021-04-04