使用 Celery Once 來防止 Celery 重復執(zhí)行同一個任務
在使用 Celery 的時候發(fā)現(xiàn)有的時候 Celery 會將同一個任務執(zhí)行兩遍，我遇到的情況是相同的任務在不同的 worker 中被分別執(zhí)行，并且時間只相差幾毫秒。這問題我一直以為是自己哪里處理的邏輯有問題，后來發(fā)現(xiàn)其他人 也有類似的問題，然后基本上出問題的都是使用 Redis 作為 Broker 的，而我這邊一方面不想將 Redis 替換掉，就只能在 task 執(zhí)行的時候加分布式鎖了。
不過在 Celery 的 issue 中搜索了一下，有人使用 Redis 實現(xiàn)了分布式鎖，然后也有人使用了 Celery Once。 大致看了一下 Celery Once ，發(fā)現(xiàn)非常符合現(xiàn)在的情況，就用了下。
Celery Once 也是利用 Redis 加鎖來實現(xiàn), Celery Once 在 Task 類基礎上實現(xiàn)了 QueueOnce 類，該類提供了任務去重的功能，所以在使用時，我們自己實現(xiàn)的方法需要將 QueueOnce 設置為 base
@task(base=QueueOnce, once={'graceful': True})
后面的 once 參數(shù)表示，在遇到重復方法時的處理方式，默認 graceful 為 False，那樣 Celery 會拋出 AlreadyQueued 異常，手動設置為 True，則靜默處理。
另外如果要手動設置任務的 key，可以指定 keys 參數(shù)
@celery.task(base=QueueOnce, once={'keys': ['a']})
def slow_add(a, b):
sleep(30)
return a + b
總得來說，分為幾步
第一步，安裝
pip install -U celery_once
第二步，增加配置
from celery import Celery
from celery_once import QueueOnce
from time import sleep
celery = Celery('tasks', broker='amqp://guest@localhost//')
celery.conf.ONCE = {
'backend': 'celery_once.backends.Redis',
'settings': {
'url': 'redis://localhost:6379/0',
'default_timeout': 60 * 60
}
}
第三步，修改 delay 方法
example.delay(10) # 修改為 result = example.apply_async(args=(10))
第四步，修改 task 參數(shù)
@celery.task(base=QueueOnce, once={'graceful': True, keys': ['a']})
def slow_add(a, b):
sleep(30)
return a + b
參考鏈接 https://github.com/cameronmaske/celery-once
到此這篇關于使用 Celery Once 來防止 Celery 重復執(zhí)行同一個任務的文章就介紹到這了,更多相關 Celery 重復執(zhí)行同一個任務內(nèi)容請搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關文章希望大家以后多多支持腳本之家！
相關文章
Python是當今日趨流行的一種腳本語言，它比Java更簡單，比php更強大，并且還適用于做桌面應用的開發(fā)，這篇文章主要介紹了Python基本語法,需要的朋友可以參考下2014-06-06
在VSCode中搭建Python開發(fā)環(huán)境并進行調(diào)試
這篇文章介紹了在VSCode中搭建Python開發(fā)環(huán)境并進行調(diào)試的方法，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2022-06-06
Python是一個非常流行的編程語言，可以用于開發(fā)不同類型的應用程序。其中，上傳文件是一個非常常見的需求。具體而言，我們探討了使用HTTP POST請求上傳單個和多個WAV文件的方法。無論你是需要將音頻文件上傳到云存儲還是服務器，這些方法都能幫助你上傳文件。2023-06-06
這篇文章主要介紹了python加密打包程序,還給大家介紹了Python實現(xiàn)文件簡單加解密的方法，本文通過示例代碼給大家介紹的非常詳細，需要的朋友可以參考下2023-04-04
這篇文章主要介紹了Tensorflow--取tensorf指定列的操作方式，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧2020-06-06
在本篇文章里小編給大家整理的是一篇關于python下載的庫包存放路徑，需要的朋友們可以參考學習下。2020-07-07
python爬蟲之BeautifulSoup 使用select方法詳解
本篇文章主要介紹了python爬蟲之BeautifulSoup 使用select方法詳解，具有一定的參考價值，感興趣的小伙伴們可以參考一下2017-10-10
本文主要講訴了在Linux，Windows，MacOS三大系統(tǒng)中如何安裝Python環(huán)境，非常的實用，雖然前面絮絮叨叨的說了不少題外話，但都是作者的肺腑之言，還是仔細看看吧2014-09-09
這篇文章主要給大家介紹了關于Python利用matplotlib繪制折線圖的相關資料，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-11-11
在實際使用安裝python的pip安裝依賴庫是非常的便捷的,下面這篇文章主要給大家介紹了關于pip安裝路徑修改的詳細方法步驟,文中通過圖文介紹的非常詳細,需要的朋友可以參考下2022-06-06