异步任务模块

• 概述

异步任务模块

概述

异步任务执行中心也是一个常见的模块，不同规模的设计也不太一样，这里我参考的是大搜车的，但是他们是分布式大的任务中心，我是按照单体做的缩减了一些东西，但是可以提供一个思路。

• 任务持久化，使用redis作为存储中间件
• 集成fastapi，使用APScheduler
• 可以动态地添加执行器
• 合理的任务分配负载
• 重试机制，超时机制，可以自己配置超时时间和重试次数
• 日志格式规定
• 状态管理，规定状态码空间
• 幂等性支持
• 任务唯一ID支持
• 任务状态管理，提供管理后台
• 屏蔽掉实现细节，API友好
• 代码执行错误上报，任务执行错误打到日志里

FastAPI如何集成celery实现定时任务和异步任务并且使用docker-compose部署 - JentZhang - 博客园