异步任务模块
异步任务模块
概述
异步任务执行中心也是一个常见的模块，不同规模的设计也不太一样，这里我参考的是大搜车的，但是他们是分布式大的任务中心，我是按照单体做的缩减了一些东西，但是可以提供一个思路。
- 任务持久化，使用redis作为存储中间件
- 集成fastapi，使用APScheduler
- 可以动态地添加执行器
- 合理的任务分配负载
- 重试机制，超时机制，可以自己配置超时时间和重试次数
- 日志格式规定
- 状态管理，规定状态码空间
- 幂等性支持
- 任务唯一ID支持
- 任务状态管理，提供管理后台
- 屏蔽掉实现细节，API友好
- 代码执行错误上报，任务执行错误打到日志里
FastAPI如何集成celery实现定时任务和异步任务并且使用docker-compose部署 - JentZhang - 博客园
Loading...