异步任务模块

ooowl
  • 系统设计
  • 系统设计
  • 异步任务中心
About 1 min

异步任务模块

概述

异步任务执行中心也是一个常见的模块,不同规模的设计也不太一样,这里我参考的是大搜车的,但是他们是分布式大的任务中心,我是按照单体做的缩减了一些东西,但是可以提供一个思路。

  • 任务持久化,使用redis作为存储中间件
  • 集成fastapi,使用APScheduler
  • 可以动态地添加执行器
  • 合理的任务分配负载
  • 重试机制,超时机制,可以自己配置超时时间和重试次数
  • 日志格式规定
  • 状态管理,规定状态码空间
  • 幂等性支持
  • 任务唯一ID支持
  • 任务状态管理,提供管理后台
  • 屏蔽掉实现细节,API友好
  • 代码执行错误上报,任务执行错误打到日志里

FastAPI如何集成celery实现定时任务和异步任务并且使用docker-compose部署 - JentZhang - 博客园open in new window

新系统设计(五) Design Task Scheduler_哔哩哔哩_bilibiliopen in new window

Loading...