跳至主内容
博客

期货行业的 On-call 实践:每周数万条告警如何管理

一家上海期货公司的运维团队每周处理数万条告警。他们的做法包括四项:选用统一平台、建立值班制度、打通 CMDB 元数据、用 MTTA 和 MTTR 持续运营。本文整理自该公司技术专家在 CCF 夜莺论坛上的分享。

Flashduty 支持团队

期货行业的 On-call 实践:每周数万条告警如何管理

期货交易分早盘、夜盘等多个时段,运维人员每周要处理数万条告警。上海一家期货公司把告警响应收拢到一个平台上,做法包括四项:

  1. 选用支持交易日历和邮件告警解析的 On-call 平台。
  2. 设立专职监控岗,建立值班制度。
  3. 打通 CMDB,用元数据补全告警上下文。
  4. 定期用 MTTA 和 MTTR 衡量各团队的值班工作。

本文整理自该公司技术专家宋庆羽在第二届 CCF 夜莺可观测性创新论坛上的分享。

该期货公司是国内首批获得金融期货全面结算业务资格的期货公司,在中国期货业协会分类评价中获得 AA 级。公司提供商品期货经纪、金融期货经纪和资产管理等服务。公司在全国设有 20 余家分公司和 300 余家证券 IB 营业部,多项经营指标连续多年位列行业第一梯队。

期货公司的 On-call 实践概览

期货运维的三个难点

宋庆羽总结了期货行业运维保障的三个特点:

  1. 业务覆盖多家交易所,有早盘、夜盘等多个交易时段。运维需要全程保障,人员需要全天候值班。
  2. 期货交易连续、实时、风险高,高峰期压力大。信息系统的安全稳定要求很高。
  3. 运维人员平均每周处理数万条告警。数量过大会降低对告警的敏感度。该公司历史上曾因遗漏关键告警而发生生产事故。

因此,团队需要把管理制度、技术要求和运营机制落到一个统一的告警响应平台上。目标是加快告警响应,减轻运维压力。

期货行业运维保障的难点

选平台:看排班、交易日历、多源接入、降噪和元数据

选型时,团队重点考察五项能力:

  • 灵活的排班和告警升级机制。
  • 交易日历,用于适配金融行业的业务节奏。
  • 对接公司内各类告警数据源。
  • 统一的告警降噪和抑制策略。
  • 与 CMDB 等元数据中心打通。

经过调研和测试,团队选择了 Flashduty On-call 作为 On-call 平台。

On-call 平台选型考察项

接入现有监控时,Flashduty 的邮件集成与标签增强组合解决了一类难题。网络分析平台(天旦、科莱)以及 OceanBase、TdSQL、沃趣 Qfusion、SmartX 等系统只提供邮件告警。这些系统难以通过 Webhook 与第三方联动,告警也无法直接进入 IM。

Flashduty 可以解析告警邮件的标题和正文。告警详情、阈值、状态更新等信息会被提取为结构化数据,再通过不同渠道通知运维人员。

邮件集成与标签增强

建制度:设专职监控岗,明确值班机制

公司层面设立了专职团队,即 EEC 监控岗。该岗位负责建立和完善 On-call 制度,沉淀相关能力,并跟进值班中的遗留问题。

贴合业务场景的值班机制,能减少响应过程中的不确定性。工程师清楚应该看什么、找谁、如何升级。

告警 On-call 机制

统一元数据:从 CMDB 补全告警标签

CMDB 中已经保存了资源之间、资源与人员之间的关系。On-call 平台直接复用这些信息,告警分发更加自动化。重复配置随之减少,元数据不一致的风险也更低。

Flashduty 支持与 CMDB 对接,获取资产依赖映射,并用这些元数据增强告警标签。补全后的标签用于自动分发。工程师收到告警时,也能看到更完整的上下文,更快判断影响范围和严重程度。

从 CMDB 增强告警标签

持续运营:用数据衡量值班工作

所有告警集中到一个平台后,处理生命周期中的每个节点都有记录。Flashduty 提供工作量统计、TopK 告警统计、MTTA(平均认领时间)和 MTTR(平均恢复时间)。管理者据此判断应优化哪条规则、哪个团队或哪段流程。

Flashduty 统计报表

如需深入交流,可添加宋庆羽老师的微信:giggs06。Flashduty On-call 的更多信息见产品介绍页。

相关阅读