期货行业的 On-call 实践

在第二届 CCF 夜莺可观测性创新论坛上，上海某期货公司的技术专家宋庆羽，为与会同行们分享了期货行业落地 Oncall 的实践经验。

该期货公司是国内首批获得金融期货全面结算业务资格的期货公司，并在中国期货业协会分类中获得AA级评价。公司为客户提供包括商品期货经纪、金融期货经纪、资产管理等在内的全面金融服务。在全国设有 20 余家分公司和 300 余家证券 IB 营业部，业务网络辐射全国。营业收入、净利润、客户数量、客户权益总额、市场份额等经营指标连续多年位列期货行业第一梯队。

宋庆羽在分享中提到，期货行业的运维保障有几个特殊挑战：

期货业务覆盖不同交易所，存在早盘、夜盘等多时段交易，运维需要全程参与保障，人员也要全天候值班；
期货交易连续、实时、风险高，交易高峰期压力大，对信息系统的安全稳定运行要求很高；
运维人员平均每周需要处理数万个报警通知，数量过大后容易降低报警敏感度，历史上也发生过因遗漏关键报警而引发的生产事故；

因此，期货团队需要把管理机制、技术要求和运营机制落到统一的监控事件响应平台上，提升告警响应速度，降低运维压力。

建设思路

建平台
- 选型成熟、符合业界 Oncall 最佳实践的平台，支撑统一告警接入、值班排班、报警升级和报警降噪等核心需求，覆盖公司的主要运维场景。
建制度
- 公司层面，建立相关的制度及岗位，配备专职团队（EEC 监控岗），负责建立、完善 Oncall 制度，沉淀相关的能力，跟进 Oncall 中的遗留问题。
统一元数据
- 与内部 CMDB 等元数据信息系统实现打通，复用相关元数据，从而有效降低平台的建设成本，提高系统的自动化、智能化水平。
持续运营
- 通过数据量化的方式（如 MTTA、MTTR），定期量化各团队的运维 Oncall 工作，持续进行告警治理，提升 Oncall 的效率。

建平台

在平台选型上，他们重点看 5 件事：灵活的排班/值班能力和报警升级机制；交易日历能力，用来适配金融行业的业务运营特点；能对接公司体系内的各类告警数据源；统一的告警降噪和告警抑制策略；元数据对接能力，能和 CMDB 等元数据中心打通。经过调研和测试，他们选择 Flashduty 作为 Oncall 平台。

在接入现有监控事件时，Flashduty 的“邮件集成” + “标签增强”组合帮了大忙。网络分析（天旦、科莱）、OceanBase、TdSQL、沃趣 Qfusion、SmartX 等平台只提供邮件告警，很难通过 Webhook 和第三方联动，也无法直接把告警送进 IM。Flashduty 可以解析告警邮件的标题和正文，提取告警详情、阈值、系统状态更新等关键信息，转成结构化数据，再通过不同渠道触达运维人员。