跳至主内容
博客

数据保留在各个环境,告警集中管理

数据源分散有其合理原因,但告警规则、运行状态和排障入口不应随之分散。Flashduty Monitors 让数据保留在私网中,将告警和分析能力集中到一个控制面。

快猫技术

数据保留在各个环境,告警集中管理

Flashduty Monitors 让数据保留在原有环境中,告警则集中管理。Monit Edge 部署在各个私网环境中,负责查询本地数据源。一个 SaaS 控制面统一管理规则、运行状态和即时查询。一条规则可以用在多套数据源上,规则树直接显示告警和执行失败的集中位置,遥测数据也无须复制到新的存储。

适用对象

部分企业的数据分散有其原因。一家制造企业可能有十几个工厂,每个工厂各有一套 Prometheus。集团还在几个地域部署了 ClickHouse,业务团队各自维护 PostgreSQL、MySQL 或日志系统。网络隔离、数据主权和成本等因素,决定了这些数据无法集中存放。

这类企业已经拥有监控系统,问题在于监控的运维工作也随数据一起分散。同一条基础设施告警,需要在每套 Prometheus 中分别配置。查询某个地域的数据前,必须先找到该地域监控系统的地址和账号。有的规则执行失败,有的规则正在告警,值班人员需要查看多个系统才能掌握全貌。每增加一套数据源,这类重复工作就随之增加。

集中管理,不集中数据

把几十套环境的监控数据复制到新的 SaaS 存储,也是一种方案,但这种方案有其代价:网络出口、长期存储、合规审查、数据迁移,还有新平台和原有数据链路之间的一致性。

Monitors 采用另一种方案。Monit Edge 部署在用户的环境中,连接本地数据源,并在本地执行查询。Flashduty SaaS 负责管理规则、汇总运行状态,并在需要时处理查询和图表。原始数据无须持续复制到 SaaS,用户也无须为了集中告警而另购一套遥测数据存储。

数据留在私网,SaaS 提供统一控制面

Monitors 适用于难以统一部署一套监控的场景:

  • 多个工厂或园区各有数据源,网络互相隔离。
  • 不同地域受数据驻留或跨境合规约束。
  • 集团下各业务线有独立的数据平台和运维团队。
  • 并购和历史建设留下了 Prometheus、ClickHouse、PostgreSQL 等多种系统。
  • 边缘站点数量多、单个站点规模小,集中存储的成本过高。

一条规则覆盖多套数据源

假设集团有 20 个工厂,每个工厂各有一套 Prometheus。如果每套环境各自配置 CPU、磁盘、实例存活和关键服务的告警,同样的规则就有 20 份。修改一次阈值、增加一个标签或调整一次恢复条件,都需要修改 20 次。时间一长,各处的规则就会出现差异。

在 Monitors 中,一条告警规则可以同时用在多套数据源上。规则只维护一份,系统把它下发到所有匹配的数据源执行。如果各工厂、地域或业务线的指标规范一致,规则数量会大幅减少,也更容易保持一致。

一个规则覆盖多套数据源

规则的判断方式不止一种。Monitors 支持阈值、数据存在和数据缺失三类告警。指标超过阈值、查询到符合条件的数据、预期的数据未出现,这三种情况都可以触发告警。恢复方式也有两种:告警条件不再成立时恢复,或者使用一条单独的恢复查询确认业务已经恢复正常。

单独的恢复查询有其适用场景。订单积压降到阈值以下,和订单链路重新产生成功记录,是两种不同的恢复证据。

规则树显示问题的集中位置

规则和数据源增多后,平铺的列表难以使用。发生故障时,值班人员会逐层确认:哪个业务组在告警?哪个地域有规则执行失败?哪些站点一切正常?

Monitors 用树来组织告警规则。层级可以按集团、地域、工厂、业务线或其他管理关系建立。每个节点直接显示活跃告警和规则执行失败,因此规则树同时也是一张实时状态图。

规则树按组织范围聚合活跃告警和执行失败状态

数据源连接失败时,状态直接显示在对应节点上,无须等待有人打开规则详情才发现。某个工厂集中告警时,也无须手工筛选几十条记录。规则树回答的是排障的第一个问题:问题集中在哪里。

即时查询的统一入口

告警只能说明出现了问题,排查还需要查看数据。缺少统一入口时,值班人员需要逐个登录各工厂、各地域的监控系统,记住每个数据源的位置,并在多个浏览器标签页中重复相似的查询。

Monitors 新增了即时查询(ad-hoc query)工作台。用户在一个页面中选择数据源后即可执行查询,无须逐个登录客户内网中的系统。Prometheus 指标、数据库查询,以及以后更多的数据源,将逐步汇集到同一个排查入口。

即时查询工作台为跨数据源排查提供统一入口

数据的归属不变。查询仍然在客户环境中的数据源上执行,SaaS 只提供入口和结果展示。值班人员无须先查找系统,选择数据源即可查询。平台团队也可以减少分发后端账号,减少暴露的管理入口。

来自夜莺的经验

快猫星云维护开源的夜莺监控已有多年。多数据源告警、规则治理和日常排障的做法,已经在许多企业环境中得到应用。

Monitors 将这些经验应用到云边协同的架构中。用户保留分散的数据源和私网执行,但无须自行维护一整套监控控制面。使用 AI 编写查询语句、仪表盘等能力仍在开发中。今后,告警、即时查询、可视化和 AI 排查将共用同一层数据源管理,并且不要求用户先把全部遥测数据迁移到 SaaS。

轻量,也不单独收费

Flashduty Monitors 不要求企业新建集中式 TSDB,不要求迁移历史数据,也不按遥测数据存储量收取额外费用。整套能力保持轻量,只要拥有 Flashduty On-call 账号就可以使用。

如果企业已经在多个工厂、地域或业务环境中运行 Prometheus、ClickHouse、PostgreSQL 等数据源,无须改变现有架构。可以先接入现有数据源,统一最重要的一批告警规则,再逐步使用即时查询和今后上线的仪表盘。

了解和试用 Flashduty

相关阅读