如何应对海量的告警信息

1、告警的根源有哪些？网络抖动、机房故障、程序异常以及各种变更，都可能导致产生海量的告警，如何应对？怎样才能使告警收敛是亟待解决的问题。

2、告警面临的挑战包括误告邮件多，误告消息多，告警电话多，必须有手段找到造成告警的根源故障，发现有价值的告警。

3、首先通过抓包、模拟调用、梳理路由调用关系，人工清洗，离线计算，将整理后的数据存入数据库，然后在逻辑层进行实时计算，或许相关结果数据。

4、对于要分析的模块，需要考察它所在的子网构成的链路中其他模块节点在临近时间范围内的告警情况。

5、告警收敛的机器学习方案，包括通过对历史数据的分析，提炼相关的规则，然后进行告警收敛，优化等待队列和告警发送。

6、时间序列的关联分析，要对两个KPI曲线的告警按时间切片进行统计，时间切片内有告警为1，无告警为0。

7、围绕发现问题、分析问题、解决问题的方法论，通过根因分析、时间序列的异常检测和趋势预测，为扩容、调度和优化提供智能决策。