如果工具每隔较长时间才取一次数,而异常只持续几分钟到几十分钟,你抓不到它并不奇怪:采样点之间发生的事,工具根本没有记录。可行的做法不是硬等下一次采样,而是先判断异常是否值得追,再决定是加旁路监测,还是只做区间核对。核心取舍是:异常可复现、影响明确时,值得为它加一条更高频的观测;异常只出现一次、又无法复现时,优先用日志和外部信号交叉验证,而不是盲目调高全量采样。
采样频率低带来的问题,本质是信息丢失,不是工具坏了。要决定下一步,先看异常是否具备重复性。
两种条件对应完全不同的动作。把不可复现的异常当成可复现问题去加监测,往往只是增加成本,却得不到结论。
当异常可以重复触发,最直接的动作是绕开低频采样,单独建一条高频观测通道,而不是去改主工具的采样设置。
这个动作的结果会直接影响下一步:如果高频记录能稳定复现异常,你就有依据去排查触发条件;如果高频记录也抓不到,说明异常可能不在你观测的层面,需要换指标或换观测位置。
异常只出现一次时,提高采样频率已经没有意义,因为事情已经过去。此时更有效的是把多个来源的记录按时间对齐,寻找同一时刻的旁证。
对齐时要接受一个现实:不同来源的时钟、时区和聚合窗口可能不一致,几分钟的偏差足以让结论反转。因此要先统一时间基准,再判断几个信号是否真的落在同一区间。若只有单一来源显示异常,而其他来源在同一时段没有对应记录,就不能仅凭这一点断定异常真实发生。
假设某工具每三十分钟取一次数,某天下午出现一次持续约十分钟的抓取量下跌,而当天两次采样点都显示正常。此时不能直接说“没有异常”,也不能直接说“工具漏报”。可先假设异常真实存在,然后检查服务端日志在该十分钟内是否有对应记录:如果有,说明是采样间隔导致漏看,下一步应针对该时段做高频复核;如果没有,则要考虑该下跌是否只是工具侧聚合或展示造成的错觉。这个例子只用于说明比较方法,不代表任何真实项目结果。
上述方法在个别样本上成立,规模化后会出现例外,需要写清适用条件。
因此,判断顺序应是:先确认异常是否可复现,再决定加高频通道还是做时间对齐,最后根据证据是否一致决定是否继续追查。对无法复现又缺少旁证的异常,记录时间点和现象即可,不必为此长期维持高成本监测。