现场要盯的信号

球天下案例的现场备忘,先记一件事:上线前不是问“能不能用”,而是问“出问题时能不能第一时间看出来”。把可观察的信号列成清单,值班的人照着看即可。
- 抓取任务是否按计划跑完,有没有长时间停在等待状态。
- 同一来源的更新是否出现明显断档,间隔忽然拉长。
- 列表页与详情页的标题、时间是否对得上,有没有错位。
- 重复条目是否在短时间集中出现。
- 页面加载是否出现明显变慢,尤其是列表翻页。
- 错误提示是否落到可查的日志里,而不是只弹一个窗。
这些信号不需要复杂工具,关键是有人定期看、看得懂、知道找谁。 球天下
最容易出问题的环节
一线备忘里最值得写下来的,往往不是功能,而是那些“平时没事、一忙就出事”的位置。
- 来源地址变更后没有同步,任务表面成功但内容为空。
- 时间字段时区不统一,排序结果看起来乱。
- 去重规则只比对标题,稍微改字就重复入库。
- 抓取频率与对方站点节奏冲突,触发限流。
- 解析规则绑死页面结构,页面一改就整段失效。
- 人工补录与自动抓取混在一起,来源标记不清。
现场教训:能自动发现的问题都不算大问题,真正麻烦的是“看起来正常”的空数据。
排查顺序怎么走
出问题时不建议从代码翻起,按下面顺序走,能更快定位到是哪一层。
- 先确认任务是否按计划触发,看调度记录而不是看结果页。
- 再看单次抓取的返回状态,区分网络失败与解析失败。
- 抽一条具体内容,从来源页到入库记录逐字段比对。
- 检查去重与时间字段,排除“抓到了但被过滤”的情况。
- 最后才看解析规则和页面结构是否发生变化。
顺序的意义在于缩小范围,而不是一次改很多地方。
回滚与恢复准备
上线前就要想好退路,球天下实用指南里反复提到的也是这一点:能退,才敢上。
- 保留上一版解析规则的副本,改动前先备份。
- 明确哪一步可以单独关停,而不影响整体浏览。
- 准备一份人工补录的最小流程,应急时能顶上。
- 记录每次变更的时间和内容,方便对照问题出现的时间点。
- 约定恢复后的核对动作,确认数据没有缺口再放开。
回滚不是失败,而是把影响控制在可解释的范围内。
带走这份核对清单
把前面的内容压缩成一张能打勾的表,上线前过一遍,上线后每周过一遍。
- 信号清单有人负责看,且知道异常时找谁。
- 来源地址、时间字段、去重规则三项已逐条确认。
- 排查顺序写成文字,不依赖个人记忆。
- 回滚方案与人工补录流程已演练过一次。
- 变更记录可查,能对应到具体时间点。
球天下资讯的日常使用,靠的就是这种不花哨但能反复执行的核对习惯。
