直接回答:当站点从几十个页面扩到几千个页面、从单一栏目扩到多语言或多地区时,最不该继续手工做的是“逐页判断该保留还是该退出”这件事。它既包括旧内容的去留,也包括旧系统页面和旧合作方带来的入口页面。手工做在早期是准确的,因为你能记住每个页面的来龙去脉;规模上来后,手工的瓶颈不是慢,而是判断标准会随执行人、执行时间和当天状态漂移,最终让快照倒退的排查失去可比性。
很多站点在扩张期会遇到一个反直觉的现象:为了清理旧内容,运营手工下线了一批页面,结果一段时间后,搜索结果的摘要和缓存版本看起来比清理前更旧、更不完整。这并不说明清理本身错了,而是说明手工清理把两类不同的问题混在了一起。
一种解释是:你删掉的页面里,有一部分仍在承担内链枢纽或旧链接入口的作用。手工判断时只看“这篇内容还有没有价值”,没看“还有谁在指向它”。页面退出后,原本通过它传递的路径断了,搜索引擎重新理解站点结构需要时间,期间摘要显示旧版本是正常过程。
另一种解释是:真正导致快照倒退的是旧系统或旧合作方留下的重复入口。手工清理只处理了你熟悉的栏目,没处理那些你不常看的路径。重复入口仍在,搜索引擎抓到的仍是旧版本,于是你感觉“删了也没用”。
要判断属于哪一种,不能只盯着快照日期。快照日期受抓取频率、页面更新和索引状态多重影响,单独一个数字归零或变旧,不能证明你的处理正确或错误。更有效的证据是退出动作前后的路径变化:
实际操作上,可以先做一次“退出前路径盘点”:对每个候选退出页面,记录它被哪些页面链接、是否有外部旧链接、是否出现在站点导航或面包屑中。这个动作的结果直接决定下一步:链接目标多的页面先补替代路径再退出,链接目标少的页面可以批量退出并观察。
不是所有工作都不适合手工。创意选题、重点栏目的内容打磨、与旧合作方的沟通,这些仍然适合人工。但以下三类判断在规模扩大后应该规则化:
这里的关键不是追求全自动,而是让判断标准可复查。规则化之后,任何一次退出动作都能回答:依据哪条规则、影响了哪些路径、下一步观察什么。
假设一个站点从 200 个页面扩到 3000 个页面,其中约 400 个页面来自一次已结束的旧合作。手工做法是逐页看内容,觉得“还有用”就留,“没用”就删。结果留下了一批彼此互链、但已经不再更新的旧合作页面,它们继续占用抓取预算,也让快照长期停留在旧版本。
规则化做法是先把这 400 个页面按“是否仍能独立回答用户问题”分成两组。能独立回答的,迁移到主站对应栏目并补上新内链;不能独立回答的,先确认没有外部旧链接指向,再统一退出。这个动作的结果是:迁移组获得了新的路径,退出组不再干扰抓取,下一步只需要观察迁移组是否被正常抓取和索引,而不必再逐页判断。
需要说明的是,这个例子中的数字只用于说明分类比较的方法,不代表任何真实站点的表现,也不构成对抓取量或快照更新时间的承诺。
先做路径盘点,再做退出决定。路径盘点的产出是一张表:页面、当前入口、是否仍有外部链接、退出后由谁承接。这张表决定了哪些工作可以批量处理,哪些必须人工确认。规模越大,这张表越应该由规则生成初稿,人工只审边界。
如果盘点发现某个旧系统页面仍被大量外部链接指向,不要直接退出,先在新系统上建立对应内容并保持可访问,再考虑旧路径的退出方式。如果盘点发现旧合作页面没有任何外部链接、也没有站内入口,那么它更适合进入批量退出流程,而不是继续留在抓取路径里。
最后要接受一个前提:快照倒退本身不是单一动作的结果,抓取、索引、摘要更新是不同环节。你无法通过一次清理直接控制快照显示什么,但可以通过规则化的退出流程,让每一次退出都有可复查的依据,而不是依赖某个人当天的判断。