结论先行:当参数组合在理论上无限增长时,有效地址集合不能按“所有能返回200的URL”来定义,而应按“能被站内链接、站点地图或外部引用稳定指向,并且内容存在实质差异的规范化地址”来定义。其余参数变体应通过规范标签、参数处理规则或服务端归一化收敛到一个代表地址;否则收录查询工具看到的数量会持续膨胀,却无法反映真实的内容规模。
参数组合的典型来源是筛选、排序、分页、会话标识和追踪码。它们组合后可以生成近乎无限的URL,但其中绝大多数并不承载独立内容。判断一个地址是否属于有效集合,可以看三个可核对的证据:
三个条件同时成立时,把该地址计入有效集合是合理的;只满足“能返回200”这一条,通常只是可访问,不代表应被当作独立内容管理。
上面的判断在一种情况下会失效:当参数组合确实产生了用户需要独立访问的内容,且这些内容无法被单一代表地址覆盖时。例如假设一个商品列表同时支持“品牌+价格区间+排序+页码”,其中“品牌+价格区间”的组合对应的是不同的商品子集,而排序和页码只是同一子集的呈现方式。此时若把品牌与价格参数也一并收敛到无参数地址,用户通过外部链接进入该子集时会落到不相关的结果页,有效集合的定义就与实际内容结构脱节。
处理办法是分层:把改变内容子集的参数保留为有效地址的一部分,把只改变呈现顺序或追踪来源的参数排除。这个分层需要人工确认,不能只靠参数数量判断。
当收录查询工具显示的数量突然上升或下降时,先不要直接归因于收录本身。以下现象各有多种合理解释:
可执行的动作是:抽取一组已知的有效地址和一组已知的参数变体,分别用工具查询,记录哪些被返回、哪些没有。如果有效地址也大量消失,问题更可能出在查询侧;如果只有参数变体消失,才更可能是规范化或抓取规则起了作用。这个对比结果决定下一步是调整查询方式,还是调整站内参数处理。
定义有效地址集合时,常见的取舍是“收敛得足够干净”与“不误伤真实内容”之间的平衡。可以按以下顺序推进:
需要说明的是,robots.txt 的抓取限制不等于可靠的索引移除,站点地图也不保证收录。因此参数变体即使被屏蔽抓取,仍可能以其他方式出现在查询结果中;这一步的验证必须依赖实际查询,而不是规则本身。
先选定一个参数维度做小范围验证:固定其他条件,只改变该参数,观察收录查询工具返回的地址集合是否随参数值线性增长。如果增长只来自排序或追踪类参数,就对这些参数做归一化,并在一段时间后复查有效地址是否仍能被查询到;如果增长来自内容子集类参数,就保留对应地址并为其建立稳定入口。这个动作的结果会直接决定后续是扩大归一化范围,还是重新划分有效地址的边界。