先不要改模板,也不要提交整站。把“带参数的异常页”与“不带参数的正常页”当作两组样本,逐一固定变量,直到找到能稳定复现异常的最小组合。复现条件越窄,后续动作越有针对性:如果只有带两个以上参数且参数顺序固定时才异常,处理对象是参数处理逻辑;如果任意参数都异常,才需要回到抓取与索引层面的排查。
假设某站点有一批商品页,不带参数的地址在百度中表现正常,带筛选参数的地址长期没有出现在结果里。运营看到的是“参数页不收录”,开发看到的是“服务器日志里参数页有抓取记录”,两边对同一事实的理解并不一致。此时不要争论谁对,而是把分歧转成可核对的项目:同一路径、同一参数、同一时间窗口,分别记录返回状态、页面可见内容、内链入口和抓取记录。核对完再判断异常发生在哪一步。
缩小复现条件的关键是控制变量,而不是增加检查项。可以按下面的顺序逐项对照:
每固定一个变量,就重新判断异常是否仍然出现。若交换参数顺序后异常消失,说明问题与参数拼接方式有关;若所有参数组合都异常,而静态路径正常,说明问题不在单个参数,而在参数页这一整类的处理方式。这一步的实际动作是做一张对照记录,它的结果直接决定下一步是改参数规则,还是去查抓取与索引环节。
开发说“日志里有抓取”,运营说“搜索结果里没有”,这两件事并不矛盾。抓取记录只能说明请求到达过服务器,不能说明该地址被作为独立页面处理。常见的情况是:参数页返回的内容与主页面高度重复,或者被站点配置指向了同一个规范地址,于是它虽然有抓取,却没有形成独立结果。
这里要避免一个误判:robots.txt 的抓取限制不等于可靠的索引移除。限制抓取可能让页面不再被访问,但已存在的记录不会因此按预期消失,也不代表这是正确的处理方式。同理,站点地图不保证收录,把参数页放进站点地图只是提供了发现入口,是否形成独立结果仍取决于页面本身是否被当作独立内容处理。
核对时可以问三个问题:异常页返回的正文是否与正常页实质相同?页面里指向自身的规范地址指向哪里?同一参数组合是否存在多个可访问地址?三个问题的答案组合起来,通常就能解释“有抓取但无独立结果”这一现象。
当复现条件缩小到“某一类参数组合必然异常”时,处理对象就明确了。此时可以按下面两种情况分别决策:
这两种情况成立的条件不同,不能套用同一套动作。前者的目标是减少重复地址,后者的目标是让有差异的内容被正确识别。判断依据是页面可见内容是否实质不同,而不是参数本身是否好看。
分歧之所以反复出现,往往是因为每次核对都没有留下可复查的痕迹。建议在缩小复现条件后,记录四项内容:测试的完整地址、该地址的返回状态、页面可见正文的摘要、以及当时的入口来源。下一次有人提出不同理解时,直接对照这份记录,而不是重新争论。
需要提醒的是,抓取量或某项统计归零,不能单独证明处理正确。它也可能是访问频率变化、入口调整或统计口径变化造成的。判断处理是否有效,应结合页面内容是否被正确识别、地址是否稳定、以及后续核对结果是否一致来综合看待。如果复现条件始终无法缩小到稳定组合,说明样本选取或变量控制还有遗漏,此时应回到对照记录,补充缺失的变量,而不是急于修改站点配置。