站点做过多语言改版或栏目调整之后，收录数量往往不会按预期增长。Search Console 的报告给出的只是样本，真正完整的抓取记录在服务器日志里。只要按固定流程分析一次，多数问题都能定位到具体目录或具体模板。
一、先做字段提取与模板归并
日志原始行信息量很大，先按四个字段提取：访问时间、访问地址、HTTP 状态码、代理标识。
紧接着做模板归并，把带参数的地址收敛为模板，例如把产品页、资讯页、语种目录分别归成一种模板，只保留模板标识与语种前缀。归并之后再看统计，否则几万个地址会把真正的问题淹没。
二、看状态码分布，先排除技术故障
按模板统计状态码，重点看三类：
- 状态码 200 占比明显偏低：通常说明站内存在大量失效内链，或改版后旧地址未做跳转；
- 状态码 301 被反复访问：说明跳转链条过长或目标地址不稳定，搜索引擎会降低抓取频率；
- 状态码 404、403 集中在某一目录：多半是站点地图或内链里残留了已被删除的地址。
这一层的目标是先排除纯技术问题，不要一上来就怀疑内容质量。
三、三类抓取预算浪费
状态码正常之后，再看抓取量的去向。常见三类浪费：
- 参数与排序地址被大量抓取，例如筛选、排序与分页组合出的变体；
- 低价值页面占据抓取配额，例如内容极短的标签页与归档页；
- 多语种重复目录，同一内容在多个语种目录下被重复抓取，而其中一种已通过标注指向规范地址。
对应的处理方式依次是收敛参数入口、补齐低价值页面正文或将其从站点地图移除、确认多语种目录的规范标注确实生效。
四、识别四类异常访问者
日志里并非所有访问都来自搜索引擎。四类需要单独标注：
- 单一地址段在极短时间内重复访问同一路径，属于采集行为；
- 代理标识与实际访问行为不符，例如声称是搜索爬虫却抓取后台路径；
- 访问频率远超正常抓取密度，属于压力型访问；
- 只抓取内容与接口、不请求样式与脚本，属于数据抽取型访问。
这四类会在后续限速与拦截规则中单独处理，不参与收录效果评估，否则会得出错误结论。
五、五项结论输出规范
一次分析结束时，输出的结论应包含五项，缺一项都会导致后续无法复核：
- 分析覆盖的时间区间与日志行数；
- 参与统计的访问者类型与已剔除的异常访问量；
- 各模板的抓取量占比与状态码分布；
- 判定为浪费的抓取量及其对应的入口；
- 需要调整的具体页面类型与调整后的观察周期。
建议把日志分析的观察周期定为两到四周，并与 Search Console 覆盖率报告 的结论交叉比对：一侧看抓取侧是否顺畅，另一侧看收录侧是否改善，两者不一致时优先排查规范标注与内链。
#服务器日志#抓取分析#收录排查#爬虫识别#搜索优化