01
第一步：确认访问者而不是只看名称
日志里的 User-Agent 可以作为初筛条件，但不能单独证明请求来自真实搜索引擎。对于重要判断，应结合来源 IP、反向解析与搜索引擎公开说明交叉验证。
分析报表应把无法验证的自动化请求单独归类，避免把普通采集器、伪造蜘蛛或浏览器流量计入搜索蜘蛛数据。
- 记录原始 User-Agent 与来源时间
- 对重要蜘蛛执行反向解析核验
- 将未知爬虫和已验证蜘蛛分开统计
02
第二步：按状态码判断抓取是否有效
200 表示爬虫拿到了页面，但不等于页面一定进入索引；301 或 308 应检查目标是否唯一稳定；连续 404、410 或 5xx 会消耗抓取资源并降低有效页面比例。
建议按栏目统计状态码，而不是只看全站总数。某个目录集中出现异常，通常比全站平均值更有诊断价值。
- 2xx：继续检查正文和 canonical
- 3xx：检查跳转链与最终地址
- 4xx：区分历史失效页和错误内链
- 5xx：优先处理稳定性与超时
03
第三步：观察入口与复访
首次发现时间、首次抓取后的复访间隔、栏目入口和详情页占比，可以帮助判断链接结构是否清晰。新链接长期只有一次访问，应继续检查页面质量和站内关联，而不是单纯增加提交次数。
- 新 URL 首次发现耗时
- 重点页面七日复访次数
- 首页、栏目页、详情页抓取分布
- 无效参数与重复 URL 占比