01
301 与 308
仅用于资源永久迁移，并直接跳到最相关的新地址。多级跳转会增加抓取成本；没有对应内容时不应统一跳转首页。
02
404 与 410
404 表示当前找不到资源；410 表示资源明确永久移除。修复产生这些地址的内链和站点地图，比单纯拦截蜘蛛更重要。
03
429 与 5xx
429 通常表示限流，5xx 表示服务端异常。应检查 WAF、并发阈值、上游超时和应用日志，确保搜索蜘蛛与普通用户都能稳定访问。
百度蜘蛛常见状态码与抓取异常
状态码不是越统一越好。应该让每个 URL 返回符合真实资源状态的响应，并避免把大量失效地址都跳转到首页。