搜索引擎爬虫归根结底也是 HTTP 客户端,因此状态码会直接影响页面被索引以及反映到排名的方式。正常页面应返回 200,只有返回 200 的页面才会成为正常的索引对象。
重定向尤为重要。301 Moved Permanently 会把原 URL 的链接权重转移到新 URL,而 302 Found 被视为临时跳转,不会转移排名。对于域名迁移或切换到 HTTPS 这类永久性变更,应使用 301(或保留请求方法的 308)。
对于已删除的页面,应返回 404 Not Found,或返回信号更强的 410 Gone。反之,不存在的页面返回 200 的“软 404”会浪费抓取预算,应当避免。若服务器错误(5xx)持续出现,爬虫会降低访问频率,因此稳定的响应和恰当的状态码设置是 SEO 的基础。