改版或迁移后想快速收录,最该先核对的是“旧地址到新地址的对应关系是否唯一且可抓取”,而不是急着提交新链接。因为搜索引擎需要先发现旧页面已经变化,再沿着可抓取的跳转或站点地图找到新页面;如果对应关系混乱,提交再多新地址也可能只是重复发现同一批无效入口。下面按准备、实施、验证、维护四步说明具体核对项。
在动模板或切换服务器之前,把旧站可被抓取的URL整理成一份清单,再逐条填写新站对应地址。核对重点是三列:旧地址、新地址、处理方式。处理方式一般只有三种:301跳转到新地址、保留原地址不变、确认删除并返回410或404。不要出现“旧地址跳首页”这种一对多做法,除非该栏目整体取消且没有等价页面。
这一步最关键:对照表决定了后续跳转规则和站点地图能否一致。若对照表缺失,实施阶段只能靠猜测,验证时也无法判断某个旧地址是漏配还是故意删除。
实施时先核对跳转是否真正返回301,而不是302、307或JS跳转。JS跳转和meta refresh对抓取发现不如服务器端301直接,改版后若大量依赖前端跳转,收录速度通常更慢。接着检查robots.txt是否误屏蔽了新目录或新站点地图路径。robots.txt的抓取限制不等于可靠的索引移除:它只阻止抓取,已收录的旧页面仍可能留在索引中,所以旧页面下线应优先用301或410配合,而不是只加robots.txt。
站点地图要满足两个条件:只列最终可索引地址,且文件本身可被公开访问。站点地图不保证收录,它只是帮助发现。若新站刚上线,可把站点地图地址放在robots.txt中声明,但不要因此认为提交后就会立刻收录。
HTTPS迁移还要额外核对:HTTP旧地址是否301到HTTPS新地址,证书是否覆盖所有使用的域名,页面内资源是否仍混用HTTP。HTTPS不保证安全无漏洞或排名,它只是迁移中需要保持一致的一项。不同搜索引擎对跳转、站点地图和索引移除的支持情况须分别核查,不能只看一个后台的反馈就判断全量生效。
验证不要只看“新页面有没有收录”,还要看旧地址是否仍可访问、跳转链是否过长。可以按下面顺序抽查:
curl -I查看状态码和Location,确认是单次301且指向正确新地址。若发现旧地址返回404但对照表标记为301,说明跳转规则漏配;若旧地址返回200但内容已换,说明旧页面没有正确下线。此时应先修跳转,再重新提交站点地图。判断结果的标准是:旧地址可稳定跳转到唯一新地址,新地址可被抓取且内容完整,站点地图无旧地址混入。
迁移完成后的几周内,定期抽查跳转是否被后续发布流程覆盖,尤其是新上线的栏目是否又生成了旧路径。若使用CMS,检查固定链接设置和重定向插件是否在批量发布时重置规则。发现新地址收录慢于预期时,先回查抓取是否被robots.txt、登录权限或服务器频繁超时阻断,再考虑是否需要调整内链,把重要新页面从首页或栏目页直接链接过去。
下一步可以做的具体动作:从对照表中挑出流量最高或外链最多的20条旧地址,逐条执行上面的curl -I检查,把状态码和最终地址记录到同一张表里。凡是不符合“单次301到唯一新地址”的条目,优先修复,再重新提交站点地图。