改版上线后,最着急的莫过于看着搜索后台里已收录的页面数一天天往上涨,却迟迟不到原来的水平。收录速度直接决定了流量恢复的快慢。
有几件事能明显加快这个过程。
先确认没有挡住抓取
这是前提,挡住了做再多也没用:
- robots 文件正确:没有误屏蔽
- 页面没有 noindex
- 没有访问密码
- 服务器响应正常:没有大量 5xx 或超时
- 规范链接指向自己,而不是指向别的页面
主动提交
别干等着被发现:
- 提交站点地图:最基础也最有效
- 用平台的网址提交工具:手动提交高价值页面
- 使用主动推送接口:内容更新时自动推送给搜索引擎
- 分批提交:先提交首页和核心栏目,再逐步提交其余
其中主动推送效果最好,新内容发布时自动触发,几小时内就可能被抓取。这个接口接入成本不高,值得做。
加强内部链接
搜索引擎顺着链接发现页面,链接越清晰爬得越顺:
- 重要页面从首页可达:点击不超过三次
- 新页面要被其他页面链接到:孤立页面很难被发现
- 发布新内容时在老内容里加上链接
- 用相关推荐模块串联内容
- 面包屑完整:帮助理解层级
孤立的新页面是最常见的问题。上线后跑一次抓取,看看有没有哪个页面没有任何内部链接指向它。
让页面本身值得被抓
- 加载速度要快:抓取工具也有时间预算,慢的站点抓取量会减少
- 内容要有实质:几十个字的页面很难被认真对待
- 避免大量重复内容:参数不同内容相同的页面会浪费抓取资源
- 减少无意义的跳转链
持续更新是个信号
稳定更新的站点抓取频率会更高:
- 改版后保持内容更新:哪怕每周一篇
- 更新老内容也算:修改后记得更新站点地图里的修改时间
- 别一次性发布几百个页面:分批发布更容易被消化
借助外部力量
有几个间接但有效的办法:
- 在社交媒体或行业平台分享新页面链接:有外部引用的页面发现更快
- 更新外部平台上的网址:行业目录、黄页、自媒体账号
- 保持原有的外部链接有效:别让老外链指向 404
时间预期
大致的节奏:
- 首页和核心页:通常一周内
- 主要栏目:两到四周
- 全部页面:一到三个月,取决于站点规模
大型站点会更慢。如果三个月后仍有大量页面未收录,要检查是不是有抓取障碍或者内容质量问题。
怎么监控进度
- 每周记录已收录页面数,做成趋势图
- 用 site 语法或者平台报告核对
- 关注抓取异常报告:发现被拒或超时的及时处理
- 对比站点地图里提交的 URL 数与被收录数
收录是流量恢复的第一道门。门开得慢,后面排队的时间就更长。
—— 一位盯过无数次收录曲线的 SEO