很多新手搭建完 WordPress 网站,配置好网站地图,发布好几篇文章,站长后台却迟迟看不到网址被发现。不少人以为是网站坏掉,反复提交地图、重复提交链接,反而没有效果。新站收录有它自己的流程,本篇结合必应站长平台,讲一讲普通人可以直接上手的实操方法。
首先分清两个概念:抓取和收录。 抓取,代表必应爬虫访问到你的网页,读取页面内容。收录,代表页面经过质量评估之后,正式放进搜索引擎数据库,用户可以搜索看到你的文章。爬虫来过,不等于直接收录,中间会有审核等待时间,新域名这个周期会更加明显。
第一,网站地图提交成功不等于立刻读取。 很多朋友看到 sitemap 状态显示成功,就以为马上就可以识别全部文章。“成功” 仅仅代表站长平台正常接收了你上传的 xml 文件,不代表爬虫已经过来解析里面的全部链接。 不要反复点击提交网站地图按钮,重复提交不会加速处理,安静等待爬虫调度即可。正常情况下几小时到两天之内,爬虫会主动读取站点地图,后台 “发现的网址” 数字就会更新。
第二,新文章一定要使用网址提交功能。 网站地图是给爬虫一份全站总清单,适合批量发现全部页面。而网址提交,用来单独通知搜索引擎,有一篇全新的内容刚刚发布。 每写完一篇新文章,复制完整文章链接,粘贴到网址提交,提交一次就结束。同一篇文章不要多次提交,频繁提交不会加快收录速度。
第三,排查网站是否存在禁止爬虫访问的设置。 有两处地方新手容易踩坑。 一是 WordPress 后台设置‑阅读,不要勾选 “阻止搜索引擎索引此网站”,勾选之后搜索引擎完全不会抓取你的站点。 二是 Yoast SEO 插件,不要把文章、分类设置为 noindex,设置 noindex 的页面,就算爬虫访问,也不会被收录。如果网站地图里面有大量页面,但是发现网址一直为 0,可以优先检查这两处。
第四,服务器与 CDN 会影响爬虫抓取效率。 刚建站调试阶段,建议关闭 Cloudflare 代理,把网站全部问题调试完毕之后,再打开 CDN。 如果代理开启过早,服务器报错、超时问题会被 CDN 掩盖,必应爬虫访问网站出现超时,就会出现提交成功但是读不到内容的现象。服务器防火墙不要拦截海外爬虫 IP,否则搜索引擎无法访问你的网站。
第五,新站内容质量决定收录速度。 对于全新域名,搜索引擎会重点评估网站内容质量。不要大段复制网上现成文字,尽量写自己实操后的经验感悟。内容不用追求篇幅超长,重点是把问题讲清楚,逻辑通顺。 同一个网站,全部文章主题尽量统一,我们做建站教程,就持续输出服务器、WordPress、SEO 相关内容,不要什么类型的文章都混杂在一起,有利于搜索引擎判断网站定位。
第六,站长后台哪些状态不用过度焦虑。 1. 发现的网址数字长时间不动:爬虫调度延迟,新站非常常见,耐心观察即可。 2. 页面显示已抓取,尚未编入索引:爬虫来过页面,正在质量审核,只需要继续维护网站,不用额外操作。 3. 少量抓取报错:偶尔一两条报错不用紧张,持续观察整体趋势,大量报错才需要排查服务器。
总结:新站做收录,核心是做好技术配置,产出原创内容,合理使用站长平台工具,不要频繁重复提交各类按钮。必应站长平台给我们提供的是通知渠道,真正的抓取收录节奏,还是由搜索引擎爬虫调度决定。做好基础工作,剩下交给时间就可以。