关于小悟志网站地图归档友情链接联系Feed

云上小悟 + 

首页 » 网络营销 »

“Googlebot无法访问您的站点”问题理解和处理方法

网络营销
2015年10月6日 / 335次阅读
标签:Google搜索引擎优化

拍拍贷

文章《“Googlebot无法访问您的站点”问题理解和处理方法》的特色图片

您是不是也常常在Google的站长工具平台看到这样的消息“Googlebot 无法访问您的站点”。这个消息有的时候是中文,有的时候是英文,但是内容都是一样的,就是告诉你,Googlebot无法访问你的网站,或者无法读取你网站的robots.txt文件,导致暂时停止抓取网页。

麦新杰的云上小悟独立博客上线一年多,收到了这么多这样的消息:

云上小悟上线第一年收到的Googlebot告警信息

云上小悟上线第一年收到的Googlebot告警信息

如果你的网站也跟我一样,明明一直都可以正常访问,但是却时常收到Googlebot不能访问的消息,那么恭喜你,这篇文章就是为你准备的,请继续阅读。

Googlebot就是Google搜索引擎的爬虫机器人,搜索引擎的爬虫大家都知道,它们是来抓取我们网站内容的,网站页面被搜索引擎收录全靠爬虫辛勤的抓取工作。如果爬虫无法访问你的页面,搜索引擎也就无法及时收录网站更新的内容。这个问题还是很严重的。

麦新杰每次看到Google站长工具后台的这个提示,就很纳闷,网站明明可以访问,没有不能访问的情况呀!网站在百度云观测每天密集的检测之下,从来也没有收到过什么时候不能访问的消息。那么,Googlebot无法访问网站,到底是什么情况?

翻墙查阅了一些资料,发现了出现这个问题的原因,现分析如下:

 首先,需要确定这个问题不是由网站自身的原因造成的,你自己如果都不能访问网站,Googlebot当然也不能访问。

然后,如果你的网站一直都可以正常访问,但是又常常出现Googlebot不能访问的提示消息,同时,国内的百度云观测还一切正常,这是由于百度和Google对你的网站的访问线路不同造成的。百度主要集中在国内,速度快线路好,而Google来自全球。不同的访问线路由于不同的线路质量,可能就会造成无法访问的情况。比如Google在海外访问国内的网站,当地的ISP对中国网站的访问可能存在一些问题,或者线路拥塞,或者丢包严重,或者DNS临时查询不到等等原因,都有可能造成Googlebot无法访问的情况。(记住:Google和百度是不同的,而且是很大的不同,这可能跟两者面对的市场环境有很大关系)

Googlebot不能访问网站对SEO肯定是有影响的,偶尔出现还好,频繁的出现就要命了。按照上面的分析,我们是无法解决Googlebot访问线路的问题,无论我们如何保证网站的可访问性,也不能保证不出现Googlebot无法访问的情况。那有没有办法做一些自身的优化,来缓解这个问题的出现呢?

办法是有的,比如,你可以将自己的网站更换更好的主机空间,线路更加稳定可靠,带宽加大一些等等,总之,升级网站的基础配置是肯定对这个问题有好处的。但是,如果没有银子去升级网站的基础配置,还有没有办法呢?答案也是:有的。

上面的分析提到了一个DNS查询问题,是的,Googlebot有的时候出现无法访问网站的情况,DNS查询不到确实是一个原因。而Googlebot查询不到DNS数据,很有可能是DNS数据在当地的缓存服务器上已经过期,而新的DNS数据还没有同步过来,或者还没有及时更新,或者更新失败等等。DNS更新需要一个时间窗口,如果正好在这个时间窗口Googlebot来查询,如果服务器没有及时反馈,就会出现DNS查询不到的情况。DNS失败,自然访问也会失败。刚才也说了,百度主要在国内,我们网站的DNS解析服务器也在国内,所以这个问题几乎不存在,而Google来自全球,DNS数据的全球同步肯定比国内同步要面临更加复杂多变的网络环境,所以就有可能出现这个问题。

我们在配置网站域名DNS解析的时候,有一个TTL(Time To Live,单位是秒)的参数,一直没有引起足够的重视,从来都是系统默认值。TTL表示DNS解析数据在网络上的DNS缓存服务器上的存活时间。这个时间一到,缓存服务器就会将DNS条目删除,只有下一次查询到来的时候,才会向域名根服务器去请求这个域名的解析数据,向根服务器请求数据,这中间有个时间差。

麦新杰用maixj.net这个域名的解析来举例,这个域名在阿里云上做解析,TTL的默认时间是10分钟。10分钟是比较短的一个时间,全球各地的DNS缓存服务器对maixj.net这个域名的解析数据的保存,也就10分钟,10分钟一过,数据就会被删除,下次如果再有请求过来,DNS缓存服务器要重新向根服务器去请求maixj.net的解析数据。

缓解“Googlebot无法访问您的站点”这个问题,可以将域名解析的TTL时间设置到最大,1天,24小时,86400秒。这样,全球各地的缓存服务器要一天之后才会将maixj.net的解析数据删除,出现“Googlebot无法访问您的站点”的问题的概率也就大大降低了。设置域名TTL为一天,并不会产生任何其它的问题,我们的域名解析本来就要求要长期稳定可靠。

麦新杰设置maixj.net的域名解析的TTL为24小时:

麦新杰已将maixj.net的域名解析的TTL修改为24小时

麦新杰已将maixj.net的域名解析的TTL修改为24小时

这样做并不能彻底解决“Googlebot无法访问您的站点”的问题,但是网络上站长圈里面已经有大量反馈,这样已经可以极大的缓解Googlebot无法访问这个问题的出现!这样已经很好了,如果只是偶尔出现这样的问题,并不会对SEO有明显的影响。

本文链接:http://www.maixj.net/wlyx/googlebot-8890
云上小悟 麦新杰(QQ:1093023102)

相关文章

评论是美德

《“Googlebot无法访问您的站点”问题理解和处理方法》有5条评论

无力满足评论实名制,评论对非实名注册用户关闭,有事QQ:1093023102.

  • 哈哈,又学到一招,谢谢了,我也去调成24小时去! [ ]

    • 麦新杰

      必须的,网站进入稳定发展状态之后,都要修改DNS的TTL到最大。 [ ]

  • 谷歌早点回来吧 [ ]

    • maixj

      自从开始自己建站,就一直盼望Google早日回归! [ ]

      • 麦新杰

        我相信Google早晚会彻底来到中国的。 [ ]


前一篇:
后一篇:

栏目精选


©Copyright 麦新杰 Since 2014 云上小悟独立博客版权所有 备案号:苏ICP备14045477号-1

网站二维码
拍拍贷
go to top