云上小悟
首页   关于   小悟志   栏目   标签   文章   归档   友链   联系

   云上小悟  +  

“Googlebot无法访问您的站点”问题理解和处理方法

网站建设 / by: 麦新杰 / 发布:2015年10月6日 / 122次阅读 / 5条评论
标签:Google搜索引擎优化   / 最后修改时间: 2015-10-18 17:20:02

网站建设 / 2015年10月6日 / 122次阅读 / 标签:Google搜索引擎优化  


“Googlebot无法访问您的站点”问题理解和处理方法

您是不是也常常在Google的站长工具平台看到这样的消息“Googlebot 无法访问您的站点”。这个消息有的时候是中文,有的时候是英文,但是内容都是一样的,就是告诉你,Googlebot无法访问你的网站,或者无法读取你网站的robots.txt文件,导致暂时停止抓取网页。

麦新杰的云上小悟独立博客上线一年多,收到了这么多这样的消息:

云上小悟上线第一年收到的Googlebot告警信息

云上小悟上线第一年收到的Googlebot告警信息

如果你的网站也跟我一样,明明一直都可以正常访问,但是却时常收到Googlebot不能访问的消息,那么恭喜你,这篇文章就是为你准备的,请继续阅读。

Googlebot就是Google搜索引擎的爬虫机器人,搜索引擎的爬虫大家都知道,它们是来抓取我们网站内容的,网站页面被搜索引擎收录全靠爬虫辛勤的抓取工作。如果爬虫无法访问你的页面,搜索引擎也就无法及时收录网站更新的内容。这个问题还是很严重的。

麦新杰每次看到Google站长工具后台的这个提示,就很纳闷,网站明明可以访问,没有不能访问的情况呀!网站在百度云观测每天密集的检测之下,从来也没有收到过什么时候不能访问的消息。那么,Googlebot无法访问网站,到底是什么情况?

翻墙查阅了一些资料,发现了出现这个问题的原因,现分析如下:

 首先,需要确定这个问题不是由网站自身的原因造成的,你自己如果都不能访问网站,Googlebot当然也不能访问。

然后,如果你的网站一直都可以正常访问,但是又常常出现Googlebot不能访问的提示消息,同时,国内的百度云观测还一切正常,这是由于百度和Google对你的网站的访问线路不同造成的。百度主要集中在国内,速度快线路好,而Google来自全球。不同的访问线路由于不同的线路质量,可能就会造成无法访问的情况。比如Google在海外访问国内的网站,当地的ISP对中国网站的访问可能存在一些问题,或者线路拥塞,或者丢包严重,或者DNS临时查询不到等等原因,都有可能造成Googlebot无法访问的情况。(记住:Google和百度是不同的,而且是很大的不同,这可能跟两者面对的市场环境有很大关系)

Googlebot不能访问网站对SEO肯定是有影响的,偶尔出现还好,频繁的出现就要命了。按照上面的分析,我们是无法解决Googlebot访问线路的问题,无论我们如何保证网站的可访问性,也不能保证不出现Googlebot无法访问的情况。那有没有办法做一些自身的优化,来缓解这个问题的出现呢?

办法是有的,比如,你可以将自己的网站更换更好的主机空间,线路更加稳定可靠,带宽加大一些等等,总之,升级网站的基础配置是肯定对这个问题有好处的。但是,如果没有银子去升级网站的基础配置,还有没有办法呢?答案也是:有的。

上面的分析提到了一个DNS查询问题,是的,Googlebot有的时候出现无法访问网站的情况,DNS查询不到确实是一个原因。而Googlebot查询不到DNS数据,很有可能是DNS数据在当地的缓存服务器上已经过期,而新的DNS数据还没有同步过来,或者还没有及时更新,或者更新失败等等。DNS更新需要一个时间窗口,如果正好在这个时间窗口Googlebot来查询,如果服务器没有及时反馈,就会出现DNS查询不到的情况。DNS失败,自然访问也会失败。刚才也说了,百度主要在国内,我们网站的DNS解析服务器也在国内,所以这个问题几乎不存在,而Google来自全球,DNS数据的全球同步肯定比国内同步要面临更加复杂多变的网络环境,所以就有可能出现这个问题。

我们在配置网站域名DNS解析的时候,有一个TTL(Time To Live,单位是秒)的参数,一直没有引起足够的重视,从来都是系统默认值。TTL表示DNS解析数据在网络上的DNS缓存服务器上的存活时间。这个时间一到,缓存服务器就会将DNS条目删除,只有下一次查询到来的时候,才会向域名根服务器去请求这个域名的解析数据,向根服务器请求数据,这中间有个时间差。

麦新杰用maixj.net这个域名的解析来举例,这个域名在阿里云上做解析,TTL的默认时间是10分钟。10分钟是比较短的一个时间,全球各地的DNS缓存服务器对maixj.net这个域名的解析数据的保存,也就10分钟,10分钟一过,数据就会被删除,下次如果再有请求过来,DNS缓存服务器要重新向根服务器去请求maixj.net的解析数据。

缓解“Googlebot无法访问您的站点”这个问题,可以将域名解析的TTL时间设置到最大,1天,24小时,86400秒。这样,全球各地的缓存服务器要一天之后才会将maixj.net的解析数据删除,出现“Googlebot无法访问您的站点”的问题的概率也就大大降低了。设置域名TTL为一天,并不会产生任何其它的问题,我们的域名解析本来就要求要长期稳定可靠。

麦新杰设置maixj.net的域名解析的TTL为24小时:

麦新杰已将maixj.net的域名解析的TTL修改为24小时

麦新杰已将maixj.net的域名解析的TTL修改为24小时

这样做并不能彻底解决“Googlebot无法访问您的站点”的问题,但是网络上站长圈里面已经有大量反馈,这样已经可以极大的缓解Googlebot无法访问这个问题的出现!这样已经很好了,如果只是偶尔出现这样的问题,并不会对SEO有明显的影响。

本文固定链接:http://www.maixj.net/wangzhan/googlebot-8890
amazon进口原版图书

““Googlebot无法访问您的站点”问题理解和处理方法”有5条评论

发表评论

电子邮件地址不会被公开。 必填项已用*标注

  • 明月登楼  says:

    哈哈,又学到一招,谢谢了,我也去调成24小时去!   [ 回复 ]

    • 麦新杰  says:

      必须的,网站进入稳定发展状态之后,都要修改DNS的TTL到最大。   [ 回复 ]

  • 邱嵩松  says:

    谷歌早点回来吧   [ 回复 ]

    • maixj  says:

      自从开始自己建站,就一直盼望Google早日回归!   [ 回复 ]

      • 麦新杰  says:

        我相信Google早晚会彻底来到中国的。   [ 回复 ]


前一篇:
后一篇:

麦新杰的云上小悟独立博客网站文章内容,除非特别注明,全部都是原创,如需转载,请先阅读版权声明!原创文章更具个性,有些文字虽略显随意,但不影响个人思想表达。部分文章是我自己的笔记,为自己记录,总结和收藏,同时也分享给您!这是本博建设的出发点,希望您喜欢并得到您的支持!喝杯茶,慢慢阅读...

©Copyright 麦新杰 SINCE 2014 云上小悟独立博客版权所有  备案号:苏ICP备14045477号-1  

本站360安全检测  Valid CSS!