关于小悟志网站地图归档友情链接联系Feed

云上小悟 + 

WordPress网站设置robots.txt文件实例详解

网站建设
2015年2月12日 / 111次阅读
标签:WordPress

拍拍贷

文章《WordPress网站设置robots.txt文件实例详解》的特色图片

我们都知道,robots.txt文件的作用是引导搜索引擎的抓取动作,抓哪些,不抓哪些。有些链接是我们不想让搜索引擎抓取的,有些网站的文件是没有抓取意义的,比如php代码文件,js和css代码文件等。搜索引擎每天来我们的网站抓东西,来一趟不容易,我们当然给给搜索引擎我们最希望抓取的内容。对于WordPress网站来说,网站robots.txt文件的写法有很多相似之处。本文以云上小悟网站的robots.txt文件来举例,给出麦新杰关于WordPress网站robots.txt文件的建议。

各位可以通过下面的链接,查看云上小悟网站robots.txt文件的全文:

http://www.maixj.net/robots.txt

本站robots.txt文件的具体内容如下:

 

这个robots.txt文件的解释:对于所有搜索引擎来说,各种feed页面不要抓取,trackback不要抓取,WordPress网站的几个重要的代码目录不要抓取,但是除了我们上传的图片,附件页面不要抓取,评论分页页面(评论分页页面如果抓取,容易导致不同页面出现相同meta description,这个问题的详细分析请看:WordPress页面评论分页造成的问题分析)不要抓取,最后是所有链接中带?的页面不要抓取,这些都是浪费你们宝贵时间的没用的内容。robots.txt文件最后列出网站的sitemap.xml文件的位置。

上面贴出来的robots.txt文件有这一行:Disallow: /*?*

这是告诉搜索引擎不要抓动态链接的意思。WordPress文章动态链接的链接格式固定是http://www.xxxxxx.com/?p=1234,1234就是文章的内部编码,这是一个动态链接。WordPress网站自带的搜索链接也是动态链接,有一个?号。还有一些插件,比如WPTouch,在安装之后,会生成一些动态链接,这些内容统统不要抓。

当然,并不是所有的WordPress网站的robots.txt文件都要按照上面的来写,每个网站的情况都不一样,这里麦新杰只是给出一个参考写法。

本文链接:http://www.maixj.net/wz/robots-txt-xiangjie-2342
云上小悟 麦新杰(QQ:1093023102)

-- (*^-^*) --

相关文章

评论是美德

《WordPress网站设置robots.txt文件实例详解》有2条评论

无力满足评论实名制,评论对非实名注册用户关闭,有事QQ:1093023102.

  • 摄氏度

    那些已经被收录的文章用robots屏蔽可以吗 [ ]

    • maixj

      这个不清楚,这根搜索引擎的实现有关系,有些搜索引擎还不一定遵守robots文件规则呢。 不过,有canonical属性,就不用担心这个问题。 [ ]


前一篇:
后一篇:

栏目精选


©Copyright 麦新杰 Since 2014 云上小悟独立博客版权所有 备案号苏ICP备14045477号-1

网站二维码
拍拍贷
go to top