在wordpress中包含有很多重复链接和无用链接。第一类是诸如标签页、作者页和按日期归档页等页面，因为首页和首页的分页都包含了这些文章了；第二类是无用的短连接，如文章草稿的浏览链接；第三类是一些无用链接，如RSS订阅链接，留言的变形链接。搜索引擎对这些页面一律收录，造成收录量很大，有很多重复的页面，从而降低网站的搜索引擎友好度。以本站为例，文章只有300多篇的时候，索引量就能达到近800篇，这样对于网站的SEO优化势必会造成影响。

下面将详细介绍如何利用WordPress网站的robots协议来阻止搜索引擎收录这些无用的、重复的链接。

1、User-agent： *

一般网站的robots协议设置都是面对所有spider程序，用通配符“*”即可。如果有独立User-agent的指令规则，尽量放在通配“*”User agent规则的上方。

2、Disallow： /wp-admin/
Disallow： /wp-content/
Disallow： /wp-includes/

这些目录下都是WordPress的核心程序代码，屏蔽spider捉取程序文件，同时也节约了搜索引擎蜘蛛资源。

3、Disallow： /*/trackback

每个默认的文章页面代码里，都有一段trackback的链接，如果不屏蔽让蜘蛛去捉取，网站会出现重复页面内容问题。

4、Disallow： /feed
Disallow： /*/feed
Disallow： /comments/feed

头部代码里的feed链接主要是提示浏览器用户可以订阅本站，而一般的站点都有RSS输出和网站地图，故屏蔽搜索引擎捉取这些链接，节约蜘蛛资源。

5、Disallow： /?s=*
Disallow： /*/?s=*

屏蔽捉取站内搜索结果，站内没出现这些链接不代表站外没有，如果收录了会造成和TAG等页面的内容相近。

6、Disallow： /?r=*

屏蔽留言链接插件留下的变形留言链接。(没安装相关插件当然不用这条指令)

7、Disallow： /*.jpg$
Disallow： /*.jpeg$
Disallow： /*.gif$
Disallow： /*.png$
Disallow： /*.bmp$

屏蔽捉取任何图片文件，在这里主要是想节约点宽带，不同的网站管理员可以按照喜好和需要设置这几条指令。

8、Disallow： /?p=*

屏蔽捉取短链接。默认头部里的短链接，百度等搜索引擎蜘蛛会试图捉取，虽然最终短链接会301重定向到固定链接，但这样依然造成蜘蛛资源的浪费和页面的重复。

9、Disallow： /*/comment-page-*
Disallow： /*?replytocom*

屏蔽捉取留言信息链接。一般不会收录到这样的链接，但为了节约蜘蛛资源，也屏蔽之。

10、Disallow： /a/date/
Disallow： /a/author/
Disallow： /a/category/
Disallow： /?p=*&preview=true
Disallow： /?page_id=*&preview=true
Disallow： /wp-login.php

屏蔽其他的一些形形色色的链接，避免造成重复内容和隐私问题。

10、Sitemap:http://***.com/sitemap.txt

一般会在robots协议中添加网站地图地址指令，主流是txt和xml格式。告诉搜索引擎网站地图地址，方便搜索引擎捉取全站内容，当然你可以设置多个地图地址。要注意的就是Sitemap的S要用大写，地图地址也要用绝对地址。

当robots协议更新完毕后，可以使用百度或谷歌的管理员工具来验证某个特定的连接是被阻止还是允许收录，以测试robots协议的有效性。如下图所示为在百度站长平台中测试的robots协议对特定链接的有效性。