首先我們應該明白Robots.txt文件是網站與搜索引擎之間的一種協議，當搜索引擎來抓取你網站的時候，首先會看你網站根目錄的Robots文件，搜索引擎會根據你寫的這個協議來抓取你的網站內容，當然抓取的頁面都是由你寫的Robots來確定的。

Robots的基本概念與作用

搜索引擎使用spider程序來訪問網站里面的內容，但是你的Robots文件可以告訴它那個頁面可以訪問，那個頁面不可以訪問，有些人認為網站當然容許抓取訪問了，錯，一些網站后臺隱私文件、js、死鏈這些都是需要屏蔽的。

Robots常見的規(guī)則

1、User-agent指令: 此指令定義了此指令下面的內容對哪些蜘蛛有效。默認所有蜘蛛都允許抓取，如果此指令指定了特定的蜘蛛，那么此指令下跟的內容就對特定蜘蛛有效。

2、Disallow指令： 指禁止搜索引擎抓取的路徑​，也就是說此指令定義了禁止蜘蛛抓取哪些內容

3、Allow指令: ​允許搜索引擎收錄的地址，此指令定義了允許蜘蛛抓些哪些內容，如果是某些內容允許，其它全部拒絕，則可以用這個指令，大多數網站只用到禁止指令。

User-agent的用法示例

此指令是用來定義蜘蛛名的：常見的蜘蛛名包括：Baiduspider、Googlebot、MSNBot、Baiduspider-image、YoudaoBot、Sogou web spider、Sogou inst spider、Sogou spider2、Sogou blog、Sogou News Spider、Sogou Orion spider、Sosospider、PangusoSpider、JikeSpider、yisouspider、EasouSpider。

Disallow的用法示例

1、禁止整站被抓�。�

Disallow: /

2、禁止根目錄下的woniuseo目錄抓�。�

Disallow: /woniuseo/

3、禁止根目錄下的woniuseo目錄下的單個頁面woniuseo.html被抓�。�

Disallow：/woniuseo/woniuseo.html

4、禁止全站含有？的頁面被抓取：

Disallow:  /*？*

5、禁止全站含有woniuseo的頁面被抓�。�

Disallow:  /*woniuseo*

6、禁止全站后綴為.aspx的頁面被抓�。�

Disallow:  /*.aspx$

7、禁止全站后綴為.jpg的文件被抓取：

Disallow:/*.jpb$

Allow的用法示例

1、允許所有頁面被抓�。�

Allow: /

2、允許woniuseo的目錄被抓取：

Allow: /woniuseo/

3、允許抓取.html的頁面：

Allow: /*.html$

4、允許抓取.jpg的圖片：

Allow: /*.jpg$

總結：

把上面的內容結合起來就能夠得到最佳的Wordpress程序robots.txt文件了。

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /attachment/
使用方法：新建一個名稱為robots.txt文本文件，將上面的內容放進去，然后上傳到網站根目錄即可。​最后，就要要去網站看一下文件是否存在http://你的域名/robots.txt。上面只是些基本的寫法，當然還有很多，不過這些已經夠我們使用了。