刚才在给90后站长网做403页面和500页面的时候,想起还有个robots属性就找了点资料整理一下发布出来自己日后备用了.
The Robots META tag放于后台HTML源代码的标头区(HEAD区)中。
我举一个例子：

...

Robot Meta Tag选项：
在一个Robots Meta Tag 中可使用的指令有四个：INDEX, NOINDEX, FOLLOW和 NOFOLLOW，以“,”分隔。其中：

INDEX指令：表示Robot可以索引本页;

FOLLOW指令：表示Robot可以跟踪本页链接;

NOINDEX指令：表示拒绝Robot索引本页，但可跟踪该页上的链接;

NOFOLLOW指令：表示拒绝Robot跟踪本页链接，但可索引本页。

实例：

在一些关于Robots Meta tag的搜索引擎文章中提到说，预定义的缺省设置是INDEX和FOLLOW。然而对Inktomi来说却并非如此。Inktomi的缺省项是INDEX和NOFOLLOW。

另外还有两个全局指令：ALL和NONE.

ALL=INDEX，FOLLOW：表示可以索引本页，且可跟踪该页链接;

NONE=NOINDEX，NOFOLLOW：表示不允许索引本页.

Google官方讲解NOINDEX、NOFOLLOW、NOARCHIVE及NOSNIPPET等Meta标签用法
简单地说，Meta标签即内嵌在你网页中的特殊的html标签，它包含着关于你网页的一些隐藏信息，能让搜索引擎更好地理解你的网站内容的种类。比如Yahoo!的NOODP Meta标签，作用就是防止搜索引擎调用ODP上面的描述性语句。
Google所支持的Meta标签也不少，比如Google官方讲解的就有NOINDEX、NOFOLLOW、NOARCHIVE及NOSNIPPET。
如果你对Google的长篇大论感到厌倦，SEL给出的简洁版则容易记住得多：
NOINDEX：告诉Google不要索引含此标签的网页。但根据实际经验，Google并非100%遵守。
NOFOLLOW：告诉Google不要关注含此标签的网页里的特定链接。这是为了解决链接spam而设计的Meta标签。
NOARCHIVE：告诉Google不要保存含此标签的网页的快照。
NOSNIPPET：告诉Google不要在搜索结果页的列表里显示含此标签的网站的描述语句，并且不要在列表里显示快照链接。