14.11. HTML meta robots 搜索引擎索引方式
robots 属性值 -- 定义网页搜索引擎索引方式
robots语法
<metaname="robots"content="robotterms"/>
robotterms是一组使用逗号(,)分割的值，通常有如下几种取值：none，noindex，nofollow，all，index和follow。
robots取值
- none
- 搜索引擎将忽略此网页，等价于noindex，nofollow。
- noindex
- 搜索引擎不索引此网页。
- nofollow
- 搜索引擎不继续通过此网页的链接索引搜索其它的网页。
- all
- 搜索引擎将索引此网页与继续通过此网页的链接索引，等价于index，follow。
- index
- 搜索引擎索引此网页。
- follow
- 搜索引擎继续通过此网页的链接索引搜索其它的网页。
robots的使用说明
- robots提供的搜索引擎对网页的索引方式 http://www.dreamdu.com/xhtml/；
- 如果网页没有提供robots，搜索引擎认为网页的robots属性为all(index，follow)；
robots常用示例
<metaname="robots"content="noindex"/>
上面示例定义了此网页不被搜索引擎索引进数据库，但搜索引擎可以通过此网页的链接继续索引其它网页
<metaname="robots"content="nofollow"/>
上面示例定义了梦之都此网页被搜索引擎索引进数据库，但搜索引擎不可以通过此网页的链接继续索引其它网页
<metaname="robots"content="none"/>
上面示例定义了此网页不被搜索引擎索引进数据库，且搜索引擎不可以通过此网页的链接继续索引其它网页
针对谷歌GOOGLEBOT使用robots
可以将name的属性只定义为GOOGLEBOT标识为谷歌搜索引擎。 使用元标记拦截或删除网页
<metaname="googlebot"content="noindex, nofollow"/>
针对百度baiduspider使用robots
可以将name的属性只定义为baiduspider标识为百度搜索引擎。禁止搜索引擎收录的方法
<metaname="baiduspider"content="noarchive"/>