最新消息:您正在访问王光卫中文博客,点击有惊喜!博主简介 / 评论排名 / 在线留言 / 友情链接 / 订阅博客 / 网站收录 / 营销中心 / 微言微语 / 赞助本站

一些robots.txt的基本用法

SEO 王 光卫 92浏览 0评论

很多中小站长不知道怎么手写robots文件,现在我把总结的一些方式发放分享给大家,希望能有帮助。

A.  禁止所有搜索引擎访问网站的任何部分:

User-agent: *

Disallow: /

B.  允许所有的 robot 访问

User-agent: *

Disallow:

或者建一个空文件 “/robots.txt” file

C.  禁止所有搜索引擎访问网站的几个部分(下例中的 admin、tmp、private 目录)

User-agent: *

Disallow: /admin/

Disallow: /tmp/

Disallow: /private/

D.  禁止某个搜索引擎的访问(下例中的 Baidu)

User-agent: Baidu

Disallow: /

E.  只允许某个搜索引擎的访问(下例中的 Google)

User-agent: Google

Disallow:

User-agent: *

Disallow: /

F.王光卫中文博客的robots地址:

http://www.weilog.org/robots.txt

G.下面一个小工具专门检查 robots.txt文件的有效性:

http://www.searchengineworld.com/cgi-bin/robotcheck.cgi
H.你还可以使用百度站长工具的robots工具生成

转载请注明:王光卫中文博客 » 一些robots.txt的基本用法

您必须 登录 才能发表评论!

网友最新评论 (3)

  1. 还有没有其他写发呢?
    老实7年前 (2010-02-09)
  2. 文章不错。学到东西了。
    danieldeng7年前 (2010-04-24)