例子：
http://www.cncn.com/robots.txt 有效
http://www.cncn.com/bbs/robots.txt 无效
4.生效时间
robots.txt文件一般生效时间为7-15天，即1-2周。如果新网站源码中包含robots.txt文件，那样蜘蛛进行爬行时就会生效，如果是后来添加的，那样蜘蛛需要对数据进行更新，时间一般在7-15天。
5.关于robots.txt一般站长需要注意以下几点：
1.）网站上经常存在这种情况：不同的链接指向相似的网页内容。这不符合SEO上讲的“网页内容互异性原则”。采用robots.txt文件可以屏蔽掉次要的链接。
2.）网站改版或URL重写优化时原来不符合搜索引擎友好的链接需要全部屏蔽掉。采用robots.txt文件删除旧的链接符合搜索引擎友好。
3.）一些没有关键词的页面，比如站内的搜索结果页面屏蔽掉更好
4.）网站中的脚本程序、样式表等文件即使被蜘蛛收录，也不会增加网站的收录率，还只会占用服务器存储空间。因此必须在robots.txt文件里设置不要让搜索蜘蛛索引脚本程序、样式表等文件。
5.）搜索蜘蛛抓取网页太浪费服务器资源，在robots.txt文件中设置所有的搜索蜘蛛都不能抓取全部的网页。如果这样的话，会导致整个网站不能被搜索引擎收录。
