对于一个新做好的网站，我们有没有必要为它高定ROBOTS.TXT文件呢？

从我的观察来看，是很有必要的，因为我在观察日志的时候发现，由于我的网站没有这个文件，而百度机器人是来一次就会访问一次这个文件，但是没有的时候，在访问的时候就会出现404返回的状态码。虽然网上讲这个文件是可有可无的，但是就从这方面来讲还是很有必要有的。下面我就看一下这个返回码：

2008-11-03 06:09:18 W3SVC81 121.10.117.103 GET /robots.txt - 80 - 220.181.32.77 Baiduspider+(+http://www.baidu.com/search/spider.htm) 404 0 2

是吧，而且当访问一次的时候就会出现一次，为什么总要这个文件呢？那我们必须知道什么是robots文件：

搜索引擎机器人通过链接抵达互联网上的每个网页，并抓取网页信息。搜索引擎机器人在访问一个网站时，会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件。当我们的网站有一些内容不想被搜索引擎收录，我们可以通过设置robots.txt文件告知搜索引擎机器人。

所以我觉得为一个网站设置robots.txt文件是很有必要的。