企业微信：@BDTIC
搜索引擎使用spider程序自动访问互联网上的网页并获取网页信息。spider在访问一个网站时，会首先会检查该网站的根域下是否有一个叫做robots.txt的纯文本文件，这个文件用于指定spider在您网站上的抓取范围。您可以在您的网站中创建一个robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。
请注意，仅当您的网站包含不希望被搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。
robots.txt文件放在哪里?
robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如http://www.abc.com）时，首先会检查该网站中是否存在http://www.abc.com/robots.txt这个文件，如果Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
| 网站 URL | 相应的 robots.txt的 URL |
| http://www.w3.org/ | http://www.w3.org/robots.txt |
| http://www.w3.org:80/ | http://www.w3.org:80/robots.txt |
| http://www.w3.org:1234/ | http://www.w3.org:1234/robots.txt |
| http://w3.org/ | http://w3.org/robots.txt |
禁止搜索引擎在搜索结果中显示网页快照，而只对网页建索引
百度支持通过设置网页的meta，防止搜索引擎显示网站的快照。方法如下：
要防止所有搜索引擎显示您网站的快照，请将此元标记置入网页的 <HEAD> 部分：
<meta name="robots" content="noarchive">
要允许其他搜索引擎显示快照，但仅防止百度显示，请使用以下标记：
<meta name="Baiduspider" content="noarchive">
注：此标记只是禁止百度显示该网页的快照，百度会继续为网页建索引，并在搜索结果中显示网页摘要。
我想禁止百度图片搜索收录某些图片，该如何设置？
禁止Baiduspider抓取网站上所有图片、禁止或允许Baiduspider抓取网站上的某种特定格式的图片文件可以通过设置robots实现，请参考“robots.txt文件用法举例”中的例10、11、12。
我在robots.txt中设置了禁止百度收录我网站的内容，为何还出现在百度搜索结果中？
如果其他网站链接了您robots.txt文件中设置的禁止收录的网页，那么这些网页仍然可能会出现在百度的搜索结果中，但您的网页上的内容不会被抓取、建入索引和显示，百度搜索结果中展示的仅是其他网站对您相关网页的描述。
| Allow或Disallow的值 | URL | 匹配结果 |
| /tmp | /tmp | yes |
| /tmp | /tmp.html | yes |
| /tmp | /tmp/a.html | yes |
| /tmp/ | /tmp | no |
| /tmp/ | /tmphoho | no |
| /tmp/ | /tmp/a.html | yes |
| /Hello* | /Hello.html | yes |
| /He*lo | /Hello,lolo | yes |
| /Heap*lo | /Hello,lolo | no |
| html$ | /tmpa.html | yes |
| /a.html$ | /a.html | yes |
| htm$ | /a.html | no |
| 例1. 禁止所有搜索引擎访问网站的任何部分 下载该robots.txt文件 |
User-agent: * Disallow: / |
例2. 允许所有的robot访问 |
User-agent: * Disallow: 或者 User-agent: * Allow: / |
| 例3. 仅禁止Baiduspider访问您的网站 | User-agent: Baiduspider Disallow: / |
| 例4. 仅允许Baiduspider访问您的网站 | User-agent: Baiduspider Disallow: User-agent: * Disallow: / |
| 例5. 禁止spider访问特定目录 在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即robot不会访问这三个目录。需要注意的是对每一个目录必须分开声明，而不能写成 "Disallow: /cgi-bin/ /tmp/"。 |
User-agent: * Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/ |
| 例6. 允许访问特定目录中的部分url |
User-agent: * Allow: /cgi-bin/see Allow: /tmp/hi Allow: /~joe/look Disallow: /cgi-bin/ Disallow: /tmp/ Disallow: /~joe/ |
| 例7. 使用"*"限制访问url 禁止访问/cgi-bin/目录下的所有以".htm"为后缀的URL(包含子目录)。 |
User-agent: * Disallow: /cgi-bin/*.htm |
| 例8. 使用"$"限制访问url 仅允许访问以".htm"为后缀的URL。 |
User-agent: * Allow: .htm$ Disallow: / |
| 例9. 禁止访问网站中所有的动态页面 |
User-agent: * Disallow: /*?* |
| 例10. 禁止Baiduspider抓取网站上所有图片 仅允许抓取网页，禁止抓取任何图片。 |
User-agent: Baiduspider Disallow: .jpg$ Disallow: .jpeg$ Disallow: .gif$ Disallow: .png$ Disallow: .bmp$ |
| 例11. 仅允许Baiduspider抓取网页和.gif格式图片 允许抓取网页和gif格式图片，不允许抓取其他格式图片 |
User-agent: Baiduspider Allow: .gif$ Disallow: .jpg$ Disallow: .jpeg$ Disallow: .png$ Disallow: .bmp$ |
| 例12. 仅禁止Baiduspider抓取.jpg格式图片 | User-agent: Baiduspider Disallow: .jpg$ |
在国内，网站管理者似乎对robots.txt并没有引起多大重视，应一些朋友之请求，今天想通过这篇文章来简单谈一下robots.txt的写作。