Robots.txt 配置教程：语法规则与易踩坑细节解析
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /96f65d2e5d73.html
📄
Robots.txt 是放在站点根目录下的一个纯文本文件，通过约定俗成的指令告诉搜索引擎爬虫哪些路径可以访问、哪些区域应当绕开。它并不是一道强制性的安全门，而是一份依赖爬虫自觉遵守的协作约定。配置得当，能让爬虫抓取更高效，也能帮服务器省下不必要的开销。
1. Robots.txt 能做什么，不能做什么
爬虫访问网站时，通常第一步就会去读取根目录下的 robots.txt，以此确定抓取范围。如果文件不存在，爬虫会默认站内所有公开内容都可以抓取。
实际使用中，这份文件主要用来处理几类需求：隐藏后台管理入口、屏蔽低价值的自动生成页面（比如站内搜索页、标签聚合页）、降低高频抓取对服务器的压力。需要特别提醒的是，正规搜索引擎会尊重协议内容，但恶意脚本和采集程序根本不会理会它，所以不要把 robots.txt 当成安全防线来依赖。
2. 语法规则与核心指令详解
Robots.txt 由若干条记录组成，每条记录先声明 User-agent 指定针对的爬虫，再列出具体指令。要写好配置，先要弄清这几个指令的含义：
- User-agent：指明规则适用的爬虫名称，使用 * 表示对所有爬虫生效。
- Disallow：禁止抓取的路径前缀，例如 Disallow: /tmp/ 表示 /tmp/ 目录下所有内容都不可抓取。
- Allow：允许抓取的路径，在同一条记录内优先级高于 Disallow，适合在屏蔽整个目录的同时单独放行某个文件。
- Sitemap：提供 XML 站点地图的完整地址，帮助爬虫更快发现重要链接。
- Crawl-delay：建议爬虫连续请求之间的等待秒数。不过该指令并非所有搜索引擎都支持，有些已经不再识别。
2.1 份规范的配置示例
下面是一个结构清晰、容易理解的配置模板：
User-agent: *
Disallow: /cache/
Disallow: /private/
Allow: /private/help.html
Sitemap: https://www.example.com/sitemap.xml
这段配置表示：所有爬虫不能抓取 /cache/ 和 /private/ 目录，但 /private/help.html 这个页面被单独放行，同时告诉爬虫站点地图的位置。
3. 常见配置场景与注意事项
配置本身不难，但实际中经常因为几个细节把握不准而出现意外。以下几点值得特别留意：
- 全站开放收录：不需要限制任何路径时，留空 Disallow 字段即可，或者干脆不写这一行。千万不要写成 Disallow: /，那样会把整个站点都挡在索引之外。
- 临时整体屏蔽：如果只想短期内不让引擎收录，可以设置 Disallow: /。但用完后记得及时改回来，否则会影响后续抓取和收录进度。
- 路径匹配的精确性：Disallow 和 Allow 匹配的是路径前缀，而不是具体文件名。比如 Disallow: /news 会同时拦截 /news、/newsletter 等所有以该字符串开头的路径，写配置时要想清楚边界。
- 注释与空行：文件中可以使用 # 符号添加注释，空行用来分隔不同记录。注释不要写在指令行的中间位置，以免解析出错。
- 大小写敏感：路径匹配是区分大小写的，/Admin 和 /admin 会被视为两个完全不同的路径，配置前需要先确认站点目录的实际命名方式。
4. 验证配置效果与日常维护建议
写完 robots.txt 之后，建议做一次完整验证，确认配置符合预期。主要验证方式有：
- 通过浏览器直接访问 https://你的域名/robots.txt，检查文件是否能正常打开、内容是否完整。
- 使用搜索引擎站长工具中的 robots 测试功能，逐一核对关键路径的抓取状态。
- 查看站点日志中爬虫的实际访问记录，确认是否还有异常请求落在被屏蔽的路径上。
- 每次改动站点结构或新建栏目时，顺便检查该文件是否需要同步更新。
另外，配置要尽量简洁，规则数量控制在合理范围内。规则越多，越容易引入冲突和遗漏，后期维护的成本也会随之上升。
5. 常见问题
5.1 Robots.txt 写错了会影响网站安全吗？
不会直接影响安全，因为它本质上不是防护机制。但配置失误可能会导致后台页面或敏感目录被搜索引擎收录，间接增加信息泄露的风险。建议在测试环境中先验证再更新到正式站点。
5.2 Allow 和 Disallow 同时出现时到底听谁的？
在同一条 User-agent 记录内，Allow 的优先级高于 Disallow。也就是说，即使某个路径被 Disallow 屏蔽，只要对应的 Allow 规则更精确匹配，该路径仍然可以被抓取。实际配置时建议先把屏蔽规则写清楚，再单独补充放行规则。
5.3 网站有多个子域名，robots.txt 要分别配置吗？
需要。robots.txt 只对当前域名生效，每个子域名都需要独立放置一份。比如 www.example.com 和 m.example.com 必须各自维护自己的文件，互不影响。
6. 结语
Robots.txt 虽然只是一个简单的文本文件，但配置得是否合理，直接影响搜索引擎对网站的抓取效率和收录质量。建议你从最小化的规则开始，先屏蔽真正不需要的路径，再逐步补充细节。每次修改后都要用站长工具验证效果，并定期检查该文件，确保它与站点的实际结构保持一致。这样既能保护有限的服务资源，又能让搜索引擎更专注于抓取真正有价值的内容。
