robots.txt怎么写？从零开始编写robots.txt的完整教程

📍 WDQWDWQD987AAAAA:216.73.216.5
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /9c78eae60d2e.html
📄

robots.txt 是网站与搜索引擎爬虫之间的“沟通协议”，正确编写它可以帮助你控制爬虫的抓取范围，保护敏感页面，同时避免影响网站收录。那么，robots.txt 怎么写才规范？本文将从基础语法到实战示例，带你快速掌握。

一、robots.txt 的基本结构

一个标准的 robots.txt 文件由若干条记录组成，每条记录包含 User-agent（指定爬虫）和一组规则（Allow 或 Disallow）。规则通常以行为单位，具体写法如下：

• User-agent: 指定爬虫名称，如 Baiduspider、Googlebot，用 * 表示所有爬虫。
• Disallow: 禁止抓取的路径，例如 /admin/。
• Allow: 允许抓取的路径，用于覆盖 Disallow 规则。
• Sitemap: 声明网站地图地址，便于爬虫发现。

二、常见场景示例

1. 禁止所有爬虫抓取全站

如果你希望网站暂时不被搜索引擎收录，可以这样写：

User-agent: *
Disallow: /

2. 仅禁止抓取特定目录

例如禁止抓取后台和临时目录：

User-agent: *
Disallow: /admin/
Disallow: /tmp/

3. 允许特定爬虫而禁止其他

可以针对不同爬虫分别设置规则，注意每条 User-agent 规则独立生效。

三、编写注意事项

1. 文件必须放在网站根目录，命名为 robots.txt，且区分大小写。
2. 规则匹配遵循“最长路径优先”，Allow 和 Disallow 同时存在时，更具体的路径生效。
3. 不要使用 Disallow 屏蔽 CSS、JS 等影响页面渲染的资源，以免影响收录质量。
4. 定期检查 robots.txt 是否误屏蔽重要页面，可通过搜索引擎站长工具测试。

掌握以上要点，你就能根据网站需求写出合理的 robots.txt。建议在修改后使用百度搜索资源平台或 Google Search Console 的 robots.txt 测试工具验证规则，确保爬虫按预期抓取。