robotstxt 是什么？一文读懂 robots.txt 的作用与写法

📍 WDQWDWQD987AAAAA:216.73.217.52
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /691e7fa909df.html
📄

在网站运营和 SEO 优化中，robotstxt（即 robots.txt）是一个经常被提及却容易被忽视的文件。它位于网站根目录下，是搜索引擎爬虫访问网站时首先读取的协议文件，用来告诉爬虫哪些页面可以抓取、哪些页面应当避开。正确理解并配置 robots.txt，对网站收录、流量分配和服务器压力控制都有直接影响。

robotstxt 的核心作用

robots.txt 本质上是一个纯文本协议文件，遵循“爬虫协议”（Robots Exclusion Protocol）。它的主要作用包括：

• 限制搜索引擎蜘蛛抓取特定目录或文件，例如后台管理页面、临时文件目录；
• 引导爬虫优先抓取重要内容，减少无效抓取；
• 降低服务器负载，避免爬虫频繁访问动态参数页面；
• 配合 sitemap 声明，帮助爬虫发现站点地图。

robotstxt 的基本写法

一个典型的 robots.txt 文件由若干条记录组成，每条记录包含 User-agent 和对应的 Allow、Disallow、Sitemap 等指令。例如：

User-agent: *
Disallow: /admin/
Disallow: /tmp/
Allow: /public/
Sitemap: https://www.example.com/sitemap.xml

其中 User-agent 指定规则适用的爬虫，Disallow 表示禁止抓取的路径，Allow 用于在禁止目录中开放特定路径，Sitemap 则声明站点地图地址。需要注意的是，robots.txt 只是“建议”而非强制，恶意爬虫可能无视规则，因此敏感数据仍需通过权限控制保护。

配置 robotstxt 的常见误区

1. 使用 Disallow: / 屏蔽整站，导致搜索引擎无法收录任何页面；
2. 误将 CSS、JS 文件屏蔽，影响搜索引擎渲染和页面评估；
3. 规则顺序混乱，Allow 与 Disallow 冲突时以最长匹配为准；
4. 忘记更新 sitemap 地址，导致爬虫无法发现新内容。

总之，robotstxt 是网站与搜索引擎沟通的重要桥梁。合理配置 robots.txt，既能保护敏感目录，又能提升抓取效率，是每个网站运营者都应掌握的基础技能。