robot txt 怎么用?robots.txt 基础写法与常见误区指南

📍 WDQWDWQD987AAAAA:216.73.216.114
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /8252fdb960a4.html
📄

很多站长在网站上线后才发现搜索引擎抓取混乱,其实第一步应该检查的就是 robot txt 文件。它的正确名称是 robots.txt,是放在网站根目录下的纯文本文件,用来告诉搜索引擎爬虫哪些路径可以抓取、哪些应当回避。理解它的作用,能帮助你更精准地控制抓取预算和页面收录。

robots.txt 的基本语法

一个最简单的 robot txt 文件通常由若干条规则组成,每条规则以 User-agent 开头,后接 Allow 或 Disallow。例如允许所有爬虫抓取全站,可以写 User-agent: * 和 Allow: /;如果想屏蔽后台目录,则写 Disallow: /admin/。需要注意,规则按路径前缀匹配,斜杠和大小写都可能影响结果。

常见误区与注意事项

robot txt 并不是安全工具。它只能约束遵守协议的爬虫,无法阻止恶意采集,因此不要用它来隐藏敏感文件。另外,Disallow 只是禁止抓取,并不等于禁止索引;如果页面已被外链指向,仍可能出现在搜索结果中。还要避免使用通配符过度屏蔽,否则可能误伤正常页面。

上线前的检查建议

  1. 确认文件位于网站根目录,且返回 200 状态码。
  2. 用搜索引擎官方工具测试规则是否生效。
  3. 检查是否误屏蔽 CSS、JS 等渲染资源。
  4. 在文件中加入 Sitemap 地址,方便爬虫发现内容。

总之,robot txt 是网站与搜索引擎沟通的第一道桥梁。写对规则、避开误区,才能让爬虫高效抓取真正重要的页面。

图1 图2

nginx