robots.txt规则详解:从入门到精通的抓取控制指南

📍 WDQWDWQD987AAAAA:216.73.216.114
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /d17732ca347a.html
📄

robots.txt规则是搜索引擎爬虫访问网站时遵循的第一道指令,正确配置它能有效管理抓取流量、保护敏感目录。本文将从基础语法到高级规则,帮助你全面掌握robots.txt的编写要点。

一、robots.txt规则的基本语法

robots.txt是一个存放在网站根目录下的纯文本文件,通过User-agent和Disallow/Allow指令告诉爬虫哪些路径可以抓取、哪些不能。基本格式如下:

二、常见robots.txt规则示例

  1. 禁止所有爬虫抓取整站:User-agent: * 与 Disallow: /
  2. 仅允许百度抓取:User-agent: Baiduspider 与 Allow: /,其他爬虫用Disallow: /
  3. 屏蔽后台目录:Disallow: /admin/
  4. 允许抓取图片但禁止抓取动态参数页:Allow: /*.jpg$ 与 Disallow: /*?*

三、编写robots.txt规则的注意事项

规则匹配遵循最长路径优先原则,Allow与Disallow冲突时以更具体的规则为准。同时,robots.txt规则只是协议而非强制手段,敏感信息应通过权限验证保护,避免依赖robots.txt隐藏内容。定期使用百度搜索资源平台等工具检测规则是否生效,并确保Sitemap地址正确无误。

掌握robots.txt规则,既能提升爬虫抓取效率,也能降低服务器压力,是网站SEO优化的基础环节。

图1 图2

nginx