很多站长在网站上线后才发现搜索引擎抓取混乱,其实第一步应该检查的就是 robot txt 文件。它的正确名称是 robots.txt,是放在网站根目录下的纯文本文件,用来告诉搜索引擎爬虫哪些路径可以抓取、哪些应当回避。理解它的作用,能帮助你更精准地控制抓取预算和页面收录。
一个最简单的 robot txt 文件通常由若干条规则组成,每条规则以 User-agent 开头,后接 Allow 或 Disallow。例如允许所有爬虫抓取全站,可以写 User-agent: * 和 Allow: /;如果想屏蔽后台目录,则写 Disallow: /admin/。需要注意,规则按路径前缀匹配,斜杠和大小写都可能影响结果。
robot txt 并不是安全工具。它只能约束遵守协议的爬虫,无法阻止恶意采集,因此不要用它来隐藏敏感文件。另外,Disallow 只是禁止抓取,并不等于禁止索引;如果页面已被外链指向,仍可能出现在搜索结果中。还要避免使用通配符过度屏蔽,否则可能误伤正常页面。
总之,robot txt 是网站与搜索引擎沟通的第一道桥梁。写对规则、避开误区,才能让爬虫高效抓取真正重要的页面。