robots.txt的用途及网站爬虫类型

robots.txt 写给爬虫的规则说明文件，它位于网站的根目录下（例如 https://www.example.com/robots.txt），用于向网络爬虫（搜索引擎蜘蛛、机器人等）提供指令，告诉它们哪些页面或部分网站可以爬取（抓取），哪些不可以。

robots.txt写法

• User-agent： 告诉搜索引擎（或其他爬虫）：“这些规则是专门为你准备的”
• Disallow： 指定不允许爬虫访问的 URL 路径。可以禁止爬取特定目录（如 /admin/）、特定文件（如 /private.html），或者Disallow: /不允许爬取整个网站
• Allow： 写在 Disallow 指令之后，可以用来允许访问被禁止的路径中的特定子路径或文件（例如 Disallow: /private/ Allow: /public/）。Allow 指令通常用于更精细的控制。

列如：

# 针对Googlebot的规则，允许抓取整个网站
User-agent: Googlebot
Disallow: 

# 针对其他所有爬虫的规则（使用通配符*）
User-agent: * 
# 禁止抓取/private/目录下的所有内容
Disallow: /private/
# 禁止抓取以.html、.php结尾的特定目录（例如/admin/目录下的所有PHP和HTML文件）
Disallow: /admin/*.php$
Disallow: /admin/*.html$
# 允许抓取公共目录（即使上面有全局禁止，这里可以覆盖）
# Allow: /public/

# 指定站点地图的位置（推荐使用）
Sitemap: https://www.example.com/sitemap.xml

爬虫类型