robots.txt的用途及网站爬虫类型

robots.txt 写给爬虫的规则说明文件，它位于网站的根目录下（例如 https://www.example.com/robots.txt），用于向网络爬虫（搜索引擎蜘蛛、机器人等）提供指令，告诉它们哪些页面或部分网站可以爬取（抓取），哪些不可以。

robots.txt写法

• User-agent： 告诉搜索引擎（或其他爬虫）：“这些规则是专门为你准备的”
• Disallow： 禁止爬虫访问的 网页或目录。可以禁止爬取特定目录（如 /admin/）、特定文件（如 /private.html），或者Disallow: /禁止爬取整个网站
• Allow： 允许访问被禁止的路径中的特定子路径或文件

列如：

# 针对Googlebot的规则，允许抓取整个网站
User-agent: Googlebot
Allow: /

# 针对其他所有爬虫的规则（使用通配符*）
User-agent: * 

Disallow: /private/     # 禁止抓取/private/目录下的所有内容
Disallow: /admin/*.php$     # 禁止抓取以.html、.php结尾的特定目录（例如/admin/目录下的所有PHP和HTML文件）
Disallow: /admin/*.html$

# Allow: /public/     # 允许抓取公共目录（即使上面有全局禁止，这里可以覆盖）

Sitemap: https://www.example.com/sitemap.xml     # 指定站点地图的位置（推荐使用）

直接粘贴使用

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

爬虫类型