robots.txt 生成与检测

生成 robots.txt 并检测已有规则：可从模板快速起步，按 User-agent 配置放行与屏蔽目录、声明 Sitemap 地址，还能按指定爬虫身份逐条判定某条 URL 是否会被抓取，避免误屏蔽导致页面不收录。

生成 robots.txt

从模板开始

User-agent（多个用逗号分隔）

抓取规则（最长匹配优先，Allow 优先）

类型	路径 / 值	操作

Sitemap 地址（可选，一行一条）

生成结果

检测已有 robots.txt

粘贴 robots.txt 全文

抓取判定

用上方粘贴的规则
判断某个 URL 是否可抓取

URL 或路径

爬虫身份