Robots规则测试器
使用说明:
粘贴 robots.txt 内容,填写 User-agent 与 URL
支持通配符 * 与结尾匹配 $
遵循最长匹配优先,长度相同时 Allow 优先
Robots.txt 内容
User-agent
测试URL或路径
开始测试
示例
清空
允许抓取
Allow