请输入您的网站完整地址
每行输入一个路径，支持通配符 * 和 ?
通常不需要填写，除非要覆盖禁止规则
设置爬虫访问间隔时间，0表示无限制
帮助搜索引擎更好地发现您的网站结构
使用说明
- 1 填写您的网站完整 URL（如 https://example.com）
- 2 勾选需要配置的搜索引擎，或选择"所有搜索引擎"应用通用规则
- 3 在"禁止访问的目录/文件"中输入不希望被爬取的路径，每行一个
- 4 根据需要配置允许访问路径、爬虫延迟和 Sitemap 地址
- 5 点击"生成 robots.txt"按钮，然后下载或复制生成的内容
- 6 将 robots.txt 文件上传到网站根目录
功能特点
- 支持 Google、百度、Bing、搜狗、360 等主流搜索引擎
- 自定义禁止访问的目录和文件，支持通配符匹配
- 配置 Crawl-delay 参数，控制爬虫访问频率
- 可添加 Sitemap 地址，帮助搜索引擎索引网站
注意事项
- robots.txt 必须放在网站根目录下，文件名全小写
- 搜索引擎需要一段时间才能发现和应用新规则
- robots.txt 不能作为安全防护手段
- 建议使用 Google Search Console 测试验证