请输入您的网站完整地址
每行输入一个路径，支持通配符 * 和 ?
通常不需要填写，除非要覆盖禁止规则
设置爬虫访问间隔时间，0表示无限制
帮助搜索引擎更好地发现您的网站结构
使用说明
- 1 填写您的网站完整 URL（如 https://example.com）
- 2 勾选需要配置的搜索引擎，或选择"所有搜索引擎"应用通用规则
- 3 在"禁止访问的目录/文件"中输入不希望被爬取的路径，每行一个
- 4 根据需要配置允许访问路径、爬虫延迟和 Sitemap 地址
- 5 点击"生成 robots.txt"按钮，然后下载或复制生成的内容
- 6 将 robots.txt 文件上传到网站根目录
功能特点
- 支持 Google、百度、Bing、搜狗、360 等主流搜索引擎
- 自定义禁止访问的目录和文件，支持通配符匹配
- 配置 Crawl-delay 参数，控制爬虫访问频率
- 可添加 Sitemap 地址，帮助搜索引擎索引网站
注意事项
- robots.txt 必须放在网站根目录下，文件名全小写
- 搜索引擎需要一段时间才能发现和应用新规则
- robots.txt 不能作为安全防护手段
- 建议使用 Google Search Console 测试验证
安全保障
Robots生成工具可在线生成robots.txt文件，通过可视化界面配置搜索引擎爬虫的抓取规则。您可以设置允许或禁止抓取的目录、指定不同搜索引擎的规则、添加Sitemap地址等。正确配置robots.txt可有效控制搜索引擎抓取范围，保护隐私页面不被索引，引导搜索引擎更高效地抓取重要内容。生成的文件可直接下载使用，是网站SEO优化的重要基础配置。
常见问题
robots.txt放在网站什么位置？
必须放在网站根目录下，通过 域名/robots.txt 可直接访问才有效。
禁止抓取等于不收录吗？
不一定，robots.txt只是建议而非强制，搜索引擎可能仍会索引被禁止的页面（只是不抓取内容）。
如何验证robots.txt是否正确？
可使用Google Search Console的robots.txt测试工具验证规则是否按预期生效。
隐私安全：本工具所有操作均在本地浏览器完成，您的数据不会上传到任何服务器。