robots.txt 生成器
在线生成robots.txt文件，配置搜索引擎爬虫访问规则
请输入您的网站完整地址
每行输入一个路径，支持通配符 * 和 ?
通常不需要填写，除非要覆盖禁止规则
设置爬虫访问间隔时间，0表示无限制
可选，帮助搜索引擎发现您的网站结构
使用说明
- 将生成的robots.txt文件上传到您网站的根目录
- 确保文件名为"robots.txt"（全小写）
- 通过 https://yourdomain.com/robots.txt 验证文件是否可访问
- 建议同时创建sitemap.xml文件