模拟搜索引擎爬虫抓取网页,分析网站SEO效果
支持HTTP和HTTPS协议的网址
准备中...
在输入框中填写需要检测的完整网址(包含 http:// 或 https://)
从下拉菜单中选择要模拟的搜索引擎爬虫
根据需求选择抓取深度,建议从"仅当前页面"开始
勾选是否遵循robots.txt、检查Meta标签等选项
点击"开始模拟"按钮,等待抓取完成
分析返回的状态码、响应时间、robots.txt规则等