蜘蛛模拟器

模拟搜索引擎蜘蛛抓取网页，分析网站SEO效果

输入网址

支持HTTP和HTTPS协议的网址

爬虫设置

爬虫类型

抓取深度

高级选项

遵循robots.txt规则

检查Meta标签

检查Sitemap