网页源代码查看 / 蜘蛛模拟抓取

这个工具能做什么

• 看蜘蛛眼中的页面。切换成百度蜘蛛或 Googlebot 抓取，如果返回的内容和浏览器差别很大，说明站点做了 UA 判断——可能是正常的 CDN 策略，也可能是被挂了只对蜘蛛显示的黑链。
• 排查收录问题。抓取结果会直接标出 noindex、缺失的 title / H1、过长的描述，以及被 301/302 跳转吃掉的路径。
• 确认 JS 渲染的影响。蜘蛛拿到的是未执行 JavaScript 的原始 HTML，纯前端渲染的站点在这里会看到空壳页面。
• 抓取由服务器发起，最多跟随 5 次跳转，每一跳都会重新校验目标是否为公网地址；页面最多读取 4MB。
• 相关：Meta 标签与关键词密度分析、网站 GZIP 压缩检测、HTTP 状态检测、Robots 检测。