robots 与 sitemap
确认 robots 没有误屏蔽，sitemap URL 正确、可访问、更新时间合理。
蜘蛛池上线前技术检查清单
上线前检查越完整，后续蜘蛛池出租服务越不容易浪费在错误页面上。
状态码与 canonical
检查 200、301、404、5xx 状态，确认 canonical 指向主 URL。
移动端与响应速度
移动端页面不能缺内容，服务器响应要稳定，避免蜘蛛访问超时。
为什么要先检查
如果页面被 robots 阻断、canonical 指错、状态码异常，即使使用网页爬虫快速收录蜘蛛池，也可能只得到无效抓取。
检查后怎么分组
把 URL 分为可推送、需修复、暂不推送三组。可推送页面进入第一批蜘蛛池分发，需修复页面处理后再进入队列。