先说结论
站群最大的技术事故不是代码错，是全站被 robots 屏蔽——而且不会有任何报错。
robots 事故复盘
上线后在某次配置里把 cityPathMode 留成了 1（路径模式）。结果：
- 链接已经是子域名形式
- 但 robots.txt 仍按"路径模式"返回
Disallow: / - 1.2 万个城市站全部无法收录
这个问题一直到上线后才被发现，因为页面访问完全正常，只有爬虫看到的是"禁止抓取"。
教训：
- robots 必须和链接模式联动，不能两套配置各管各的
- 上线检查清单里必须有"用爬虫视角看 robots"
- Search Console 的"已发现但未收录"要及时看
sitemap 分片
站点超过 2 万后，单一 sitemap 太大：
/sitemap.xml → 索引
/sitemap-core.xml → 门户核心页
/sitemap-sites/1.xml → 每片 2 万条
/sitemap-sites/2.xml
- 每片 2 万条，文件缓存 1 小时
- 新站上线后不用手动提交，等索引更新即可
- 分片缓存过期时间要短于内容更新频率
门户聚合页的作用
1.2 万个站如果彼此孤立，爬虫很难发现。门户提供入口：
- 全部站点列表（分页）
- 按省/市聚合的地区页
- 同租户站点互链（每个城市站底部链同省站点）
收录监测
- 每周看一次 Search Console 的"已发现网址"与"已收录"
- 收录率低于 50% 先查 robots 与 sitemap，再查内容质量