逐个实测 AI 爬虫，看清谁被拦在门外

用真实的 user-agent 从外部访问你的网站，记录每一个 AI 爬虫实际拿到的响应。结果是一张可以截图、可以自己复现的表。

准入实测做三件事

先确认 AI 读得到，再谈内容写得好不好。

用各家公开的 user-agent 从外部发请求，记下状态码与返回内容。TBD-测试的 UA 数量与频率。

why it matters

TBD-收口文案。

实测会不会给我的网站带来负担？

TBD-答案（请求量与频率的真实口径确认后再写）。

测的是哪些 AI 爬虫？

TBD-答案：列出 UA 清单与运营方，并注明清单的更新日期。

结果我能自己复现吗？

能。每一行都写明请求用的 user-agent 与时间，你可以用同样的请求自己再测一遍。

robots.txt 已经放行了，为什么还会被拦？

robots.txt 只是声明。真正决定响应的是服务器前面的 CDN、WAF 或防火墙规则，它们可能按 UA 或 IP 另行拦截。