用 LLM 做自动化渗透测试（penetration testing，授权下对系统做模拟攻击以发现漏洞）是个被寄予厚望的方向，但'它到底有多强'一直没被准确测量过。这篇论文指出，问题出在现有评测的方法本身：端到端的黑盒评测极易受到错误级联（error cascading）的污染。 要理解这个问题，得先看渗透测试的典型流程，它大致分两个阶段：先是侦察（reconnaissance）——摸清目标系统的结构、开放端口、运行的服务、可能的入口；然后是利用（exploitation）——针对发现的弱点构造并执行攻击。这两个阶段是串行依赖的：侦察的产出是利用的输入。 错误级联的要害就在这个依赖上。在端到端评测里，如果 agent 在侦察阶段就出了错——比如没识别出某个服务、漏掉了某个入口——那它后面的利用阶段根本没机会展开，最终任务失败。但这个失败被记成'整体不行',却分不清根因到底是'不会侦察'还是'其实会利用、只是没拿到正确的侦察结果'。早期的失败掩盖了 agent 在后续环节的真实能力，导致测出来的分数系统性地低估、且无法定位短板。 作者的解法是一个两阶段解耦（two-stage decoupled）的基准：把侦察和利用拆开，分别评测。关键在于，评测利用能力时，可以给 agent 喂入正确的侦察结果，从而排除侦察失败的干扰，单独量出它的漏洞利用能力；同样也能单独评测侦察能力。这样测出来的，是每个环节各自的真实能力边界，而不是被级联误差搅浑的混合分数。 为什么值得关注：准确地刻画 LLM 的攻防能力边界，对防御方和政策制定者都至关重要——高估会引发不必要的恐慌，低估则会让人放松警惕。一个会系统性低估、又分不清短板的评测方法，给出的结论是危险的。这篇把评测方法本身做对，让'LLM 渗透能力到底到哪'这个问题有了更可信的答案。 影响层面，对做 AI 安全研究、攻防自动化、或在授权范围内用 LLM 做安全评估的人，这是一把更干净的尺子：它让你能分别知道模型在侦察和利用上各自的水平，从而更精准地判断风险点和能力缺口。 局限要标注：解耦评测的代价是它偏离了真实攻击的端到端连贯性——现实中侦察和利用是交织迭代的，拆开测出的'各环节能力'之和未必等于真实端到端表现。基准覆盖了哪些漏洞类型、哪些目标环境，也决定了结论的适用范围，需要看完整论文。