AI Engineering · 校验闭环的隐藏代价
一个已被充分研究的现象背后,藏着第二条没被单独讨论过的通道
摘要 · Abstract
给模型加可验证的奖励、加自我批判、加记忆回写 —— 这类「校验闭环」在过去两年成了标配。它确实有效,也有一个已被反复记录的副作用:模型会变窄。主流解释是 diversity collapse:训练把概率质量集中到少数已验证成功的路径上。那是一个优化动力学的故事,对策也顺着它走 —— 熵正则、课程学习。
本文说的是另一件事:校验器的覆盖边界,会悄悄变成生成器的世界边界。它和 diversity collapse 有同样的表征(可达空间缩小),但成因完全不同 —— 针对集中的对策打的是症状,而这里的病因是标签错了。更麻烦的是:两种情况下拦截率都在下降,单看这个指标分辨不出是进步还是逃避。
文末附一个可复跑的 A/B 实验:把「无法核验」等同于「错误」,代价是丢掉 50% 的可达空间 —— 而丢掉它的那一组,指标反而更好看。
关键词 · Keywords可达性 (reachability) · 校验闭环 · diversity collapse · RLVR · NOT ENOUGH INFO · 覆盖缺口 · 探索预算 · 认识论边界
这篇文章的性质
这是一个论点,附带一个量化机制的小实验 —— 不是关于真实 LLM 行为的实证结果。实验中校验是真的(打真实 arXiv / CrossRef / OpenAlex),但生成器是替身。第十节把边界写清楚了,包括「把替身换成真实模型,才是把论点变成发现的那个实验」。
给模型加可验证的奖励(RLVR)、加自我批判、加记忆回写 —— 这类「校验闭环」在过去两年成了标配。它确实有效,但也有一个已经被反复记录的副作用:模型会变窄。
最常被引用的证据是 Pass@k 交叉:RLVR 训练后的模型在 Pass@1 上明显更好,但当采样预算 k 放大,基座模型反而追上甚至超过它。也就是说,能解的题目集合缩小了,只是解得更稳了。
已有文献 · 这条通道已被充分讨论
| 工作 | 说了什么 |
|---|---|
| arXiv 2510.02230 | The Reasoning Boundary Paradox: How Reinforcement Learning Constrains Language Models |
| arXiv 2510.08325 | Beyond Pass@k: Breadth-Depth Metrics for Reasoning Boundaries —— 提出更细的边界度量 |
| arXiv 2602.21420 | 明确表述 diversity collapse:训练把概率质量集中到少数成功路径上,压制更广的解空间 |
这是一个优化动力学的故事。对策也顺着这个故事走:熵正则、clip-higher、课程学习、在低似然问题上加权 —— 都是在对抗「概率质量过度集中」。
本文不讲这条
这条通道已经被讲得很好了。本文要说的是另一件事 —— 它有同样的表征,但成因不同,因此上面那些对策打的是症状。
核心论点
校验器的覆盖边界,会悄悄变成生成器的世界边界。
它和 diversity collapse 有同样的表征(可达空间缩小),但成因完全不同。
从一个具体的判定说起
假设系统要核验一条引用。它去查登记处,可能有三种结果:
① 查到了,吻合 → 支持 ② 格式合法,但确证不存在 → 反驳 ③ 查不到,也无法排除 → 证据不足
这个三分并不新鲜。FEVER(2018)就是 SUPPORTS / REFUTES / NOT ENOUGH INFO;幻觉检测领域也早有 contradictory 与 unverifiable 之分。
问题出在第三类的处置上
以 HalluLens(arXiv 2504.17550)为例,它清楚地区分了两类幻觉 —— 与参考信息矛盾的、以及缺乏支持证据无法核验的 —— 然后写道:
「我们把 incorrect 和 unverifiable 都视为幻觉。」
作为评测口径,这没问题:两者都不该署名发表。
但一旦这个口径被接进反馈回路 —— 被拒的样本写进经验库、写成负例、写进下一轮的生成约束 —— 事情就变了。
系统学到的不是「不要捏造」
而是:不要说那些我核验不了的东西。
于是它开始:
每一步都让指标更好看,每一步都让它更平庸。
这不是概率质量集中造成的,所以针对集中的对策打不中要害。
若收窄由硬过滤实现
生成前预核验、不合格直接丢弃 —— 熵正则完全够不着。它作用于采样分布,而那条论断根本没进入采样。
若由软信号实现
写成负例参与训练 —— 熵正则能把分布整体推宽、稀释一部分影响,但消除不了。它对抗的是集中,不是标签错了。
熵正则往各个方向均匀推,而这条通道是定向移走了一块区域。均匀推宽不会把被标记为无效的区域还给你,只会让你在剩下的允许空间里探索得更散。
两种情况下病根都还在:在系统的信号里,那些区域确实是错的。
因为拦截率下降在两种情况下长得一模一样。
| 现象 | 实质 | |
|---|---|---|
| A | 拦截率 ↓ | 真进步 系统学会了不再捏造 |
| B | 拦截率 ↓ | 可达性坍缩 系统学会了绕开难核验的区域 |
如果你的仪表盘上只有「拦截率」这一条曲线,你无法区分 A 和 B。更糟的是,B 在短期内看起来比 A 还好:绕开难题的系统,拦截率下降得更快、更平滑。
一个特殊的 Goodhart 情形
这是典型的 Goodhart 定律,但它有个特殊之处:被优化坏掉的不是指标本身,而是指标背后那个没被测量的维度。
需要说清楚这条通道和几个相邻概念的边界,否则容易被当成旧酒。
vs. diversity collapse
两者都导致可达空间缩小,但一个是优化把质量集中(沿「成功概率」轴收缩),一个是语义误判把区域标记为禁区(沿「可核验性」轴收缩)。
熵正则针对的是症状(集中),不是病因(标签错了) —— 对硬过滤完全无效,对软信号只能稀释、不能消除。
未实测 · 没有人拿熵正则去打这个失效模式,包括我。上面是机制层面的推理,不是实验结论。要证伪很容易:在 B 组之外再跑一个「A 组 + 强熵正则」,看可达率能不能救回来。
vs. 校验器盲区
代码生成领域已指出校验器盲区会传染 —— 用 LLM 生成的测试构造校验器会形成「同质化陷阱」(arXiv 2507.06920);递归自我改进综述也提到,AI 科学家的自我批判会「继承那些产生自信捏造的盲区」(arXiv 2607.07663)。
那些说的是校验器漏掉了什么(假阴性)。本文说的是相反方向:校验器把自己的无知误报成了世界的禁令(假阳性)。传播路径相反 —— 前者让坏东西通过,后者让好东西再也不被提出。
vs. self-confirming loop
Verification Mirage(arXiv 2605.10850)记录了多轮 verifier-generator 回路中 agreement bias 的累积。那是校验器与生成器趋同的问题。这里是校验器单方面塑造生成器的问题 —— 即使校验器完全独立、完全不共享参数,只要它的覆盖边界被当成真值,收窄照样发生。
修法只有一句话
校验失败不应该反向塑造生成偏好,除非那是捏造。
落到实现上,是把失败分成两类,只有一类有资格进入反馈信号:
| 类别 | 含义 | 可否约束生成 |
|---|---|---|
| fabrication | 权威登记处确证不存在 —— 世界不允许 | ✅ 可以 |
| verification_gap | 索引未覆盖 / 判据不适用 —— 只是我看不到 | ❌ 不可 |
判据落在证据基质的权威性上,而不是落在「通过与否」上:
关键:署名门槛一点没放松
两类失败都阻断产出。改变的只是 —— 它是否有资格塑造生成偏好。
缺口转为能力建设,而非生成禁区
UNINDEXED_CITATION → 该扩哪块证据基质? UNVERIFIABLE_DERIVED_NUMBER → 该实现推导式重算吗?
同一个信号,一个方向是「别再提这种东西」,另一个方向是「我该看得更远」。选错方向,系统就开始变窄。
只报拦截率是自我欺骗。至少要三条曲线并读。
拦截率↓ + 可达率 持平/↑ + 探索率 持平/↑ = learning 真的学会了 拦截率↓ + 可达率 ↓ = narrowing ⚠ 绕开难核验区域 拦截率↓ + 可达率 持平 + 探索率 ↓ = conservative ⚠ 只敢走熟路
第三种最隐蔽:所有校验指标都好看,但系统已经不再提出低先验假设,退化成一台安全的平庸机器。只看前两条曲线,永远发现不了。
配套:可达性回归集
需要一个刻意构造的回归集,专收「世界允许但校验器容易误杀」的样本。它的价值不是刷高分,而是暴露边界。判定标准也很硬:
误拒率上升的改动不予合并 —— 即使它提高了拦截率。
上面是防守。还有一半是进攻:如果校验只会查数据库,「可达」就永远等于「被收录过」。
所以判据要往下推,让其中一部分完全不依赖索引:
| 判据 | 权威否定源 | 依赖索引 |
|---|---|---|
| 登记处查询 | 确证不存在 | 是 |
| 索引匹配 | 只覆盖,无权否定 | 是 |
| 推导重算 | 推导式与声明值矛盾 | 否 · 计算 |
| 量纲 / 取值域 | 准确率 > 1、量纲不可加 | 否 · 物理 |
| 领域守恒 | 原子不守恒、价键超上限 | 否 · 物理 |
后三条不查任何数据库。H2 + O2 -> H2O 原子不守恒是纯算术;C2H8 的不饱和度是 −1,意味着氢原子超过骨架承载上限。任何数据库都改变不了它们。
这同时扩大了可达空间
数字不再要求字面出现在日志里,只要能被重算即可。相对提升、绝对增益、单位换算 —— 这些合法论断,以前会被字符串匹配一律拒绝。
放宽的是证据的形式,不是证明的责任。
实现这套东西的过程里,同一个认识论错误在四个层级各出现了一次。我觉得这比机制本身更值得记下来。
四次都是同一件事
把自己的可观测边界,误当成世界的边界。
于是有了一条贯穿性的纪律:
未知就是未知,不伪装成已知,也不伪装成不可能。
语义有歧义 → 不下断言。判据不适用 → 承认判断不了。库没装 → 明写「能力缺失,非物理结论」。
有意思的是,最后一个错误还差点出现在测试基础设施里:CI 上的守卫探测的是「能否连上 arXiv」,而测试真正依赖的能力是「能否对一个不存在的 ID 得到明确否定」。普通查询成功了,但查不存在的 ID 被限流、降级为「未知」 —— 校验器于是正确地报了「待定」而非「捏造」,测试却因此失败。
同构
把「我能连上」当成「我能判定」,和把「我查不到」当成「它不存在」,是同一个错误。
论证到这里都还是推理。我做了个最小实验,把机制量出来。
两组,除一行策略外完全相同
| 组 | 策略 |
|---|---|
| A 组 · 混同 | 所有校验失败都写回生成约束 —— 主流做法 |
| B 组 · 分离 | 只有确证捏造写回;覆盖缺口转为能力待办 |
论断池 15 条:5 条易核验的真实文献、5 条真实但难核验的、5 条捏造的。跑 6 轮,每轮提出 8 条。校验用真实 API(arXiv / CrossRef / OpenAlex),哪些论断「难核验」由这些服务决定,不是我标的。
结果
A 组 B 组 可达率 vs 基线 -0.50 +0.00 难核验论断保留率 0.00 1.00 拦截率(稳态) 0.00 0.50
注意最后一行的方向
A 组的拦截率归零,指标因此更好看。
它做到这一点的方式,是不再提出任何难以核验的东西。
B 组拦截率停在 0.50,恰恰因为它还在尝试那些论断。
如果你的仪表盘上只有拦截率,A 组是赢家。
对照条件 · 装置不会凭空制造效应
把池中「真实但难核验」的论断全部剔除,A 组无可失去 —— 此时可达率 +0.00,不再收窄。这一步让主结果不至于流于同义反复。
装置、论断池、逐轮数据都在仓库里,一条命令可复跑:
python3 experiments/narrowing/run_experiment.py # 主条件 python3 experiments/narrowing/run_experiment.py --control # 对照条件
必须说清楚这篇文章的边界。
上一节的实验量化了机制,但它不是关于真实 LLM 的证据
那个实验里,校验是真的,生成器是替身 —— 它只建模了一个属性:不提出匹配约束集的论断。它没有学习动力学、没有分布漂移、没有上下文效应。
所以它证明的是:在这个生成器模型下,混同会付出多大的可达空间代价。它不能证明真实 LLM 会以同样方式收窄。
我没有做的
所以
如果你认为这个论点成立,请不要因为我说的而相信它。
装置已经写好了,换个生成器就能跑。如果你手上有真实的带校验闭环的系统,把替身换掉重跑一次 —— 那才是决定性的证据。跑出零结果也请告诉我,那同样有价值。
能力可以外包,信任必须自建。当 AI 能把研究、编码、分析的活干完,竞争就从「谁更能干」转向「谁的产出更可采信」。
但可采信不该以丧失探索为代价。
一个只敢说别人说过的话、只敢报能打印出来的数、只敢提好核验的命题的系统,它的产出确实可信 —— 也确实平庸。
而突破恰恰住在低概率但物理上允许的地方:相变成核、罕见构象、全新骨架。一个把「我核验不了」翻译成「世界不允许」的系统,会系统性地把这些地方划为禁区,而且在所有指标上看起来都在进步。
所以真正的目标
不是「敢署名」,而是:
敢署名,且不因此变窄。
前者是门槛,后者是护城河。前者别人迟早跨得过去;后者需要在一开始就把认识论刻进架构。
实现与可复现的回归集:F3-OpenScience(Apache-2.0)。研究原型,未验证项在 STATUS.md 中如实列出 —— 包括本文第十节说的那些。
A/B 实验装置:experiments/narrowing · 可达性框架:docs/REACHABILITY.md
欢迎指出本文的错误,尤其是「其实已经有人做过」这一类。