AI Engineering · 校验闭环的隐藏代价

两种收窄
为什么给 AI 加上校验,
反而可能让它变窄

一个已被充分研究的现象背后,藏着第二条没被单独讨论过的通道

摘要 · Abstract

给模型加可验证的奖励、加自我批判、加记忆回写 —— 这类「校验闭环」在过去两年成了标配。它确实有效,也有一个已被反复记录的副作用:模型会变窄。主流解释是 diversity collapse:训练把概率质量集中到少数已验证成功的路径上。那是一个优化动力学的故事,对策也顺着它走 —— 熵正则、课程学习。
本文说的是另一件事:校验器的覆盖边界,会悄悄变成生成器的世界边界。它和 diversity collapse 有同样的表征(可达空间缩小),但成因完全不同 —— 针对集中的对策打的是症状,而这里的病因是标签错了。更麻烦的是:两种情况下拦截率都在下降,单看这个指标分辨不出是进步还是逃避。
文末附一个可复跑的 A/B 实验:把「无法核验」等同于「错误」,代价是丢掉 50% 的可达空间 —— 而丢掉它的那一组,指标反而更好看。

发布 2026-07-25 类型 技术论点 + 小实验 实现 F3-OpenScience · Apache-2.0 状态 研究原型

关键词 · Keywords可达性 (reachability) · 校验闭环 · diversity collapse · RLVR · NOT ENOUGH INFO · 覆盖缺口 · 探索预算 · 认识论边界

这篇文章的性质

这是一个论点,附带一个量化机制的小实验 —— 不是关于真实 LLM 行为的实证结果。实验中校验是真的(打真实 arXiv / CrossRef / OpenAlex),但生成器是替身。第十节把边界写清楚了,包括「把替身换成真实模型,才是把论点变成发现的那个实验」。

01

先说已知的那条

KNOWN CHANNEL

给模型加可验证的奖励(RLVR)、加自我批判、加记忆回写 —— 这类「校验闭环」在过去两年成了标配。它确实有效,但也有一个已经被反复记录的副作用:模型会变窄。

最常被引用的证据是 Pass@k 交叉:RLVR 训练后的模型在 Pass@1 上明显更好,但当采样预算 k 放大,基座模型反而追上甚至超过它。也就是说,能解的题目集合缩小了,只是解得更稳了。

已有文献 · 这条通道已被充分讨论

工作说了什么
arXiv 2510.02230The Reasoning Boundary Paradox: How Reinforcement Learning Constrains Language Models
arXiv 2510.08325Beyond Pass@k: Breadth-Depth Metrics for Reasoning Boundaries —— 提出更细的边界度量
arXiv 2602.21420明确表述 diversity collapse:训练把概率质量集中到少数成功路径上,压制更广的解空间

这是一个优化动力学的故事。对策也顺着这个故事走:熵正则、clip-higher、课程学习、在低似然问题上加权 —— 都是在对抗「概率质量过度集中」。

本文不讲这条

这条通道已经被讲得很好了。本文要说的是另一件事 —— 它有同样的表征,但成因不同,因此上面那些对策打的是症状。

02

还有第二条

SECOND CHANNEL

核心论点

校验器的覆盖边界,会悄悄变成生成器的世界边界。

它和 diversity collapse 有同样的表征(可达空间缩小),但成因完全不同。

从一个具体的判定说起

假设系统要核验一条引用。它去查登记处,可能有三种结果:

① 查到了,吻合            → 支持
② 格式合法,但确证不存在   → 反驳
③ 查不到,也无法排除       → 证据不足

这个三分并不新鲜。FEVER(2018)就是 SUPPORTS / REFUTES / NOT ENOUGH INFO;幻觉检测领域也早有 contradictory 与 unverifiable 之分。

问题出在第三类的处置上

以 HalluLens(arXiv 2504.17550)为例,它清楚地区分了两类幻觉 —— 与参考信息矛盾的、以及缺乏支持证据无法核验的 —— 然后写道:
「我们把 incorrect 和 unverifiable 都视为幻觉。」

作为评测口径,这没问题:两者都不该署名发表。
但一旦这个口径被接进反馈回路 —— 被拒的样本写进经验库、写成负例、写进下一轮的生成约束 —— 事情就变了。

系统学到的不是「不要捏造」

而是:不要说那些我核验不了的东西。

于是它开始:

  • 只引用容易被索引的文献(新预印本、非英语、小众会议一律避开)
  • 只陈述能字面打印在日志里的数字(推导出来的、换算的、引用的,一律不说)
  • 只提出结构上好核验的命题

每一步都让指标更好看,每一步都让它更平庸。

这不是概率质量集中造成的,所以针对集中的对策打不中要害。

若收窄由硬过滤实现

生成前预核验、不合格直接丢弃 —— 熵正则完全够不着。它作用于采样分布,而那条论断根本没进入采样。

若由软信号实现

写成负例参与训练 —— 熵正则能把分布整体推宽、稀释一部分影响,但消除不了。它对抗的是集中,不是标签错了。

熵正则往各个方向均匀推,而这条通道是定向移走了一块区域。均匀推宽不会把被标记为无效的区域还给你,只会让你在剩下的允许空间里探索得更散。

两种情况下病根都还在:在系统的信号里,那些区域确实是错的。

03

为什么这条通道特别难被发现

INVISIBILITY

因为拦截率下降在两种情况下长得一模一样。

现象实质
A拦截率 ↓真进步 系统学会了不再捏造
B拦截率 ↓可达性坍缩 系统学会了绕开难核验的区域

如果你的仪表盘上只有「拦截率」这一条曲线,你无法区分 A 和 B。更糟的是,B 在短期内看起来比 A 还好:绕开难题的系统,拦截率下降得更快、更平滑。

一个特殊的 Goodhart 情形

这是典型的 Goodhart 定律,但它有个特殊之处:被优化坏掉的不是指标本身,而是指标背后那个没被测量的维度。

04

和已知问题的关系

RELATED WORK

需要说清楚这条通道和几个相邻概念的边界,否则容易被当成旧酒。

vs. diversity collapse

两者都导致可达空间缩小,但一个是优化把质量集中(沿「成功概率」轴收缩),一个是语义误判把区域标记为禁区(沿「可核验性」轴收缩)。

熵正则针对的是症状(集中),不是病因(标签错了) —— 对硬过滤完全无效,对软信号只能稀释、不能消除。

未实测 · 没有人拿熵正则去打这个失效模式,包括我。上面是机制层面的推理,不是实验结论。要证伪很容易:在 B 组之外再跑一个「A 组 + 强熵正则」,看可达率能不能救回来。

vs. 校验器盲区

代码生成领域已指出校验器盲区会传染 —— 用 LLM 生成的测试构造校验器会形成「同质化陷阱」(arXiv 2507.06920);递归自我改进综述也提到,AI 科学家的自我批判会「继承那些产生自信捏造的盲区」(arXiv 2607.07663)。

那些说的是校验器漏掉了什么(假阴性)。本文说的是相反方向:校验器把自己的无知误报成了世界的禁令(假阳性)。传播路径相反 —— 前者让坏东西通过,后者让好东西再也不被提出。

vs. self-confirming loop

Verification Mirage(arXiv 2605.10850)记录了多轮 verifier-generator 回路中 agreement bias 的累积。那是校验器与生成器趋同的问题。这里是校验器单方面塑造生成器的问题 —— 即使校验器完全独立、完全不共享参数,只要它的覆盖边界被当成真值,收窄照样发生。

05

一条分界线

THE FIX

修法只有一句话

校验失败不应该反向塑造生成偏好,除非那是捏造。

落到实现上,是把失败分成两类,只有一类有资格进入反馈信号:

类别含义可否约束生成
fabrication权威登记处确证不存在 —— 世界不允许✅ 可以
verification_gap索引未覆盖 / 判据不适用 —— 只是我看不到❌ 不可

判据落在证据基质的权威性上,而不是落在「通过与否」上:

关键:署名门槛一点没放松

两类失败都阻断产出。改变的只是 —— 它是否有资格塑造生成偏好。

缺口转为能力建设,而非生成禁区

UNINDEXED_CITATION          → 该扩哪块证据基质?
UNVERIFIABLE_DERIVED_NUMBER → 该实现推导式重算吗?

同一个信号,一个方向是「别再提这种东西」,另一个方向是「我该看得更远」。选错方向,系统就开始变窄。

06

让收窄可观测

HONEST METRICS

只报拦截率是自我欺骗。至少要三条曲线并读。

拦截率↓ + 可达率 持平/↑ + 探索率 持平/↑  =  learning       真的学会了
拦截率↓ + 可达率 ↓                        =  narrowing      ⚠ 绕开难核验区域
拦截率↓ + 可达率 持平 + 探索率 ↓           =  conservative   ⚠ 只敢走熟路

第三种最隐蔽:所有校验指标都好看,但系统已经不再提出低先验假设,退化成一台安全的平庸机器。只看前两条曲线,永远发现不了。

配套:可达性回归集

需要一个刻意构造的回归集,专收「世界允许但校验器容易误杀」的样本。它的价值不是刷高分,而是暴露边界。判定标准也很硬:

误拒率上升的改动不予合并 —— 即使它提高了拦截率。

07

把裁判从书目学迁向计算与物理

SUBSTRATE SHIFT

上面是防守。还有一半是进攻:如果校验只会查数据库,「可达」就永远等于「被收录过」。

所以判据要往下推,让其中一部分完全不依赖索引:

判据权威否定源依赖索引
登记处查询确证不存在是
索引匹配只覆盖,无权否定是
推导重算推导式与声明值矛盾否 · 计算
量纲 / 取值域准确率 > 1、量纲不可加否 · 物理
领域守恒原子不守恒、价键超上限否 · 物理

后三条不查任何数据库。H2 + O2 -> H2O 原子不守恒是纯算术;C2H8 的不饱和度是 −1,意味着氢原子超过骨架承载上限。任何数据库都改变不了它们。

这同时扩大了可达空间

数字不再要求字面出现在日志里,只要能被重算即可。相对提升、绝对增益、单位换算 —— 这些合法论断,以前会被字符串匹配一律拒绝。

放宽的是证据的形式,不是证明的责任。

08

一个反复出现的错误

FOUR OCCURRENCES

实现这套东西的过程里,同一个认识论错误在四个层级各出现了一次。我觉得这比机制本身更值得记下来。

▸① 基础设施层 —— 熔断器把 HTTP 404(登记处应答「没有」)和网络超时(连不上)混为一谈。连查几个捏造引用就触发熔断,系统随即丧失判定捏造的能力,一切退化为「未知」,而且结果依赖调用顺序、不可复现。最隐蔽
▸② 引用校验层 —— 把「索引查不到」当成「这篇论文不存在」。
▸③ 量纲推断层 —— 文本里同时出现 accuracy 和 improvement,武断按前者判定,于是把合法的「12.4% 提升」判成「概率超过 1,物理不可能」。
▸④ 领域判据层 —— 自由基 CH3 的不饱和度是半整数 —— 它真实存在,不该被判死。

四次都是同一件事

把自己的可观测边界,误当成世界的边界。

于是有了一条贯穿性的纪律:
未知就是未知,不伪装成已知,也不伪装成不可能。

语义有歧义 → 不下断言。判据不适用 → 承认判断不了。库没装 → 明写「能力缺失,非物理结论」。

有意思的是,最后一个错误还差点出现在测试基础设施里:CI 上的守卫探测的是「能否连上 arXiv」,而测试真正依赖的能力是「能否对一个不存在的 ID 得到明确否定」。普通查询成功了,但查不存在的 ID 被限流、降级为「未知」 —— 校验器于是正确地报了「待定」而非「捏造」,测试却因此失败。

同构

把「我能连上」当成「我能判定」,和把「我查不到」当成「它不存在」,是同一个错误。

09

一个小实验

A/B HARNESS

论证到这里都还是推理。我做了个最小实验,把机制量出来。

两组,除一行策略外完全相同

组策略
A 组 · 混同所有校验失败都写回生成约束 —— 主流做法
B 组 · 分离只有确证捏造写回;覆盖缺口转为能力待办

论断池 15 条:5 条易核验的真实文献、5 条真实但难核验的、5 条捏造的。跑 6 轮,每轮提出 8 条。校验用真实 API(arXiv / CrossRef / OpenAlex),哪些论断「难核验」由这些服务决定,不是我标的。

结果

                        A 组      B 组
  可达率 vs 基线        -0.50     +0.00
  难核验论断保留率         0.00      1.00
  拦截率(稳态)           0.00      0.50

注意最后一行的方向

A 组的拦截率归零,指标因此更好看。
它做到这一点的方式,是不再提出任何难以核验的东西。

B 组拦截率停在 0.50,恰恰因为它还在尝试那些论断。

如果你的仪表盘上只有拦截率,A 组是赢家。

对照条件 · 装置不会凭空制造效应

把池中「真实但难核验」的论断全部剔除,A 组无可失去 —— 此时可达率 +0.00,不再收窄。这一步让主结果不至于流于同义反复。

装置、论断池、逐轮数据都在仓库里,一条命令可复跑:

python3 experiments/narrowing/run_experiment.py            # 主条件
python3 experiments/narrowing/run_experiment.py --control  # 对照条件
10

我不知道的部分

LIMITS

必须说清楚这篇文章的边界。

上一节的实验量化了机制,但它不是关于真实 LLM 的证据

那个实验里,校验是真的,生成器是替身 —— 它只建模了一个属性:不提出匹配约束集的论断。它没有学习动力学、没有分布漂移、没有上下文效应。

所以它证明的是:在这个生成器模型下,混同会付出多大的可达空间代价。它不能证明真实 LLM 会以同样方式收窄。

我没有做的

所以

如果你认为这个论点成立,请不要因为我说的而相信它。

装置已经写好了,换个生成器就能跑。如果你手上有真实的带校验闭环的系统,把替身换掉重跑一次 —— 那才是决定性的证据。跑出零结果也请告诉我,那同样有价值。

11

为什么这件事重要

STAKES

能力可以外包,信任必须自建。当 AI 能把研究、编码、分析的活干完,竞争就从「谁更能干」转向「谁的产出更可采信」。

但可采信不该以丧失探索为代价。

一个只敢说别人说过的话、只敢报能打印出来的数、只敢提好核验的命题的系统,它的产出确实可信 —— 也确实平庸。

而突破恰恰住在低概率但物理上允许的地方:相变成核、罕见构象、全新骨架。一个把「我核验不了」翻译成「世界不允许」的系统,会系统性地把这些地方划为禁区,而且在所有指标上看起来都在进步。

所以真正的目标

不是「敢署名」,而是:
敢署名,且不因此变窄。

前者是门槛,后者是护城河。前者别人迟早跨得过去;后者需要在一开始就把认识论刻进架构。

实现与可复现的回归集:F3-OpenScience(Apache-2.0)。研究原型,未验证项在 STATUS.md 中如实列出 —— 包括本文第十节说的那些。

A/B 实验装置:experiments/narrowing · 可达性框架:docs/REACHABILITY.md

欢迎指出本文的错误,尤其是「其实已经有人做过」这一类。