技术报告

WSDM 2027 Findings ·

RAG 证据选择,多测一次会怎样?

同样九次目标测量,可以直接选出已测最优,也可以推算出一个组合。对候选组合补测一次,看看最后该选哪些证据。

  • 论文伴读 1.1
  • 首次发布
  • 更新

Complex Utility, Simple Calibration: Decision Sufficiency in RAG Evidence Selection 作者最终稿

九次测量下的平均遗憾值,BO9 / P1
0.213 / 0.272
补测一次的平均遗憾值,平均 9.61 次测量
0.162
补测候选对后已测最优,平均 11.43 次测量
0.122

King Arthur 这一题怎么选

《Once Upon a Time》中的 King Arthur 由哪位演员扮演?在这条 MuSiQue 归档案例中,Mistral 有八段候选证据,最终最多选三段。初始已测最优是 Liam Garrigan 的人物传记。加性模型建议把传记与 King Arthur 相关段落一起选入,单看各段分数,这个组合更有吸引力。

补测改变了选择。两段组合的估计效用为 1.574,实测为 0.206。单独使用传记已经测得 0.918,因此核验后选回传记。这里的效用以空上下文为基准,单位是每个参考答案词元的奈特。

  1. 查看初始测量

    测量空上下文和八个单段上下文。段落 1 的人物传记是已测最优。

    BO9 {1} → U = 0.918
  2. 用 P1 提出组合

    加性模型根据单段增益选出人物传记和 King Arthur 相关段落。

    P1 {1, 5} → A = 1.574
  3. 补测并作出选择

    两段组合的实测效用低于传记单段。完成十次目标测量后,选回传记。

    U({1, 5}) = 0.206 < 0.918 → {1}

解码后的答案给出了另一层证据。两段组合生成了完全匹配的简短答案,传记单段生成的答案词元 F1 为 0.444。这也是整个研究同时记录实测效用和答案质量的原因。

让预测器决定下一次测什么

给定上下文 S,目标生成模型对参考答案逐词元打分。每个词元的条件包括问题、按固定次序排列的证据,以及之前的参考词元。记这些对数概率的均值为 ℓ(S),中心化效用为 U(S) = ℓ(S) − ℓ(∅)。每测一个上下文就记一次目标测量。

初始观测包含空上下文和八个单段上下文。BO9 取其中实测效用最高者。P1 将单段增益相加,在最多选三段的 93 个可行子集中选出估计分数最高的组合。空上下文是中心化基准,因此单段增益就是单段的实测效用。

P1 + 一次核验沿用同一个候选组合。若候选此前未测过,就补测一次,再从初始观测与补测结果中选实测效用最高者。核验后的候选集合包含两种基础策略各自的选择,因此最终实测效用至少达到两者的水平。分数并列时取整数掩码最小者。

选择完成后,评估器才使用完整效用数组。归一化遗憾值是所选集合与可行最优集合的效用差,除以数据集、生成模型及候选池构造对应的冻结尺度。核验保证的是已测集合中的实测效用,遗憾值衡量与全部可行子集中最优者的距离。

同样九次测量,怎样选?

主比较固定每个问题、八段候选池和生成模型,最终上下文至多选三段。180 道留出问题、两种候选池和四个生成模型构成 1,440 个配对设置。在同样九次测量下,已测最优的平均归一化遗憾值为 0.213,加性策略为 0.272。按实测效用比较,加性策略有 324 次更好、552 次更差、564 次相同。

BO9、P1、P1 加一次核验的平均归一化遗憾值分别为 0.213、0.272、0.162。

同一批 1,440 个八段候选设置,最多选三段。平均归一化遗憾值越低越好,各策略的测量成本见下表。

有 876 个设置需要对新候选补测一次。之后从已测上下文中选最优,平均遗憾值为 0.162,平均目标测量次数为 9.61。相对 P1,配对差为 −0.109,95% 区间为 [−0.138, −0.085]。相对 BO9,配对差为 −0.051 [−0.078, −0.031]。

主预算下 1,440 个组合的结果
策略平均效用测量次数归一化遗憾值 ↓词元 F1 ↑答案完全匹配率 ↑
已测最优(BO9)9.000.2130.5860.444
加性策略(P1)9.000.2720.5540.422
P1 + 一次核验9.610.1620.5920.453

贪心解码的词元 F1 相对 P1 提高 0.038 [0.020, 0.056],相对 BO9 提高 0.006 [−0.003, 0.015]。对 BO9 的答案完全匹配率区间也包含零。这说明在这批案例里,效用遗憾值的改善比答案指标的变化更明确。

归一化遗憾值与词元 F1 的配对差。一次核验相对 BO9 的词元 F1 区间跨零。

圆点表示配对均值差,线段表示按问题聚类的 95% Bootstrap 区间。每行是前一策略减后一策略。BO-pairs 表示补测候选对后保留已测最优。两图横轴刻度独立。

配对均值差与按问题聚类的 95% Bootstrap 区间
前一策略减后一策略归一化遗憾值差词元 F1 差答案完全匹配率差
加性策略(P1) − 已测最优(BO9)+0.059 [+0.025, +0.092]−0.032 [−0.051, −0.014]−0.023 [−0.044, −0.001]
P1 + 一次核验 − 已测最优(BO9)−0.051 [−0.078, −0.031]+0.006 [−0.003, +0.015]+0.009 [−0.001, +0.021]
P1 + 一次核验 − 加性策略(P1)−0.109 [−0.138, −0.085]+0.038 [+0.020, +0.056]+0.032 [+0.013, +0.051]
自适应二次拟合 − 补测对后取已测最优+0.091 [+0.066, +0.122]−0.034 [−0.051, −0.017]−0.021 [−0.040, −0.002]

哪些组合在补测后会被保留

另一条归档案例询问《奥尔南的葬礼》创作者的出生日期。对这条 MuSiQue 问题,Qwen 使用画作相关单段时效用为 3.953。P1 提出的三段组合实测为 4.491,达到可行最优,因此核验后保留三段。两种上下文的词元 F1 都是 0。

MuSiQue 案例 A 中,候选组合实测效用高于初始最优。案例 B 的结果相反。

A 为 MuSiQue 问题 2hop__107905_110222(Qwen),B 为 2hop__10620_49084(Mistral)。绿色条是核验后的选择,两图横轴独立。

奥尔南画作案例与开篇的 King Arthur 案例来自 Track B 的 720 个设置。选例只考虑 P1 提出多段的情况,按相对 BO9 的归一化遗憾值至少改善或恶化 0.05 分组,再分别取最接近组内中位数的案例。两组分别有 105 个改善设置与 185 个恶化设置。表中列出了归档键、实际选择及答案评分。

所选上下文及归档答案分数。候选段落从 1 开始编号。
案例策略段落编号实测效用词元 F1答案完全匹配
A已测最优(BO9)63.9530.0000
A加性策略(P1)4, 5, 64.4910.0000
AP1 + 一次核验4, 5, 64.4910.0000
B已测最优(BO9)10.9180.4440
B加性策略(P1)1, 50.2061.0001
BP1 + 一次核验10.9180.4440

多测候选对时,哪一步带来收益

自适应规则以无上下文分数的相反数作为触发指标。达到开发数据的合并中位数(约 7.2883)时,就测量加性模型排名前四的候选组合中出现的所有不重复证据对。二次拟合在加性分数上加入每个实测对超出两个单段分数之和的效用,未测对的效应设为零。

二次拟合策略与「补测对后取已测最优」看到完全相同的分数,平均都是 11.43 次测量。拟合策略选出的集合平均归一化遗憾值为 0.213,保留已测最优可到 0.122,配对改善 0.091 [0.066, 0.122]。再核验二次模型提出的候选,则得到另一个成本点,平均 11.94 次测量、遗憾值 0.109。

三段预算下的候选对测量。两个同成本对照没有评估答案分数,表中以破折号表示。
策略平均效用测量次数归一化遗憾值 ↓词元 F1 ↑答案完全匹配率 ↑
自适应二次拟合11.430.2130.5570.429
补测对后取已测最优11.430.1220.5900.450
自适应拟合 + 一次核验11.940.1090.5900.455
随机证据对11.430.277——
按哈希选子集11.430.377——
全证据对拟合37.000.2710.5380.402

两个同成本对照分别按哈希顺序补测证据对或子集,平均遗憾值为 0.277 和 0.377。测完 28 个证据对再加初始九个上下文,共需 37 次测量。全证据对拟合的平均遗憾值为 0.271,与 P1 的配对差区间包含零。在这组同测量对照中,补测有时会直接找到可以保留的更好上下文。

效用有交互,选择仍可以很简单

给已有集合再加入一段证据,有时会降低效用。在同一个基底集合上,两段同时加入的增益也可能超过分别加入的增益之和。论文表 4 在可行域内检验这两种效应,只计入幅度超过冻结实质阈值的变化。三段预算下,有害边际增益的平均比例为 34.7%,递增收益为 45.2%。

八段候选设置中的实质性交互平均比例
可行域负边际增益正二阶差分
最多 3 段34.7%45.2%
最多 4 段32.5%39.3%
八段完整集合31.2%35.4%

选择由实际竞争的集合决定。设 A 是加性预测,I = U − A 是残差。一个候选要超过加性最优,必须用额外的残差增益抵消加性分数的劣势。King Arthur 案例中,两段组合的加性优势在补测后消失。候选池其他地方即使存在很强的交互,也可能不改变这两个集合的顺序。

候选池变大后,核验还有帮助吗

第一项检验在同一批原始候选池上取前四、六、八段,选择预算仍为三段。核验策略的平均遗憾值依次为 0.074、0.126、0.162,在三种候选池大小下都低于初始已测最优策略。

另一个配对扩展在 Track B 中按哈希选取 20 道 MuSiQue 问题,并用 Qwen 和 Gemma 评分。保留原八个位置,再追加四个检索名次。每个候选池大小都有 40 个配对的问题–模型设置,十二段下有 299 个可行上下文。此时核验策略平均测量 13.80 次、遗憾值 0.227,初始已测最优平均测量 13.00 次、遗憾值 0.275。配对遗憾值差为 −0.048 [−0.099, −0.017]。

MuSiQue 配对扩展。各项为平均遗憾值(平均目标测量次数)。
策略8 段候选12 段候选
初始已测最优0.252 (9.00)0.275 (13.00)
加性策略(P1)0.295 (9.00)0.378 (13.00)
P1 + 一次核验0.172 (9.75)0.227 (13.80)
自适应二次拟合0.304 (12.82)0.331 (17.38)
补测对后取已测最优0.168 (12.82)0.184 (17.38)

这些结果把比较扩展到了一个检索设置下的十二段候选。原八段实验的四段选择预算是另一项检查。在该预算下,加性核验的平均遗憾值为 0.186,选测候选对后保留已测最优为 0.142。

这些测量的适用范围

原实验从 HotpotQA、2WikiMultiHopQA、MuSiQue 各取 60 道留出题。Track A 保留标注支持段并用 BGE 补齐,Track B 对数据集内 BM25 与 BGE 名次做倒数排名融合。固定段落表示最多使用 256 个 Qwen2.5 词元。每个候选池都在 Qwen2.5-7B-Instruct、Gemma-3-4B-IT、Mistral-7B-Instruct-v0.3 和 Phi-4-Mini-Instruct 上测量。

遗憾值的尺度来自冻结的六段校准数组。95% 配对区间按 180 个问题做 10,000 次 Bootstrap 重抽样,同一道题的两个候选池和四个模型始终成组。答案 F1 和完全匹配率使用贪心解码和规范化参考答案别名。公开归档按上下文键提供对应分数。

该效用需要参考答案,因此选择规则适用于带标注的离线评估。测量次数对应目标打分调用,实际耗时还取决于段落长度与解码。若要用于在线检索,需要独立于参考答案的效用信号和对应验证。

先跑通一个案例,再复现论文结果

下面的案例入口使用 Python 3.9 或更新版本的标准库。它从公开归档读出 King Arthur 案例的候选组合、实测效用与答案分数。加上 --case ornans 可复现另一条案例。

git clone --depth 1 https://github.com/dqswordman/rag-decision-sufficiency.git
cd rag-decision-sufficiency
python code/inspect_case.py

复现论文结果时使用固定的 v1.0.0 版本。干净环境的 CPU 验证检查了 41 个输入哈希,匹配 22 份结果 CSV 与 4 张论文表,并重新生成了遗憾值分布图。复现指南列出每张论文表对应的设置和输出文件。

资料与数据

版本 1.1 · 补全真实案例、同预算对照与 CPU 复现步骤。

复制文本

暂时无法自动复制,请选中并复制下方文本。