研究项目

WSDM 2027 · 已录用

RAG 证据选择

模型推算出一组候选段落后,值得再测一次吗?研究将这种核验与直接采用已测最优上下文作对照。

主要结果

九次测量下的平均遗憾值,BO9 / P1
0.213 / 0.272
补测一次的平均遗憾值,平均 9.61 次测量
0.162
补测候选对后已测最优,平均 11.43 次测量
0.122
阅读实验结果

结果适用于什么范围

离线评分需要参考答案。与九次测量下的已测最优策略相比,答案 F1 差值的配对 95% 区间包含零。

技术报告

论文条目

Complex Utility, Simple Calibration: Decision Sufficiency in RAG Evidence Selection

引用信息

复制文本

暂时无法自动复制,请选中并复制下方文本。