星点匠心建站 星点匠心建站XD JIANXIN STUDIO
400-883-9527 免费定制方案
ARTICLE DETAIL

资讯详情

深耕新锐建站与运营推广的一线实战洞察。

UPR无监督段落重排:用LLM伪答案提升RAG召回排序

UPR无监督段落重排:用LLM伪答案提升RAG召回排序 1. 为什么检索后还要再排一次序做 RAG 的人大概都经历过这个阶段向量库搭好了chunk 切得也不赖召回 top-10 一看前三条基本能用后面几条就开始胡言乱语了。更难受的是有时候正确的那条恰好排在第七第八位塞进上下文窗口既占 token 又干扰模型扔掉又可惜。这时候 re-rank 就成了绕不开的一环。UPR 这个工作解决的就是这个位置上的问题。它的全称是 Unsupervised Passage Re-ranking直译过来就是“无监督段落重排”。核心思路一句话讲清楚用 LLM 直接生成查询的伪答案拿这个伪答案去和候选段落做语义匹配按匹配分数重新排序。整个方案不需要任何标注数据不需要训练不需要 reranker 模型的推理服务只靠一次 LLM 生成加上一轮向量相似度计算就能完成。它适合谁我觉得是两类人。一类是手头没有标注数据、也没预算去调 bge-reranker 或者 cohere rerank 这类接口的中小项目团队想低成本把召回质量往上提一档另一类是已经在用 cross-encoder 做重排、但苦于延迟太高或者领域迁移效果差的同学想找一个更轻的替代方案。当然如果你对精度要求到极致、又有充足算力和标注资源那还是老老实实做有监督微调UPR 不是用来打擂台冠军的。需要先说清楚一点UPR 的价值不在于“比所有 reranker 都好”而在于它在零训练成本这个约束下把效果做到了一个相当能打的位置。理解了这一点后面所有的设计取舍就都好懂了。2. 方案设计与核心思路拆解2.1 UPR 到底在做什么把“匹配”换成“生成匹配”传统 reranker 的逻辑是 query-passage 对儿判分模型要学的是“这两段话有多相关”。cross-encoder 做得最直白把 query 和 passage 拼在一起过一遍 BERT输出一个相关性分数。这种方式精度高但代价是每一对都要跑一次前向top-50 就要跑 50 次延迟随候选数线性上涨。UPR 换了个角度。它不去直接判断 query 和 passage 的相关性而是先用 LLM 把 query “答一遍”生成一段伪答案pseudo answer然后再去算伪答案和每个候选段落的相似度。这个转换的关键在于伪答案和候选段落都是“答案形态”的文本语义空间更接近匹配起来比 query 直接对 passage 更准。我举个例子感受一下。假设 query 是“UPR 需不需要训练”候选段落 A 讲的是“UPR 属于无监督方法无需额外训练”候选段落 B 讲的是“reranker 通常需要在标注数据上微调”。query 本身是个疑问句和 A、B 的句式都不像直接算相似度A 和 B 的分数可能很接近。但如果让 LLM 先生成一句伪答案“UPR 不需要训练它是无监督的”这句话和 A 的语义距离明显更近和 B 就拉开了。这就是“答案对答案”比“问题对答案”更有效的原因。这个思路在信息检索里其实不新鲜query expansion、doc2query 都是类似的家族。但 UPR 的巧处在于它不依赖外部语料去扩展而是直接用 LLM 的参数化知识做生成省掉了训练和索引构建。2.2 为什么选无监督成本、迁移和落地阻力方案选型这块我得多说几句因为很多人看论文只看结果表格不看作者为什么这么设计结果自己复现的时候照抄参数效果对不上就开始怀疑人生。选无监督的第一个理由很现实标注数据难搞。领域内的相关性标注需要专家来做一条几毛到几块不等做几千条就是一笔不小的开销。而且标注完还有分布漂移问题换个业务场景就得重标。UPR 直接用 LLM 的通用能力省掉了这一整条链路。第二个理由是迁移成本。有监督的 reranker 在训练分布上表现很好换个领域掉点很常见。比如你在通用问答上训的模型拿去排法律条文效果可能不如预期。UPR 没有“训练分布”这个概念它的行为由 LLM 的生成质量和 embedding 模型的语义能力共同决定只要这两个基础模型在你的领域上不太离谱重排效果就有底线保障。第三个理由是工程复杂度。一个 cross-encoder 服务需要考虑显存、批处理、超时、熔断UPR 需要的是一个 LLM 接口加一个向量计算前者你本来就有RAG 生成阶段在用后者你也有检索阶段在用。相当于复用现有组件不新增技术栈。这个优势在小团队里非常实际。注意这里说的“无监督”指的是不需要相关性标注数据不代表完全不依赖任何模型能力。UPR 的效果上限由 LLM 的生成质量和 embedding 模型的判别力共同决定这两个基础件选差了UPR 一样拉不回来。2.3 整体流程拆成四步看把流程拆开UPR 其实很朴素四步拿到用户 query丢给 LLM让它生成一个简洁的伪答案把伪答案编码成向量把候选段落逐个或批量编码成向量算余弦相似度按分数降序重排取 top-k 送进生成阶段。看起来简单到有点不像论文但细节全在“怎么生成伪答案”和“伪答案和段落怎么比”这两处。作者在生成 prompt 的设计、伪答案的长度控制、相似度的计算方式上都做了消融这些才是真正影响效果的地方。还有一个容易被忽略的点候选段落要不要截断。段落太长embedding 会稀释关键信息语义向量的重心偏移相似度就不准了段落太短信息不全伪答案里的关键实体可能对不上。这个长度平衡我在后面实操部分会给出经验值。3. 核心细节解析与实操要点3.1 伪答案怎么生成才不跑偏伪答案生成是 UPR 的第一道关口也是效果波动最大的地方。生成得太长里面混进大量无关内容向量被稀释生成得太短关键信息覆盖不到匹配不上目标段落生成得太“自由发挥”LLM 会开始编造事实反而把错误段落的分数抬高。我的经验是 prompt 里必须约束三件事长度、形态、语气。长度控制在一到两句话形态上要求是陈述句、直接给结论语气上要求不做铺垫、不解释推理过程。一个我实测下来比较稳的模板长这样请基于你的知识用一到两句陈述句直接回答下面的问题不要复述问题不要解释推理过程不要添加“根据……”之类的铺垫 问题{query} 回答这里有个细节值得说不要要求 LLM 输出“不确定”或“我不知道”。有人会想如果 LLM 不知道答案怎么办让它说不知道不是更诚实吗问题在于伪答案如果变成“我不确定”那它和所有段落的相似度都会趋同重排就退化成随机打散了。正确的做法是让它尽量给一个答案哪怕不完全准确只要方向对向量就能把正确段落拉上来。这是“用生成做检索”和“用生成做问答”的本质区别——前者要的是语义方向后者要的是事实正确。还有一个坑我得提醒如果你用的 LLM 有很强的“安全对齐”它可能会对某些 query 拒答或者给出非常笼统的回答。这种情况建议在 prompt 里加一句“这是一个技术概念解释类问题请直接给出你的理解”降低拒答率。实测下来这句话对技术类 query 有帮助。3.2 相似度用余弦还是点积要不要归一化这一步看起来是纯工程细节但踩过坑的人不少。伪答案向量和段落向量做匹配最常用的是余弦相似度。如果你用的 embedding 模型输出已经归一化过比如很多开源模型默认 L2 normalize那余弦和点积等价随便用。如果没有归一化必须显式做归一化再用点积否则长段落的向量模长更大点积会被系统性抬高导致长段落被无脑排前面。我自己遇到过这个问题早期直接用点积结果 top-3 全是那种又长又泛的概述性段落精确的小段落全被压下去了。查了半天以为是 embedding 模型的问题最后发现是没归一化。加了一行归一化排序立刻正常了。这个坑很隐蔽因为代码跑起来不报错结果看起来也“像那么回事”。另外提一句相似度的选择余弦、点积、欧氏距离在这类“答案对答案”的匹配里差别不大只要归一化处理一致就行。不用在这上面纠结太久把精力放在伪答案质量上收益更高。3.3 候选段落该截多长段落长度对 embedding 质量的影响比大多数人想象的大。embedding 模型都有最大输入长度超了会被截断截断位置如果刚好砍掉关键句向量就废了。即使没超长太长的段落也会让语义向量“平均化”具体细节被稀释成泛泛的主题。我的经验值是候选段落控制在 256 到 512 个 token 之间并且优先保证包含答案句的那一段完整。如果原始 chunk 切得很长比如按 1024 token 切做 re-rank 前建议先按句子边界二次切分用滑窗取重叠保证关键句不跨窗口。这个操作会增加候选数量但重排本来就是干这个的。反过来如果 chunk 切得太碎比如 128 token信息不完整伪答案里的实体可能对不上相似度也会偏低。这时候可以在编码前把相邻的两个 chunk 拼接一下再算或者在检索阶段就把 chunk 放大。总之 re-rank 的输入质量决定了它的上限别指望重排能救回一切。3.4 伪答案要不要和 query 一起编码这是个值得讨论的设计变体。原始 UPR 是纯用伪答案去匹配但也有人试过把 query 和伪答案拼起来一起编码形式是query pseudo_answer。这么做的好处是保留了原始 query 的字面信息对那些依赖精确关键词匹配的场景比如查型号、查编号更友好。我的测试结论是通用问答场景纯伪答案更好强关键词场景拼接更好。原因不难理解伪答案可能会把 query 里的数字、编号、专有名词“意译”掉导致字面匹配丢失。如果你的业务里有大量精确匹配需求建议做拼接或者干脆做双路打分伪答案相似度和原始 query 相似度各占一半权重加权融合。这个改动很小但收益在特定场景下挺明显。4. 实操过程与核心环节实现4.1 环境与依赖准备整个流程对环境的依赖很轻核心就三样一个能调用的 LLM、一个 embedding 模型、一个相似度计算。我用 Python 走一遍依赖如下pip install openai numpy sentence-transformersembedding 模型这块我建议先用 sentence-transformers 里的小模型跑通链路比如 all-MiniLM-L6-v2 这种加载快、显存占用小先把流程验证通再换更强的模型。不要一上来就上大模型链路没问题之前谈效果没意义。如果你追求更好的中文语义匹配可以换 bge 系列的中文模型但注意换模型后要重新验证相似度分布因为不同模型的分数尺度不一样之前调的阈值可能全部失效。4.2 伪答案生成模块实现先写生成部分。核心是把 query 送进 LLM拿到一段简洁的陈述句。这里我用的是一个通用的对话接口形式具体调用方式按你手头的服务来改import openai PROMPT_TEMPLATE 请基于你的知识用一到两句陈述句直接回答下面的问题不要复述问题不要解释推理过程不要添加铺垫语 问题{query} 回答 def generate_pseudo_answer(query: str, model: str gpt-4o-mini) - str: prompt PROMPT_TEMPLATE.format(queryquery) resp openai.chat.completions.create( modelmodel, messages[{role: user, content: prompt}], temperature0.0, # 关键温度拉到 0保证可复现 max_tokens120, # 关键卡死长度防止长篇大论 ) text resp.choices[0].message.content.strip() # 兜底生成失败或过长时回退到原始 query if not text or len(text) 300: return query return text两个参数我要强调。temperature0.0是为了可复现同一个 query 每次生成的伪答案应该一致否则你今天调好的重排策略明天就漂了。max_tokens120是硬约束防止模型开始长篇解释。最后那个兜底逻辑别省LLM 服务偶尔会返回空或者异常内容没有兜底会直接让整条链路崩掉。4.3 重排主流程实现接下来是编码和排序import numpy as np from sentence_transformers import SentenceTransformer # 加载 embedding 模型第一次会下载之后本地缓存 encoder SentenceTransformer(all-MiniLM-L6-v2) def cosine_sim(a: np.ndarray, b: np.ndarray) - np.ndarray: # 显式归一化避免长度偏见 a a / (np.linalg.norm(a, axis-1, keepdimsTrue) 1e-12) b b / (np.linalg.norm(b, axis-1, keepdimsTrue) 1e-12) return a b.T def rerank(query: str, passages: list[str], top_k: int 5) - list[tuple[str, float]]: # 1. 生成伪答案 pseudo generate_pseudo_answer(query) # 2. 编码伪答案一个向量候选段落一批向量 pseudo_vec encoder.encode([pseudo], normalize_embeddingsFalse) passage_vecs encoder.encode(passages, normalize_embeddingsFalse) # 3. 算相似度并按分数排序 scores cosine_sim(pseudo_vec, passage_vecs)[0] order np.argsort(-scores) return [(passages[i], float(scores[i])) for i in order[:top_k]]这段代码可以直接跑。几个实现上的注意点encode的时候我特意设了normalize_embeddingsFalse然后在cosine_sim里显式归一化这样归一化的位置是可控的、看得见的。很多人习惯让 encode 直接归一化然后后面又乘了一次导致重复归一化虽然数学上不影响余弦结果但会让人对代码产生误读。b提示passages为空列表时encode会报错生产代码里记得加空值判断。这种低级问题在线上引发过故障不是开玩笑。4.4 参数选择与延迟估算re-rank 的核心权衡就是候选数量 k。k 太小重排没有发挥空间k 太大编码和相似度计算的成本上来而且真正有用的段落早就在 top-k 里了再往后排收益递减。我的经验区间是候选 20 到 50 条。具体怎么定看你的召回质量。如果原始召回的前 5 条命中率已经有 80%那把 k 设到 20 就够重排只做微调如果前 10 条才 60% 命中那 k 得放到 40 以上让重排有足够的空间把正确段落捞上来。延迟这块算一笔账。以 all-MiniLM-L6-v2 在普通 CPU 上为例单条短文本编码大约 5 到 10 毫秒30 条段落批量编码大概 100 到 200 毫秒批处理有加速。伪答案生成是主要开销一次 LLM 调用按 300 到 800 毫秒算。总延迟大概在 0.5 到 1 秒之间。如果你的 RAG 对延迟敏感这个开销要评估清楚实在不行可以把伪答案做缓存——同一个 query 的伪答案可以缓存复用重复查询直接命中这个优化在小流量高重复的场景里收益很大。候选数 k编码耗时估重排收益适用场景1050~80ms有限召回质量已经很好只是微调2080~130ms明显常规 RAG推荐起点50150~300ms显著召回噪声大需要大范围捞100300ms边际递减一般不建议收益不抵成本4.5 一个完整的调用示例把上面的模块串起来是个可以直接跑的脚本形态if __name__ __main__: query UPR 这种重排方法需要标注数据吗 candidates [ UPR 属于无监督重排方案不需要相关性标注数据直接利用大模型生成伪答案后做语义匹配。, cross-encoder 类重排模型通常需要在人工标注的相关性数据上做微调迁移到新领域时需要重新标注。, 向量检索的召回质量受 chunk 切分策略影响很大切分过粗会稀释语义过细会丢失上下文。, BM25 属于稀疏检索擅长精确关键词匹配但对同义改写不敏感。, ] results rerank(query, candidates, top_k3) for text, score in results: print(f{score:.4f} {text[:40]}...)跑出来第一条应该是伪答案和第一个段落的匹配分最高第二段次之。这个例子虽然简单但它验证了整条链路是通的生成、编码、归一化、打分、排序每一步都能对上。实际接入的时候把candidates换成你的向量库召回结果就行。5. 常见问题与排查技巧实录5.1 重排后效果反而变差了这是最高频的问题我自己也踩过。原因通常有三个按可能性排序。第一个是伪答案把 query 带偏了。LLM 生成的内容可能包含 query 里没有的假设或者方向完全跑偏。排查方法很直接把伪答案打印出来看。如果它跟 query 想问的不是一回事那就是 prompt 的问题或者这个 query 本身太模糊需要先做 query 改写。第二个是embedding 模型和你的语种不匹配。拿英文为主的模型去编码中文段落语义匹配质量会很差重排后的排序基本是噪声。这个问题的特征是伪答案看着没问题但相似度分数普遍很低且区分度小。换个中文能力强的模型立刻改善。第三个是段落切分破坏了语义完整性。答案句被截断在 chunk 边界伪答案匹配不上任何一段。这个得回到切分环节解决用句边界切分加滑窗重叠。注意判断“变差”一定要有对照基线。如果你没记录重排前的命中情况主观感觉不可靠。建议先在小样本上跑一遍人工标一下正确段落在前几条再对比重排后的位置变化。5.2 伪答案生成太慢拖垮整体响应LLM 调用是整条链路最慢的一环。几个提速思路换更小的模型伪答案这种任务不需要大模型小模型完全够用把max_tokens压到 80 以内用流式接口其实对这里没帮助因为要等完整结果才能编码不如直接关掉。最有效的还是缓存。伪答案只和 query 有关和候选段落无关所以缓存键就是 query 的哈希。实践中重复 query 的比例比想象的高尤其是热门问题。加一层本地缓存命中率能到两三成延迟直接砍掉这部分。还有一个思路是异步化把伪答案生成和候选段落编码并行做。段落编码不依赖伪答案完全可以同时启动。这样总延迟从“生成编码”变成“max(生成, 编码)”能省掉一两百毫秒。5.3 分数区分度太低排不出先后如果你的候选段落相似度分数挤在一起比如全在 0.72 到 0.75 之间排序基本靠噪声。这种情况通常是段落同质化严重或者 embedding 模型对这个领域的判别力不足。排查手法是先看分数分布再看伪答案质量。如果是伪答案太笼统那问题在生成侧需要让答案更具体如果伪答案没问题但分数还是挤那考虑换模型或者引入第二路打分做融合。我常用的一招是加一个字面匹配的加权项比如用 BM25 分数做个轻微加权对区分同义段落有帮助。5.4 特定领域的专有名词匹配不上通用 LLM 对领域专有名词的理解可能不准生成的伪答案里会把名词写错或者用近义词替换导致精确匹配失败。解决办法有两个一是在 prompt 里把专有名词原样保留要求 LLM 不得改写二是走前面说的 query 伪答案拼接方案保住字面信息。如果领域很小众LLM 完全不知道那 UPR 这条路的收益会打折扣。这时候可以退一步用其他手段辅助比如把伪答案换成“从 query 里抽取的关键词组合”虽然精度下降但至少不会引入错误。5.5 问题速查表现象最可能原因排查动作处理方案重排后 top-1 变错伪答案方向跑偏打印伪答案对比 query收紧 prompt加长度与形态约束分数普遍偏低且接近embedding 模型语种不匹配换模型对比分数分布换中文能力强的模型长段落总排前面向量未归一化检查是否显式归一化加 L2 归一化后再算点积正确段落始终排不进前 3chunk 切分破坏语义检查答案句是否跨边界句边界切分加滑窗重叠整体响应超时LLM 调用耗时占比过高打点统计各阶段耗时缓存伪答案、换小模型、异步并行专有名词场景效果差伪答案改写丢失字面信息对比伪答案与原 query拼接 query 编码或双路加权我在实际项目里最深的体会是UPR 这类“生成匹配”的方案效果的上限和下限拉得很开调对了收益明显调不对还不如不排。而决定成败的往往不是公式本身是伪答案那几十个字写得怎么样以及候选段落切得干不干净。这两个地方花时间比调相似度算法划算得多。
返回列表