
做问答系统这件事我前前后后折腾了差不多一年半。最早那版是个纯关键词检索的FAQ页面用户问报销流程要几天系统返回三条包含报销的文档答非所问投诉率居高不下。后来大模型火了团队第一反应是直接接个API不就完了结果上线两周就翻车模型一本正经地编造了一个根本不存在的审批节点还引用了内部文档里压根没有的条款编号。那次事故之后我才真正想明白一件事——基于知识库和LLM的问答系统难点从来不在接模型而在让模型的每一句话都有据可查。这套东西本质上解决的是企业私有知识如何被自然语言精准调用的问题适合手里有一堆文档、又想让非技术同事能直接问出答案的团队参考不管你是刚起步想搭个Demo还是已经在做检索增强的优化下面这些从选型到调优的完整链路应该都能对上你的场景。1. 先想清楚为什么裸调大模型必然翻车1.1 大模型的三道硬伤决定了知识库必须介入很多人对LLM的期待是它什么都懂但放到企业问答场景里这个认知会害死人。我总结下来裸调模型至少有三种绕不过去的问题而且每一种都会直接体现在用户投诉里。第一是知识时效与私有性。模型的训练数据有截止时间公司上周刚发的制度、昨天刚改的接口文档它一概不知。你问它新版差旅标准里住宿上限是多少它要么沉默要么拿公开的通用标准糊弄你。第二是幻觉这是最致命的。模型在不确定的时候不会说我不知道而是倾向于生成一个语法通顺、格式规范、看起来极其可信的答案。前面提到的编造审批节点就是典型它甚至给了一个像模像样的条款编号普通用户根本分辨不出来。第三是不可追溯。用户问完得到一个答案但没法验证这个答案从哪来、依据是什么在合规要求高的场景里一个无法溯源的答案等于零价值。知识库加检索增强这套架构恰恰是冲着这三个问题去的用外部知识库补时效和私有性用检索到的原文约束模型输出以压制幻觉用引用来源实现可追溯。理解了这层动机后面所有的技术选型才有判断标准——任何设计决策都要能回答它有没有让答案更可信。1.2 检索增强的本质是开卷考试我特别喜欢用开卷考试来类比这套系统。闭卷考试裸调模型考的是记忆记错了就错记不住就编开卷考试检索增强考的是能不能在资料里快速找到对的那一页然后照着答。这个类比能解释很多工程上的取舍。比如为什么检索质量比模型质量更关键因为开卷考试里你翻错了书页再聪明的脑子也答不对。实际数据也印证了这点我们做过一轮对比把检索的召回率从60%提到85%端到端答案准确率涨了将近30个百分点而把模型从一个小参数版本换成大参数版本准确率只涨了不到8个点。这个结论当时挺反直觉的但它直接改变了我们的优化重心——先把检索做扎实再谈模型能力。再比如为什么答案要带引用开卷考试允许你翻书那交卷时标出答案出自第几页第几段就是自然要求。引用不仅是给用户看的信任凭证也是我们内部排查问题的抓手用户说答错了我们第一件事就是看它引用的原文对不对如果原文对而答案错那是生成环节的问题如果原文本身就检索错了那是检索环节的问题。这条排查链路后面还会详细讲。1.3 什么场景适合上什么场景别硬上不是所有问答需求都值得上这套架构我见过不少团队为了用上大模型而用最后维护成本高得离谱。判断标准其实很简单看三个维度。知识是否结构化程度低且体量大。如果你的知识就是一张几十行的表格用户直接查表更快套一层问答纯属增加故障点。但如果知识是几百份PDF、上千条工单记录、散落在各个Wiki里的操作手册那检索增强的价值就出来了。问题是否开放且表达多样。固定选项的菜单式问答用规则引擎就够了只有当用户会用各种说法问同一件事怎么请假请假流程年假申请步骤语义检索的优势才明显。更新是否频繁。知识库天天变那检索实时读库、模型不重训的架构就特别香如果知识三年不变老实说做个精心设计的静态FAQ页面可能更省心。提示如果团队里没人能持续维护知识库的切分质量和检索效果别急着上这套系统。它不是一个装完就完的产品而是一个需要持续喂养和调优的半成品运维投入要提前算进去。2. 知识入库切分策略决定了系统的天花板2.1 文档解析这一步脏活累活但绕不开所有做知识库的人都得先过解析这一关而这一关的脏程度远超新人想象。PDF里的双栏排版、扫描件里的表格、Word里的文本框、网页复制来的乱码每一种都能让你的切分逻辑崩掉。我们最早图省事直接用了个开源解析库一把梭结果一份产品手册解析出来章节标题和正文全糊在一起检索时经常把注意事项的内容匹配到功能说明的查询上。后来我们的做法是按文档类型分流处理。纯文本和Markdown直接读结构保留得最好PDF优先走能识别版式的解析方案实在不行再降级到纯文本抽取表格单独抽出来转成结构化描述比如把一行数据转成字段A是X字段B是Y的自然语言句子因为表格直接塞进向量库效果很差。扫描件必须过OCR而且OCR之后要人工抽检一批我们抽检时发现过数字1和字母l混淆导致金额全错的情况这种错误进了知识库就是灾难。这里有个容易被忽略的细节解析阶段要尽量保留文档的层级结构。标题、小节、段落之间的从属关系是后面切分和引用定位的基础。我们现在的做法是在解析时就给每个文本块打上所属章节路径的标签比如第三章 3.2 报销标准 住宿费这个路径后面会直接出现在答案的引用里用户一看就知道出处信任感完全不一样。2.2 切分粒度太大丢精度太小丢上下文切分是知识库质量的第一道分水岭也是最需要反复试的地方。切太大一个块里塞了三四个主题检索时向量被平均掉精度下降切太小一句话一个块语义不完整模型拿到手也不知道前因后果。我们踩过的坑是初期按固定500字切结果把一张表格从中间劈开上半截在块A下半截在块B用户问表格里的数据检索只召回半张表。现在的策略是结构优先、长度兜底。先按文档天然的标题层级切一个三级标题下的内容作为一个基本单元如果这个单元还是太长超过某个阈值再按段落切并且相邻块之间保留一定的重叠通常是块长的10%到15%保证跨块的句子不至于断裂。阈值定多少没有标准答案得看你的文档特点制度类文档段落短、主题密集块可以小一点技术手册段落长、逻辑连贯块就得大一些。我们最后是按文档类型分别配了不同的参数制度类大概300到400字一块手册类600到800字一块实测下来召回质量明显比一刀切好。还有一个技巧值得说给每个块补一句上下文摘要。具体做法是让模型在切分后为每个块生成一句这个块讲的是什么的简短描述检索时把这句话也纳入向量化范围。这相当于给每个块加了个内容标签对那些正文里没出现关键词但语义相关的查询特别有效。我们加了这个之后一些口语化提问的召回率提升挺明显。2.3 向量化模型怎么选别只看榜单选embedding模型时很多人直接看公开榜单排名但榜单和你的实际语料往往对不上。我们的经验是拿自己的真实问题集做小规模评测方法很土但很有效准备50到100个真实用户问过的问题人工标注每个问题应该命中哪些文档块然后拿候选模型跑一遍算召回率。我们对比过几个主流方案榜单上排名靠前的某个模型在我们的中文制度文档上反而不如一个更小的专用模型原因大概是训练语料的领域分布差异。维度方面也有取舍。高维向量表达能力强但存储和检索成本高低维反之。我们最终选了个中等维度的方案因为知识库规模在几十万块这个量级高维带来的边际收益抵不过检索延迟的增加。另外要注意查询和文档要用同一个模型编码这个听起来是废话但真有人混用过效果直接崩盘。注意向量化模型一旦定了后面换模型的成本很高因为整个库都要重新编码。所以选型阶段宁可多花两天做评测也别上线后才发现不合适。3. 检索环节召回不准后面全白搭3.1 纯向量检索的盲区以及混合检索的必要性向量检索擅长语义匹配用户问怎么请年假它能召回带薪年休假申请流程这是关键词匹配做不到的。但它有个明显盲区对精确匹配不敏感。用户问工单编号以TK开头的怎么查向量检索可能召回一堆讲工单系统的文档却漏掉那条明确写了TK开头为技术类工单的记录因为语义上它们都关于工单但精确的字符匹配信息被稀释了。解决办法是混合检索把向量检索和关键词检索比如BM25这类经典算法的结果融合。具体做法是两路各自召回一批候选然后用融合排序把结果合并。融合时有个关键参数控制两路的权重我们的经验是语义类问题偏向量、精确类问题偏关键词但没法预先知道用户问的是哪类所以干脆让两路都跑靠融合算法自己权衡。实测下来混合检索相比纯向量在包含专有名词、编号、代码的查询上召回率提升非常明显而这些恰恰是企业问答里高频出现的类型。融合的实现上常见的是按排名做加权融合把两路结果的排名换算成分数再相加。这里要注意两路召回的数量要匹配如果向量召回20条、关键词只召回5条融合时会天然偏向向量。我们一般让两路各召回相近的数量再统一截断。3.2 重排序把差不多相关筛成真正相关混合检索召回的是候选集通常几十条但真正能喂给模型的可能只有三五条。这中间的筛选就靠重排序。初检用的是双塔式的向量相似度快但粗重排序用一个更精细的交叉编码模型把查询和每个候选块拼在一起打分慢但准。这个先粗后精的两阶段设计是在效率和精度之间找平衡全用精排太慢全用粗排太糙。重排序模型的选择上我们试过通用的大模型来做打分效果确实好但延迟扛不住几十条候选逐条打分一次查询要好几秒。后来换了个专门的重排小模型精度损失在可接受范围内延迟降到了几百毫秒。这里有个实操细节重排序的输入要把块的上下文摘要也带上不能只给块正文否则模型判断相关性时信息不全。还有一个我们踩过的坑重排序之后如果直接取Top 3喂给模型遇到那种答案分散在多个块里的问题就会漏。比如问报销需要哪些材料材料清单可能分散在三个块里。我们的处理是按相关性阈值动态取条数而不是固定取几条相关性高的多取几条相关性普遍低就少取甚至触发没找到相关内容的兜底回复。这个兜底逻辑很重要宁可老实说没找到也别硬凑几条不相关的喂给模型让它编。3.3 查询改写用户的问题往往不是检索该用的样子真实用户的提问和理想检索查询之间差着十万八千里。有人问那个报销的事咋弄有人把三四个问题揉在一句话里还有人用了一堆指代词它这个上次说的那个。直接拿这种原始问题去检索效果必然打折。查询改写就是在这个环节做补救。我们主要做三件事。指代消解结合对话历史把它还原成具体对象多轮对话里这一步是刚需。问题拆解把复合问题拆成多个子查询分别检索再合并比如年假和病假的申请流程分别是什么拆成两个查询。查询扩展给原始问题补充同义词或相关术语比如打卡扩展出考勤签到提升召回覆盖面。这三件事都可以用一个小模型来完成成本不高但收益明显。不过查询改写也有风险改得太多可能偏离用户原意。我们的做法是保留原始查询和改写查询两路都检索结果合并去重这样既享受了改写带来的召回提升又不至于因为改写失误丢掉正确答案。这个双路策略在多轮对话场景里尤其稳。4. 生成环节让模型的每句话都踩在证据上4.1 提示词设计的核心是约束而非发挥到了生成这一步很多人还在用你是一个乐于助人的助手这种通用提示词这在问答系统里是不够的。我们的提示词核心目标只有一个让模型严格基于给定的检索内容作答不许自由发挥。具体结构上我们把提示词分成几块角色设定你是基于给定资料作答的问答助手、资料区把检索到的块按相关性排序放进去每块带编号、作答要求只使用资料区信息、每个结论标注来源编号、资料不足时明确说不知道、输出格式答案加引用列表。这里最关键的是**资料不足时明确说不知道这条约束**。不写这条模型遇到检索没覆盖的问题就会开始编写了这条它会老老实实说根据现有资料无法回答。我们上线这条约束后幻觉类投诉下降了一大截。另外引用编号的强制要求也很重要它逼着模型把每个结论和具体资料块对应起来客观上抑制了它东拼西凑。还有个细节资料区的内容要带来源标识不能光秃秃地堆文本。我们每个块前面都标了【资料1来自XX文档第三章】这样的前缀模型在生成引用时会自然带上这个信息用户看到的引用就是可读的文档路径而不是冷冰冰的块ID。4.2 上下文怎么拼顺序、去重与长度控制检索回来的多个块怎么拼进提示词直接影响生成质量。我们试过几种排法最后发现按相关性从高到低排效果最稳因为模型对靠前的内容注意力更集中把最相关的放前面能提高它被正确使用的概率。但这里有个反直觉的点如果最相关的块其实只是部分相关把它放第一位反而可能误导模型所以我们在重排序之后还会做一次人工规则校验把明显不完整的块降权。去重也是必须的。混合检索的两路结果经常有重叠同一个块被召回两次拼进去就是重复内容既浪费上下文长度又干扰模型。我们的做法是按块ID去重保留相关性分数高的那份。长度控制方面要算好模型上下文窗口的预算给资料区、提示词、输出各留出空间资料区塞太满会导致输出被截断。我们一般把资料区控制在窗口的一半左右剩下的留给对话历史和生成。提示上下文不是塞得越多越好。我们做过对比塞10个块和塞5个块答案质量差别不大但延迟和成本差不少。找到那个够用就好的条数比无脑堆量更划算。4.3 引用与溯源可信度的最后一公里引用这件事做和不做用户信任度是两个量级。我们的引用分两层答案内联引用每个结论后面跟一个上标编号指向具体资料块答案末尾的来源列表列出所有被引用的文档和章节路径用户点进去能看到原文。这两层配合用户既能快速判断答案可信度又能在有疑问时一键核对原文。实现上有个坑模型生成的引用编号经常和实际资料对不上比如它引用了【资料3】但内容其实来自【资料2】。我们的处理是生成后做一次引用校验把答案里的每个引用编号和它对应的句子拿出来和资料块做语义相似度比对相似度太低就标记为引用存疑要么修正要么在展示时弱化。这个校验逻辑不复杂但能挡掉不少引用错位的问题。另外引用要能定位到原文位置不能只给个文档名。我们前面在解析阶段打的章节路径标签这时候就派上用场了引用直接展示XX文档 第三章 3.2节用户点开能跳到对应段落。这个体验上的细节往往是用户觉得这个系统靠谱的关键。5. 上线之后那些只有跑起来才会暴露的问题5.1 效果评估别只看准确率一个数系统上线前我们做了套评估一开始只盯着答案准确率后来发现这个指标太粗掩盖了很多问题。真正有用的是分层评估检索层看召回率和精确率生成层看答案忠实度答案是否忠于检索内容和相关性答案是否切题端到端再看用户满意度。这三层分开看出问题时才能快速定位是检索的锅还是生成的锅。评估集的构建也有讲究。不能只用内部同事编的问题那和真实用户分布差太远。我们的做法是从真实工单和客服记录里抽样保留用户的原话包括那些口语化、有错别字、指代不清的提问。这样的评估集才能反映真实难度。另外要定期更新评估集因为用户的问题分布会随业务变化而漂移半年前的评估集可能已经不代表当前情况了。5.2 线上问题的排查链路用户反馈答错了我们的排查是有固定顺序的。第一步看检索把用户原问题拿去跑检索看召回的块里有没有正确答案所在的块。如果没有问题在检索层可能是切分、向量化或查询改写的问题。第二步看生成如果正确答案的块被召回了但答案还是错的问题在生成层可能是提示词约束不够、上下文拼接顺序不对或者模型忽略了某块内容。第三步看引用如果答案对但引用错位那是引用校验环节的漏网之鱼。这条链路我们做成了内部工具输入一个问题就能看到检索召回、重排序分数、最终拼进提示词的上下文、模型原始输出排查效率高很多。没有这个工具之前排查全靠猜一个case能耗半天。5.3 持续运营知识库是会腐烂的最后说个容易被低估的点知识库不是建完就完事它会腐烂。文档更新了但向量库没同步用户问新制度得到旧答案文档删了但块还在库里检索召回一堆失效内容。我们的做法是建立文档到块的同步机制文档变更时触发对应块的重新解析和编码文档删除时同步清理块。这个机制听起来简单但没做的话系统用半年就会积累一堆脏数据。另外要定期做检索质量巡检抽样一批查询看召回结果是否还合理。我们每个月抽100个查询人工过一遍发现过某类文档因为格式变化导致解析失败、整批块内容错乱的情况早发现早修比等用户投诉强。这套系统做下来我最大的体会是它更像一个需要精心维护的知识工程而不是一个接上模型就能跑的技术Demo。模型能力在涨工具链在成熟但把知识切好、检准、答实这三件事的基本功短期内不会因为模型变强而被跳过。真正拉开差距的往往就是切分参数调了多少轮、评估集攒得多真实、排查链路做得多顺这些不起眼的功夫。