
本文介绍了RAG技术的概念和原理通过Dify平台展示了如何构建知识库、向文档进行切分和向量化并详细讲解了在Dify中如何设置检索方式及构建索引。文章还以英雄联盟游戏助手为例阐述了如何让智能体利用知识库进行回答。通过本文读者可以学习到RAG技术的基本流程和应用为后续深入学习大模型应用打下基础。一、RAG 是什么为什么需要它先看一个翻车现场用户问游戏助手“介绍一下 LOL 中《流光镜影》这个英雄的技能。”普通大模型一本正经地回答“在《英雄联盟》当前版本截至 2025 年 12 月中并没有名为《流光镜影》的英雄。”模型说得斩钉截铁但用户手里明明就有这个英雄——问题出在哪出在大模型的知识是印死在它脑子里的训练数据截止到某个时间点之后新出的英雄、新出的版本它一概不知道。知识过时回答就没法用Bot 的价值大打折扣。RAG 就是解药RAGRetrieval-Augmented Generation检索增强生成是一种结合知识检索和语言生成的技术主要用来解决大模型的幻觉问题——也就是模型不懂装懂、一本正经胡说八道的毛病。它的思路不复杂一句话就能说清回答问题之前先去资料库里把相关的资料翻出来把资料和问题一起塞给大模型让它照着资料答题。就像开卷考试不开卷学生只能靠背过的旧知识瞎编开了卷翻到对应的那一页再作答答案自然靠谱。RAG 就是给大模型发了一套可以随时翻的复习资料而且这套资料你能随时更新——新英雄出了就把新攻略放进去模型立刻就会了。三个常见问题一次答清传统 LLM 的缺陷—— 消息滞后训练完就定型了拿不到最新的知识。RAG 的原理—— 先拿问题去知识库检索相关内容再把问题 检索到的内容一起送进大模型生成回答。RAG 解决什么问题—— 大模型幻觉问题含知识过时导致的胡编乱造。二、RAG 怎么搭知识库构建三部曲RAG 的地基是知识库。搭知识库主要有三步文档准备 → 文档切分 → 文档向量化。第 1 步文档准备把要喂给模型的知识整理成文件。Dify 支持的类型类型支持格式适合放什么LOL 案例里放了什么文档PDF、Word、TXT攻略文章、教程文档英雄攻略 PDF表格Excel、CSV结构化数据、统计信息英雄属性表上传前建议做点预处理清掉无关内容广告、水印、按主题分类整理、文件命名规范名字里带上关键信息方便后续维护。第 2 步文档切片为什么要切片两个原因一是大模型的上下文长度有限一次吞不下整本文档二是切得细检索才准、才快——找答案时只需要翻出相关的那么几段而不是把整本书都塞进去。常见的切分方式有三种按字符数切固定长度比如每 300 字一段按符号切按句号、换行符、感叹号等天然边界切按语义切识别主题变化点智能切分。实际操作中最常用的是符号 字符长度混合切分每段控制在 200500 字。这个长度有讲究切得太小 → 每段上下文不完整检索出来的内容残缺不准切得太大 → 一段里混进太多无关信息干扰模型判断。一个实用小技巧分段最大长度参考你文档里实际最长的那一段。比如全文最长的段落是 275 字那最大长度设 300 左右就比较合适不容易把一段完整的内容拦腰切断。在 Dify 里这些设置都集中在分段设置这一个面板里分段标识符默认按空行/n/n切、分段最大长度、分段重叠长度相邻两段重复一部分内容防止句子被切断后丢失上下文、文本预处理规则替换连续空格换行、可选删掉 URL 和邮箱下面还有父子分段等进阶模式按最长段落定长度这个技巧实际操作时就是照着右侧预览改数字——下图这个例子里文档最长的一段 275 字所以最大长度设成了 300另外 Dify 里还有个 QA 分段选项让大模型自己读文档自动把内容改写成一问一答式的切片。适合 FAQ 类的知识检索命中率高。开启后预览效果如下每个切片都自动变成了Q…… / A……的问答对第 3 步文档向量化向量化听着玄乎其实好理解把每段文字变成一串数字向量让意思相近变成数字上相近这样机器就能算出两段文字有多相似了。举个例子问题“盲僧 Q 技能” → [0.8, 0.6, …]文档 1“盲僧出装” → [0.7, 0.5, …]意思相近数字也相近文档 2“烹饪技巧” → [0.1, 0.8, …]八竿子打不着数字差得远有了向量用户一提问系统就能快速从几千几万个切片里找出语义最接近的那几段。向量化解决三件事语义理解、相似度计算、快速检索。三、在 Dify 里动手建知识库的 6 步上面是原理落到 Dify 里就是 6 步操作Step 1 创建知识库 → Step 2 上传文件 → Step 3 设置分段 → Step 4 构建索引向量化 → Step 5 检索设置 → Step 6 预览结果创建知识库进入 Dify选知识库→ 创建选择数据源上传原始文件攻略 PDF、属性表等文本分段选分段方式通用分段还是 QA 分段、设分段最大长度构建索引选索引方式系统把切好的段落做向量化。索引方式有两档 - 高质量推荐调用 Embedding 嵌入模型处理文档检索更精确能帮 LLM 生成高质量答案 - 经济每个切片只抽 10 个关键词建索引不消耗任何 token但检索准确性打折扣 - ⚠️ 注意用高质量模式建完索引后没法再切换回经济模式选之前想清楚。检索设置这一步有三种方式值得单独说清楚—— - 向量检索把你的问题也变成向量计算它和每个切片的语义相似度找出意思最接近的段落。你问怎么玩盲僧它能找到李青打野思路这种没出现玩字但意思相关的段落 - 全文检索按关键词匹配把文档里所有词汇建索引你查什么词就返回包含这个词的段落。它不做语义理解但关键词命中时很精准 - 混合检索两种一起用结果做个融合排序兼顾懂意思和对得上词一般推荐这个。界面上还有几个影响检索质量的参数Top K最多捞回几段默认 3、Score 阈值相似度低于这个分数的直接丢弃默认 0.5以及可选的 Rerank 重排模型把检索结果再精排一遍进一步提升命中质量。6. 查看结果预览文本处理效果检查切分是否合理没问题就保存。四、RAG 应用让 Agent 用上知识库知识库建好了最后一步是接给智能体用。以 LOL 游戏助手为例4 步Step 1 创建空白应用 → Step 2 编写提示词 → Step 3 添加知识库 → Step 4 调试验证创建空白应用在 Dify 里新建一个 Agent 智能体编写提示词明确角色“你是 LOL 资深游戏助手”→ 说明功能“负责解答英雄技能、出装、攻略问题”→ 规范回复格式添加知识库在编排模块里找到知识库→ 点击添加知识库把建好的攻略库挂上结果验证进调试页面输入流光镜影的技能有哪些看它能不能基于知识库答出来。两个实用提示一个 Agent 可以关联多个知识库比如攻略库一个、版本更新公告一个多个知识库之间可以设置优先级控制检索时先查哪个。完整链路串一遍从上传文件到得到回答整个 RAG 的工作过程是上传文件 → 文档切分 → 文档向量化 → 存入知识库---用户提问时---问题检索知识库 → 拿到相关上下文 → 问题上下文融合送入 LLM → 得到回答用户提问时的左边路径是你建库时走的路用户提问时的右边路线是用户每次提问时走的路。两头在检索这一步接上——这就是 RAG 的全部。本章要点回顾RAG 知识库构建的主要流程—— 文档准备 → 文档切分 → 文档向量化。文档为什么要切片—— 适应大模型的上下文长度限制同时提升检索的精确度和效率。文档为什么要向量化—— 把文字变成数字才能计算问题与文档的相似性实现按语义快速检索。检索设置怎么选—— 向量检索懂语义、全文检索对关键词、混合检索两者兼顾一般推荐。大模型的知识又多又杂到底怎么学做这行久了被问最多的问题就一个大模型的知识又多又杂我到底先学啥翻了一堆资料看啥都像重点结果啥都没学进去。今天把我自己一路摸出来的顺序捋一遍零基础、应届生、转行的都适用。跟着走至少方向不乱、不瞎忙学完拿得出手。第一阶段10天初阶应用这一阶段就一个目标把大模型真正玩明白不是只会聊天那种而是能调教它、能用代码把大模型和业务接起来。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用这阶段正式进实战目标很实在做出两个能拿出手的东西——一个私有知识库一个 agent 对话机器人。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…走完这 30 天Python 或 JavaScript 背景的基本能独立做一套 RAG 应用简历上也敢写大模型应用开发了。第三阶段约20天动手微调学到这你已经开始 “造” 模型了 —— 通过微调搞出垂直领域的专用小模型。为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你从 “只会用” 变成 “能造” 的 AI 小子。那么你还想往下探索吗想要入局AI大模型赛道、抢占行业红利的朋友微信扫描下方CSDN官方认证二维码即可100%免费领取全套学习资料第四阶段20天商业闭环部署落地技术学完落地才算数。这阶段带你搞明白大模型怎么真正跑起来、用起来。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…想要入坑大模型的朋友给大家准备了一份2026 年最新 AI 大模型全套学习资料1、大模型系统化学习路线2、大模型学习视频教程3、大模型学习书籍电子文档4、AI大模型最新行业报告5、大模型项目实战配套源码6、2026大模型大厂面试真题7、为什么要学习大模型我国在A大模型领域面临人才短缺,数量与质量均落后于发达国家。2023年人才缺口已超百万凸显培养不足。随着AI技术飞速发展预计到2025年,这一缺口将急剧扩大至400万,严重制约我国AI产业的创新步伐。加强人才培养,优化教育体系,国际合作并进是破解困局、推动AI发展的关键。8、适合谁学传统后端 / Java / 前端开发想转型 AI 应用大学生、应届生想拿更好的 offer产品经理、运营想武装职业竞争力技术负责人想给团队落地提效学习是反人性的但回报是真金白银。技术会更新赛道会切换但只要你先动手机会就永远站在你这边。9、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。想要入局AI大模型赛道、抢占行业红利的朋友微信扫描下方CSDN官方认证二维码即可100%免费领取全套学习资料好了就写到这。路线是死的人是活的卡住了随时来问我。觉得有用就点个收藏别让它进收藏夹吃灰——动起来比啥都强。