RAG 减少无依据回答,但不会自动整理企业知识

RAG 的基本思路,是先从资料库找出与问题相关的内容,再把这些内容交给模型回答。它让答案有机会回到企业自己的制度、产品和项目文档,而不是只依赖模型参数。问题在于,检索到什么,取决于资料状态、切分方式、查询表达和权限过滤。

如果知识库同时放着旧政策、草稿和正式版本,系统很可能把它们一起找到。模型随后会把冲突内容整理成一段看似连贯的话。真正的改进不是换一个更会写的模型,而是让检索阶段知道哪份资料有效。

每份文档都要有可用的身份信息

文件名不足以支撑企业检索。文档需要记录来源部门、内容负责人、版本、有效时间、适用对象、保密级别和替代关系。旧版资料可以保留用于审计,但默认搜索应优先返回当前有效版本。

网页、PDF、表格和知识条目更新方式不同。项目要约定同步频率和删除路径,避免源系统已经撤下,向量库里仍保留旧内容。知识负责人能看到待更新和冲突项,技术团队才能持续维护索引。

先做权限过滤,再谈相关性排序

一个结果与问题再相关,用户没有权限就不应被检索到。系统应根据账号、组织、项目和文档级权限先缩小候选范围,再进行语义与关键词匹配。只在生成回答后删敏感词,无法修复模型已经看到越权内容的问题。

权限变化也要及时传递。员工转岗、项目结束或客户撤回共享后,知识索引里的访问条件需要同步。对外客服与内部助手最好使用不同知识范围,不能默认共用一套索引。

切分要保留文档里的上下文

把长文档机械切成固定长度,容易把标题、条件和例外拆开。一个片段只写“可以申请”,真正的适用对象和截止时间却在上一段。切分时应保留标题层级、页码和必要的上下文,表格与列表也要按结构处理。

检索可以组合语义向量与关键词,再用重排模型筛选候选。专有名词、编号和产品型号通常依赖关键词,概念相近的问题更适合语义匹配。两者配合,比只选一种方法稳妥。

引用必须让人回得到原文

回答里的“根据内部资料”没有实际帮助。引用应包含文档标题、版本和具体位置,网页可跳转到原链接,PDF 至少给出页码或片段。使用者发现疑问时,能在几秒内回到证据。

系统没有检索到足够依据时,应直接说明,并给出下一步,例如请知识负责人确认或提交人工工单。为了保持对话顺滑而补出一个答案,会把 RAG 最重要的可信度优势丢掉。

把检索和回答分开评测

准备一组来自真实工作的问法,包括简称、错别字、追问和跨文档问题。先检查正确资料有没有进入候选、排在什么位置,再看模型是否忠实使用证据。若检索没找到,继续调提示词通常没有用。

线上反馈也应区分问题类型:资料不存在、版本过期、权限错误、检索未命中或模型误读。业务团队据此补资料,技术团队调整索引与模型。知识库能不能越用越准,取决于这条维护路径是否存在。

维护会议不必从模型指标讲起,可以先看本月最常见的十个失败问题。逐条确认该补文档、改权限、调整切分,还是修改回答规则,并给每项工作指定负责人和复测日期。这样知识库的改进会落到资料与流程,而不是不断更换模型。修复后的原问题要回到评测集,确认没有影响其他权限和版本。