随着大模型技术的迅猛发展,检索增强生成(RAG)已成为构建智能知识库的核心方案。嘉为蓝鲸OpsPilot依托RAG技术打造高效知识处理体系,提取与分块拆分语义单元,为后续流程筑牢根基;Embedding及检索将问题与知识库中内容匹配定位。而如果把知识分块比作樱桃,Rerank就是分拣器:接收初步检索到的知识“樱桃”,再测量每颗樱桃的直径(相关性)和糖分(内容质量),从大到小排列送入LLM大模型的“果盘”,而排在需求数量之外的小颗粒、酸涩的樱桃(低相关内容)则被分拣剔除。
01.Rerank原理与作用
1)Rerank在RAG流程中的生效机制与原理
在RAG流程中,经过前期的文档提取分块、Embedding向量化以及检索步骤后,会初步筛选出一批与用户问题相关的文本内容。然而,这些内容的相关性和质量参差不齐。Rerank此时介入,它基于特定的算法和模型,对初步检索得到的文本集合进行重新排序,将最相关、最优质的文本内容置于前列。通过“粗筛+精排”优化检索质量,为回答提供优质基础。
Rerank(重排序)的具体实现是通过机器学习模型,捕捉复杂语义(如一词多义、隐含意图),对初步检索结果进行二次语义评估。具体步骤如下:
从而实现以下作用,优化检索结果:
02.OpsPilot中的Rerank模型
OpsPilot内置了bce-Reranker-base模型提供Rerank功能,对比其他Rerank模型,本模型的核心优势可总结为以下三点:
03.重排序打分效果
在OpsPilot的RAG过程中,Rerank在初步检索结果的基础上展开——Rerank模型接收初步检索得到的文本集合与用户问题,然后对每一个文本与问题的组合进行分析,通过多方面特征进行提取和比对,以分数形式展现各个组合的相关程度。最后,高分的文本会被优先选取并与问题一起构成提示词输入到大语言模型中,输出更精准、更有价值的答案。
04.嘉为蓝鲸OpsPilot——更懂运维的AI平台
嘉为蓝鲸OpsPilot是集知识库管理、技能配置、机器人管理及工具管理于一体的智能运维支撑平台,深度融合LLM大模型的语义理解、知识增强与多模态处理能力,聚焦运维领域,突破单一LLM能力局限,成为更懂运维的智能AI平台。
申请演示