合合信息研发总监常扬：大模型RAG技术架构与应用实践

随着大语言模型的兴起，其在处理自然语言任务上展现出了强大的能力，但也逐渐暴露出一些问题。大语言模型虽然能够生成连贯且富有逻辑的文本，但在某些情况下可能会出现“幻觉”，即生成不准确或无根据的内容。而且，大语言模型对于最新的、特定领域的专业知识的掌握可能存在滞后性。

目前主要有两种途径解决以上问题：一是微调，二是RAG。微调虽能使模型“学会”私域知识，但是，模型微调工作复杂，从数据准备、算力资源、微调效果到训练时间，都面临诸多挑战，用新数据随时微调不切实际，每月能更新一次已属理想状况。RAG 则为生成式模型与外部世界互动提供了颇具前景的解决办法。

RAG的全称是Retrieval-Augmented Generation，中文翻译为检索增强生成，是一个为大模型提供外部知识源的概念。通过RAG，可以使大语言模型生成准确且符合上下文的答案，同时能够减少“幻觉”。

RAG的主要功能类似于搜索引擎，能够找出与用户提问最相关的知识或对话历史，并结合原始提问创建内容丰富的 prompt，引导模型生成准确的输出。RAG还可分为5个基本流程：知识文档的准备、嵌入模型（embedding model）、向量数据库、查询检索和生产回答。

为帮助大家更加深入地了解RAG技术及应用，8月5日19点，智猩猩邀请到合合信息智能创新事业部研发总监常扬带来最新一期「智猩猩大模型技术公开课」，主题为《大模型RAG技术架构与应用实践》。

常扬首先会介绍RAG技术背景、系统架构的演进与前沿进展，之后将着重讲解 RAG 技术架构与核心模块。接下来，常扬将以合合信息的TextIn文档解析技术、acge_embedding_model向量化模型为例，对RAG关键技术进行精讲。最后，他会分享合合信息的两个应用实践：OpenKIE 开放域多模态信息抽取、TextIn分析师知识问答。