<<< 左右滑动见更多 >>>

论文标题：《A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models》

论文标题中文翻译：《关于RAG遇上LLM的研究调查：迈向检索增强型大型语言模型》

检索增强生成（RAG）作为人工智能中最先进的技术之一，可以为众多任务提供可靠且最新的外部知识，带来了极大的便利。特别是在AI生成内容（AIGC）的时代，检索在提供附加知识方面的强大能力使得RAG能够辅助现有的生成式AI，产出高质量的输出。近来，大型语言模型（LLM）在语言理解和生成方面展现了革命性的能力，但仍然面临一些内在的局限性，比如虚构事实和内部知识过时等问题。鉴于RAG在提供最新且有益的辅助信息方面的强大能力，检索增强型大型语言模型（RA-LLM）应运而生，利用外部权威知识库，而不是单纯依赖模型的内部知识，来增强LLM的生成质量。在这篇综述中，我们全面回顾了RA-LLM现有研究成果，涵盖了三个主要技术视角：架构、训练策略和应用。作为基础知识，我们简要介绍了LLM的基础以及近期进展。然后，为了说明RAG对LLM的实际意义，我们系统地回顾了与RA-LLM架构、训练策略和应用领域相关的主流研究工作，详细阐述了每个领域的挑战及RA-LLM的相应能力。最后，为了提供更深入的见解，我们讨论了当前的局限性及未来研究的几个有前景的方向。关于本篇综述的最新信息可以在 https://advanced-recommender-systems.github.io/RAG-Meets-LLMs上找到。

信息检索作为一种最基础的数据挖掘技术，旨在理解输入查询并从外部数据源中提取相关信息[24, 30, 67, 140]。它已经在各种领域得到广泛应用[8, 28, 106, 179]，如搜索、问答和推荐系统等。例如，搜索引擎（如谷歌、必应和百度）是工业界最成功的检索技术应用；它们可以过滤和检索与用户查询最相关的网页或文档[19, 179]，使用户能够有效地找到所需信息。同时，通过在外部数据库中进行有效的数据维护，检索模型可以提供可靠和及时的外部知识，因而在各种知识密集型任务中发挥着至关重要的作用。由于强大的能力，检索技术在AI生成内容（AIGC）时代已经被成功整合到高级生成模型中[77, 132, 163]。值得注意的是，检索模型与语言模型的结合产生了检索增强生成（RAG）[74]，这已成为生成AI领域最有代表性的技术之一，旨在用检索到的信息提高生成文本内容的品质[6, 74, 77]。

为了推进生成模型并增强生成结果，RAG从外部数据源整合信息或知识，这作为对输入查询或生成输出的补充[62, 103]。具体来说，RAG首先调用检索器从外部数据库中搜索并提取相关文档，然后利用这些文档作为上下文来增强生成过程[54]。在实际应用中，RAG技术是可行且高效的，可以应用于各种生成任务，只需简单调整检索组件，几乎无需或无需额外的训练[117]。最近的研究表明，RAG不仅在知识密集型任务（如开放领域问答（OpenQA）[6, 46, 109, 133]）中具有巨大潜力，也适用于一般语言任务[48, 62, 170]，以及各种下游应用[90, 163]。

图1：检索增强生成（RAG）遇上大型语言模型（LLM）。当用户的查询超出范围，例如在训练数据中未见内容或需要最新信息来回答问题时，LLM的表现可能不佳。在RAG的帮助下，LLM可以利用外部数据库中的附加相关信息来增强其文本生成能力。

近年来，预训练基础模型，尤其是大型语言模型（LLM）快速发展，已经在各种任务上展现出令人印象深刻的性能[1, 18]，包括推荐系统[195]，分子发现[77]和报告生成[27]。技术上来说，LLM之所以取得巨大成功，得益于其先进的架构，拥有数十亿级别的参数，并在来自各种来源的大量训练语料上进行预训练。这些技术改进使得LLM在语言理解与生成、上下文学习等方面展现出卓越的能力[194, 195]。例如，GPT-FAR通过引入详细的提示，指导GPT-4进行图像标记、统计分析以及为多模态时尚报告生成进行文本分析[27]。在推荐系统中，LLM也通过理解用户对物品的偏好而实现了有希望的性能[154, 195]。尽管取得了成功，LLM仍然存在固有的局限性[194, 195]，比如缺乏特定领域的知识、”幻觉“问题，以及对模型更新所需的大量计算资源。这些问题在医学和法律等特定领域尤为明显。例如，最近的研究表明，对于先进LLM在特定法律咨询问题上的回应中，幻觉现象是普遍且令人不安的，幻觉率高达69%至88%[21]。此外，由于需要用领域特定或最新的数据对LLM进行微调所需的巨大计算资源，解决幻觉问题的挑战变得更加困难。这也大大阻碍了LLM在各种现实世界应用中的广泛应用。

为了解决这些限制，近年来人们努力利用检索增强生成（RAG）来提高大型语言模型（LLM）在各种任务中的能力[6, 53, 62, 135]，尤其是在需要最新和可靠知识的问题解答（QA）、AI4Science 和软件工程等任务中。例如，Lozano 等人[92]引入了一个基于动态检索科学文献的科学 QA 系统。MolReGPT 利用 RAG 来增强 ChatGPT 在分子发现中的情境学习能力[77]。也已经有研究表明，RAG 能有效减少对话任务中的幻觉现象[137, 171]。如图1所示，基于 LLM 的对话系统对于范围之外的查询可能无法回答得很好。在 RAG 的帮助下，从外部数据库检索相关知识并将其整合到生成过程中，对话系统成功地给出了正确答案。鉴于将 RAG 应用于提升 LLM 取得了显著进展，有必要系统地回顾一下检索增强型大型语言模型（RA-LLM）的最新进展。本调查旨在通过分别从架构、训练策略和应用领域这三个方面总结代表性方法，为 RA-LLM 提供一个全面的概述。更具体地说，我们在第2部分简要介绍了 LLM 的背景知识之后，从 RA-LLM 的检索、生成和增强等几个主要视角回顾了现有研究，并讨论了 RAG 中检索的必要性和应用频率。然后在第4部分总结了 RA-LLM 主体训练技术，并在第5部分概述了 RA-LLM 的各种应用。最后，在第6部分，我们讨论了关键挑战和未来探索的可能方向。与我们的调查同时进行的一些相关研究有不同的关注点，例如，赵等人[193]专门回顾了基于多模态信息的 RAG 技术，赵等人[192]讨论了 RAG 在人工智能生成内容（AIGC）方面的应用。高等人[41]对基于 LLM 的 RAG 进行了相对全面的概述。与这些调查不同，我们的调查专注于技术视角，并系统地根据 RA-LLM 的架构和训练范式回顾模型，以及应用任务。

在本节中，我们将介绍一些代表性的人工智能检索增强型大型语言模型（RA-LLM）应用。为了清楚地概述RA-LLM的应用，我们将从三个角度进行回顾：自然语言处理（NLP）应用、下游任务以及特定领域的应用。本节中提到的研究在图6中进行了总结和分类。

检索增强生成（RAG）是一种尖端人工智能技术，由于检索在提供补充信息以增强生成性能方面的强大能力，在推荐、分子生成、蛋白质表示和软件工程等众多应用中取得了显著成功。近期，为减轻大型语言模型（LLM）的局限性，如虚构信息和非最新内部知识，研究者们开始利用检索来提供最新的辅助信息，并教导LLM利用检索到的外部知识。随着检索增强型大型语言模型（RA-LLM）的快速发展，迫切需要全面和系统的概述。为填补这一空缺，本文从模型架构、训练策略和应用领域等方面全面回顾了RA-LLM，为研究者提供了深入的理解。此外，由于RA-LLM的研究尚处于早期阶段，我们还讨论了当前的局限性及未来研究的几个潜在研究方向。