摘要

检索增强生成（RAG）使大语言模型（LLMs）能够利用外部知识来源。LLM处理更长输入序列的能力增强，为提供更多检索信息开辟了新的可能性，从而有可能提升生成输出的质量。可以合理假设，较大的检索集会包含更多相关信息（更高的召回率），这可能导致性能的提升。然而，我们的实证研究显示，对于许多长上下文的LLM，生成输出的质量最初提升后，会随着检索段落数量的增加而下降。本文探讨了这一现象，识别出检索到的“难负样本”对性能的负面影响是一个关键因素。为了缓解这一问题并增强基于长上下文的LLM的RAG的鲁棒性，我们提出了无训练和基于训练的方法。我们首先展示了检索重排序作为一种简单而有效的无训练优化的效果。此外，我们还探讨了基于训练的方法，特别是RAG特定的隐式LLM微调和中间推理的RAG导向微调，展示了它们在性能提升方面的潜力。最后，我们对这些基于训练的方法的设计选择进行系统分析，包括数据分布、检索器选择和训练上下文长度。

研究背景

随着LLMs处理更长输入序列的能力增强，人们期望通过提供更多检索信息来提升生成输出的质量。然而，对于许多长上下文LLMs，增加检索段落的数量并不总是能够提高性能。

主要贡献系统地分析了长上下文LLMs在RAG系统中的性能影响，特别是检索到的“硬负例”对性能的影响。提出了三种方法来提高长上下文LLMs在RAG中的鲁棒性：基于检索重排序的无需训练的方法、针对硬负例的隐式调整以及带有中间推理的显式调整。对这些基于训练的方法进行了全面的研究，包括数据分布、检索器选择和训练上下文长度等因素的影响。研究方法检索重排序：利用LLMs对输入序列开始和结束部分的信息更加敏感的特点，通过重排序检索到的文档，以减少硬负例的影响。隐式鲁棒性微调：通过在训练数据中包含潜在噪声的查询和检索文档，使LLMs隐式地学习对硬负例的鲁棒性。显式相关性微调：在LLMs的微调中加入中间推理步骤，训练模型分析检索文档并显式地识别相关信息，以提高在检索上下文中识别相关信息的能力。

实验结果

实验结果表明，提出的三种方法都能显著提高长上下文LLMs在RAG任务中的性能。特别是，带有中间推理步骤的显式相关性微调方法在多个数据集上都取得了较好的性能提升。

结论

论文指出，尽管增加检索段落的数量可以提高召回率，但过多的检索段落可能会引入无关信息，从而降低LLMs的性能。通过提出的方法，可以有效提高长上下文LLMs在RAG系统中的鲁棒性和性能。

一句话总结

这篇论文通过分析长上下文LLMs在RAG系统中的性能挑战，提出了增强鲁棒性的方法，并验证了这些方法在提高模型性能方面的有效性。

论文链接https://arxiv.org/abs/2410.05983