这篇论文的标题是《Differential Transformer》，主要研究了一种新型的Transformer架构，称为Diff Transformer。以下是对论文各部分的介绍：
摘要： Transformer往往过度关注无关的上下文。在这项工作中，我们介绍了Diff Transformer，它在放大对相关上下文的关注的同时，抑制噪声。具体而言，差分注意机制将注意力得分计算为两个独立softmax注意图的差值。这一减法操作消除了噪声，有助于稀疏注意模式的出现。在语言建模的实验结果中，Diff Transformer在不同的模型规模和训练标记设置中表现优于Transformer。更有趣的是，它在实际应用中提供了显著的优势，例如长上下文建模、关键信息检索、幻觉缓解、上下文学习和激活异常值的减少。通过减少对无关上下文的干扰，Diff Transformer可以在问答和文本摘要中缓解幻觉。对于上下文学习，Diff Transformer不仅提高了准确性，而且对顺序置换也更具鲁棒性，这曾被认为是一个长期的鲁棒性问题。结果显示，Diff Transformer是一种非常有效和有前途的架构，可以推动大型语言模型的发展。
研究背景： Transformer模型是大型语言模型（LLMs）的主流架构，其核心是注意力机制。然而，现有研究表明，LLMs在从上下文中准确检索关键信息时面临挑战。Transformer倾向于分配过多注意力给不相关的上下文，这会淹没正确答案。
主要贡献：
提出了Differential Transformer（Diff Transformer），它通过差分去噪来取消注意力噪声。在多种模型尺寸和训练令牌的设置下，Diff Transformer显示出比Transformer更好的性能。在长文本建模、关键信息检索、幻觉缓解、上下文学习等实际应用中，Diff Transformer显示出显著的优势。研究方法： Diff Transformer的核心是差分注意力机制，它通过计算两个独立的softmax注意力图之间的差异来计算注意力分数。此外，还采用了多头差分注意力机制，并对模型进行了多方面的实验评估。
实验结果： 实验表明，Diff Transformer在语言建模方面超越了Transformer，并且在减少模型大小或训练令牌数量的同时，能够实现与Transformer相当的性能。此外，Diff Transformer在长文本建模、关键信息检索、幻觉缓解和上下文学习等任务中表现出色。
结论： Diff Transformer通过减少对不相关上下文的关注，提高了大型语言模型的效率和性能。该架构在多种任务中展现出显著的优势，是一种有前景的新型Transformer架构。
一句话总结： 这篇论文提出了一种新型的Transformer架构——Diff Transformer，它通过差分注意力机制提高了模型对相关上下文的关注，减少了噪声，在多个任务上取得了优于传统Transformer模型的性能。
论文链接https://arxiv.org/abs/2410.05258
