本文是LLM系列文章，针对《Recursively Summarizing Enables Long-Term Dialogue Memory in Large Language Models》的翻译。
摘要
大多数开放领域对话系统都会忘记重要信息，尤其是在长期对话中。现有的工作通常训练特定的检索器或汇总器从过去获得关键信息，这是耗时的，并且高度依赖于标记数据的质量。为了缓解这个问题，我们建议使用大型语言模型（LLM）递归生成摘要/内存，以增强长期记忆能力。具体来说，我们的方法首先刺激LLM记忆小的对话上下文，然后使用以前的记忆和下面的上下文递归地产生新的记忆。最后，LLM可以在最新内存的帮助下轻松生成高度一致的响应。我们使用ChatGPT和text-davinci-003评估了我们的方法，在广泛使用的公共数据集上的实验表明，我们的方法可以在长上下文对话中产生更一致的响应。值得注意的是，我们的方法是一种潜在的解决方案，可以使LLM对超长上下文进行建模。稍后将发布代码和脚本。
1 引言
2 任务定义
3 方法
4 实验
5 主要结果
6 分析
7 结论
在本文中，我们提出了一种简单有效的策略，通过递归总结来提高LLM中的长期对话能力。实验结果表明了该方法的有效性和通用性。额外的分析表明，该方法可以通过上下文学习得到进一步的增强。
未来的工作包括1）探索我们的方法对更长上下文任务（例如故事生成）的长上下文建模效果，以及2）使用本地监督的微调LLM而不是使用昂贵的在线API来优化摘要性能。
局限性
我们将我们的方法的局限性归纳为两个方面。首先，我们只使用自动度量来评估所提出的方法，这可能不是开放域聊天机器人的最佳评估方法。其次，我们的方法没有考虑调用大型模型的成本，但在实际应用中不能忽视这一点。
