LLM论文研读：Trace as State——把思考过程放到问题之前，真的能让大模型更会推理吗？

《LLM论文研读：Trace as State——把思考过程放到问题之前，真的能让大模型更会推理吗？》是近期博客园技术区的好帖，信息密度大。下面分段讲清它的核心内容，看到结尾你就知道该怎么做了。

欢迎关注公众号：爱学习的妮妮qiang 最近在研究长上下文大模型的时候，看到一篇很有意思的论文：《Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers》，这篇论文研究的问题其实很简单： 如果模型已经针对一个问题认真思考过一次，那么第二次再做这个问题时，能不能把第一次的“思考过程”利用起来？ 作者并没有单纯让模型“再思考一次”，而是研究了一个非常细节的问题： 同样一段 Reasoning Trace，放在上下文前面和后面，为什么效果会差这么多？

欢迎关注公众号：爱学习的妮妮qiang 最近在研究长上下文大模型的时候，看到一篇很有意思的论文：《Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers》，这篇论文研究的问题其实很简单： 如果模型已经针对一个问题认真思考过一次，那么第二次再做这个问题时，能不能把第一次的“思考过程”利用起来？ 作者并没有单纯让模型“再思考一次”，而是研究了一个非常细节的问题： 同样一段 Reasoning Trace，放在上下文前面和后面，为什么效果会差这么多？ 我自己也把这篇论文的实验跑了一遍，所以这次不单纯做论文介绍，而是结合论文实验和自己的复现，聊聊这个方法到底是什么、为什么有效，以及我觉得更值得讨论的一个问题： Trace as State 到底是在增强模型推理，还是把之前已经获得的答案信息重新利用了一遍？

欢迎关注公众号：爱学习的妮妮qiang 最近在研究长上下文大模型的时候，看到一篇很有意思的论文：《Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers》，这篇论文研究的问题其实很简单： 如果模型已经针对一个问题认真思考过一次，那么第二次再做这个问题时，能不能把第一次的“思考过程”利用起来？ 作者并没有单纯让模型“再思考一次”，而是研究了一个非常细节的问题： 同样一段 Reasoning Trace，放在上下文前面和后面，为什么效果会差这么多？ 我自己也把这篇论文的实验跑了一遍，所以这次不单纯做论文介绍，而是结合论文实验和自己的复现，聊聊这个方法到底是什么、为什么有效，以及我觉得更值得讨论的一个问题： Trace as State 到底是在增强模型推理，还是把之前已经获得的答案信息重新利用了一遍？ 1. 背景：长上下文越来越长，但“看到了”不等于“利用好了” 现在的大模型上下文窗口已经越来越大。

欢迎关注公众号：爱学习的妮妮qiang 最近在研究长上下文大模型的时候，看到一篇很有意思的论文：《Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers》，这篇论文研究的问题其实很简单： 如果模型已经针对一个问题认真思考过一次，那么第二次再做这个问题时，能不能把第一次的“思考过程”利用起来？ 作者并没有单纯让模型“再思考一次”，而是研究了一个非常细节的问题： 同样一段 Reasoning Trace，放在上下文前面和后面，为什么效果会差这么多？ 我自己也把这篇论文的实验跑了一遍，所以这次不单纯做论文介绍，而是结合论文实验和自己的复现，聊聊这个方法到底是什么、为什么有效，以及我觉得更值得讨论的一个问题： Trace as State 到底是在增强模型推理，还是把之前已经获得的答案信息重新利用了一遍？ 1. 背景：长上下文越来越长，但“看到了”不等于“利用好了” 现在的大模型上下文窗口已经越来越大。 几十万 Token、百万 Token 的上下文，逐渐成为很多模型的基础能力。

欢迎关注公众号：爱学习的妮妮qiang 最近在研究长上下文大模型的时候，看到一篇很有意思的论文：《Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers》，这篇论文研究的问题其实很简单： 如果模型已经针对一个问题认真思考过一次，那么第二次再做这个问题时，能不能把第一次的“思考过程”利用起来？ 作者并没有单纯让模型“再思考一次”，而是研究了一个非常细节的问题： 同样一段 Reasoning Trace，放在上下文前面和后面，为什么效果会差这么多？ 我自己也把这篇论文的实验跑了一遍，所以这次不单纯做论文介绍，而是结合论文实验和自己的复现，聊聊这个方法到底是什么、为什么有效，以及我觉得更值得讨论的一个问题： Trace as State 到底是在增强模型推理，还是把之前已经获得的答案信息重新利用了一遍？ 1. 背景：长上下文越来越长，但“看到了”不等于“利用好了” 现在的大模型上下文窗口已经越来越大。 几十万 Token、百万 Token 的上下文，逐渐成为很多模型的基础能力。但实际使用过程中，一个非常明显的问题是： 上下文越长，模型并不一定越容易完成复杂推理。

建议先收藏再实操：挑其中一个点今天就试试，跑通了再看下一个。知识只有过手才是你的，你准备先试哪一点？ 来源｜博客园《LLM论文研读：Trace as State——把思考过程放到问题之前，真的能让大模型更会推理吗？》，https://www.cnblogs.com/mengrennwpu/p/22997077.html