LLM論文研讀：Trace as State——把思考過程放到問題之前，真的能讓大模型更會推理嗎？

《LLM論文研讀：Trace as State——把思考過程放到問題之前，真的能讓大模型更會推理嗎？》是近期博客園技術區的好帖，信息密度大。下面分段講清它的核心內容，看到結尾你就知道該怎麼做了。

歡迎關注公衆號：愛學習的妮妮qiang 最近在研究長上下文大模型的時候，看到一篇很有意思的論文：《Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers》，這篇論文研究的問題其實很簡單： 如果模型已經針對一個問題認真思考過一次，那麼第二次再做這個問題時，能不能把第一次的“思考過程”利用起來？ 作者並沒有單純讓模型“再思考一次”，而是研究了一個非常細節的問題： 同樣一段 Reasoning Trace，放在上下文前面和後面，爲什麼效果會差這麼多？

歡迎關注公衆號：愛學習的妮妮qiang 最近在研究長上下文大模型的時候，看到一篇很有意思的論文：《Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers》，這篇論文研究的問題其實很簡單： 如果模型已經針對一個問題認真思考過一次，那麼第二次再做這個問題時，能不能把第一次的“思考過程”利用起來？ 作者並沒有單純讓模型“再思考一次”，而是研究了一個非常細節的問題： 同樣一段 Reasoning Trace，放在上下文前面和後面，爲什麼效果會差這麼多？ 我自己也把這篇論文的實驗跑了一遍，所以這次不單純做論文介紹，而是結合論文實驗和自己的復現，聊聊這個方法到底是什麼、爲什麼有效，以及我覺得更值得討論的一個問題： Trace as State 到底是在增強模型推理，還是把之前已經獲得的答案信息重新利用了一遍？

歡迎關注公衆號：愛學習的妮妮qiang 最近在研究長上下文大模型的時候，看到一篇很有意思的論文：《Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers》，這篇論文研究的問題其實很簡單： 如果模型已經針對一個問題認真思考過一次，那麼第二次再做這個問題時，能不能把第一次的“思考過程”利用起來？ 作者並沒有單純讓模型“再思考一次”，而是研究了一個非常細節的問題： 同樣一段 Reasoning Trace，放在上下文前面和後面，爲什麼效果會差這麼多？ 我自己也把這篇論文的實驗跑了一遍，所以這次不單純做論文介紹，而是結合論文實驗和自己的復現，聊聊這個方法到底是什麼、爲什麼有效，以及我覺得更值得討論的一個問題： Trace as State 到底是在增強模型推理，還是把之前已經獲得的答案信息重新利用了一遍？ 1. 背景：長上下文越來越長，但“看到了”不等於“利用好了” 現在的大模型上下文窗口已經越來越大。

歡迎關注公衆號：愛學習的妮妮qiang 最近在研究長上下文大模型的時候，看到一篇很有意思的論文：《Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers》，這篇論文研究的問題其實很簡單： 如果模型已經針對一個問題認真思考過一次，那麼第二次再做這個問題時，能不能把第一次的“思考過程”利用起來？ 作者並沒有單純讓模型“再思考一次”，而是研究了一個非常細節的問題： 同樣一段 Reasoning Trace，放在上下文前面和後面，爲什麼效果會差這麼多？ 我自己也把這篇論文的實驗跑了一遍，所以這次不單純做論文介紹，而是結合論文實驗和自己的復現，聊聊這個方法到底是什麼、爲什麼有效，以及我覺得更值得討論的一個問題： Trace as State 到底是在增強模型推理，還是把之前已經獲得的答案信息重新利用了一遍？ 1. 背景：長上下文越來越長，但“看到了”不等於“利用好了” 現在的大模型上下文窗口已經越來越大。 幾十萬 Token、百萬 Token 的上下文，逐漸成爲很多模型的基礎能力。

歡迎關注公衆號：愛學習的妮妮qiang 最近在研究長上下文大模型的時候，看到一篇很有意思的論文：《Trace as State: Reasoning Traces as Conditional States for Long-Context Transformers》，這篇論文研究的問題其實很簡單： 如果模型已經針對一個問題認真思考過一次，那麼第二次再做這個問題時，能不能把第一次的“思考過程”利用起來？ 作者並沒有單純讓模型“再思考一次”，而是研究了一個非常細節的問題： 同樣一段 Reasoning Trace，放在上下文前面和後面，爲什麼效果會差這麼多？ 我自己也把這篇論文的實驗跑了一遍，所以這次不單純做論文介紹，而是結合論文實驗和自己的復現，聊聊這個方法到底是什麼、爲什麼有效，以及我覺得更值得討論的一個問題： Trace as State 到底是在增強模型推理，還是把之前已經獲得的答案信息重新利用了一遍？ 1. 背景：長上下文越來越長，但“看到了”不等於“利用好了” 現在的大模型上下文窗口已經越來越大。 幾十萬 Token、百萬 Token 的上下文，逐漸成爲很多模型的基礎能力。但實際使用過程中，一個非常明顯的問題是： 上下文越長，模型並不一定越容易完成複雜推理。

建議先收藏再實操：挑其中一個點今天就試試，跑通了再看下一個。知識只有過手纔是你的，你準備先試哪一點？ 來源｜博客園《LLM論文研讀：Trace as State——把思考過程放到問題之前，真的能讓大模型更會推理嗎？》，https://www.cnblogs.com/mengrennwpu/p/22997077.html