[Agent Memory / 強化學習] MemPO源碼學習筆記

刷到《[Agent Memory / 強化學習] MemPO源碼學習筆記》，內容很實在，值得細讀。這篇把它的關鍵做法提煉出來，幫你省下通讀的時間，結尾附行動建議。

[Agent Memory / 強化學習] MemPO源碼學習筆記 ---（1）--- 總體 目錄 [Agent Memory / 強化學習] MemPO源碼學習筆記 ---（1）--- 總體 0x00 概要 0x01 基礎 & 背景 1.1 用RL訓練記憶系統的要點 1.2 主要難點 1.3 主要思路 1.4 RL訓練方案 1.4.1 方案概述 1.4.2 任務與環境描述 1.4.3 模型架構 1.4.4 強化學習訓練流程 交互與記憶更新 獎勵信號設計 目標函數 經驗回覆(Experience Replay) 1.4.5 優化策略 1.4.6 結果評估與改進 1.4.7 小結 0x02 MemPO 論文 0x03 總體架構 3.1 路徑 3.2 關鍵算法細節速查表 3.3 架構圖 3.4 流程全景 3.5 VeRL VeRL的可擴展點(從易到難) 新增代碼 MemPO 修改點彙總表 0x04 設計思路 4.1 通俗解釋 普通偵探(老方法) MemPO 偵探(新方法) 關鍵問題 推理格式 小結 4.2 詳細解析 雙通路 本質區別 0x05 訓練 & 推理 5.1 Agent 單輪交互格式 (訓練 & 推理通用) 5.2 訓練架構圖 5.3 評估架構圖 5.4 函數的數據流串聯 5.5 環境 0x06 環境 6.1 特點 具體特點 與標準 RL 環境的對比 總結 6.2 兩套環境 6.3 訓練環境 6.4 評估環境 6.5 RAG 服務 (兩套獨立進程) 6.6 小結 0xFF 參考 0x00 概要 現有的基於強化學習的 Memory 管理方法往往缺乏一種有效機制針對 Memory 的更新內容進行引導優化，Memory 的內容難以保證質量。

[Agent Memory / 強化學習] MemPO源碼學習筆記 ---（1）--- 總體 目錄 [Agent Memory / 強化學習] MemPO源碼學習筆記 ---（1）--- 總體 0x00 概要 0x01 基礎 & 背景 1.1 用RL訓練記憶系統的要點 1.2 主要難點 1.3 主要思路 1.4 RL訓練方案 1.4.1 方案概述 1.4.2 任務與環境描述 1.4.3 模型架構 1.4.4 強化學習訓練流程 交互與記憶更新 獎勵信號設計 目標函數 經驗回覆(Experience Replay) 1.4.5 優化策略 1.4.6 結果評估與改進 1.4.7 小結 0x02 MemPO 論文 0x03 總體架構 3.1 路徑 3.2 關鍵算法細節速查表 3.3 架構圖 3.4 流程全景 3.5 VeRL VeRL的可擴展點(從易到難) 新增代碼 MemPO 修改點彙總表 0x04 設計思路 4.1 通俗解釋 普通偵探(老方法) MemPO 偵探(新方法) 關鍵問題 推理格式 小結 4.2 詳細解析 雙通路 本質區別 0x05 訓練 & 推理 5.1 Agent 單輪交互格式 (訓練 & 推理通用) 5.2 訓練架構圖 5.3 評估架構圖 5.4 函數的數據流串聯 5.5 環境 0x06 環境 6.1 特點 具體特點 與標準 RL 環境的對比 總結 6.2 兩套環境 6.3 訓練環境 6.4 評估環境 6.5 RAG 服務 (兩套獨立進程) 6.6 小結 0xFF 參考 0x00 概要 現有的基於強化學習的 Memory 管理方法往往缺乏一種有效機制針對 Memory 的更新內容進行引導優化，Memory 的內容難以保證質量。而 MemPO（Self-Memory Policy Optimization）使模型對 Memory 進行自管理，並引入了基於有效信息含量的 Memory-level 的優勢估計，引導 Memory 保留對解決任務更有效的信息，進而提升記憶有效性。

[Agent Memory / 強化學習] MemPO源碼學習筆記 ---（1）--- 總體 目錄 [Agent Memory / 強化學習] MemPO源碼學習筆記 ---（1）--- 總體 0x00 概要 0x01 基礎 & 背景 1.1 用RL訓練記憶系統的要點 1.2 主要難點 1.3 主要思路 1.4 RL訓練方案 1.4.1 方案概述 1.4.2 任務與環境描述 1.4.3 模型架構 1.4.4 強化學習訓練流程 交互與記憶更新 獎勵信號設計 目標函數 經驗回覆(Experience Replay) 1.4.5 優化策略 1.4.6 結果評估與改進 1.4.7 小結 0x02 MemPO 論文 0x03 總體架構 3.1 路徑 3.2 關鍵算法細節速查表 3.3 架構圖 3.4 流程全景 3.5 VeRL VeRL的可擴展點(從易到難) 新增代碼 MemPO 修改點彙總表 0x04 設計思路 4.1 通俗解釋 普通偵探(老方法) MemPO 偵探(新方法) 關鍵問題 推理格式 小結 4.2 詳細解析 雙通路 本質區別 0x05 訓練 & 推理 5.1 Agent 單輪交互格式 (訓練 & 推理通用) 5.2 訓練架構圖 5.3 評估架構圖 5.4 函數的數據流串聯 5.5 環境 0x06 環境 6.1 特點 具體特點 與標準 RL 環境的對比 總結 6.2 兩套環境 6.3 訓練環境 6.4 評估環境 6.5 RAG 服務 (兩套獨立進程) 6.6 小結 0xFF 參考 0x00 概要 現有的基於強化學習的 Memory 管理方法往往缺乏一種有效機制針對 Memory 的更新內容進行引導優化，Memory 的內容難以保證質量。而 MemPO（Self-Memory Policy Optimization）使模型對 Memory 進行自管理，並引入了基於有效信息含量的 Memory-level 的優勢估計，引導 Memory 保留對解決任務更有效的信息，進而提升記憶有效性。 MemPO的獨特切入點是：讓模型把記憶寫在每輪開頭( )，形式上像“自我對話的草稿紙“，既是記憶又是思考鏈的一部分。

[Agent Memory / 強化學習] MemPO源碼學習筆記 ---（1）--- 總體 目錄 [Agent Memory / 強化學習] MemPO源碼學習筆記 ---（1）--- 總體 0x00 概要 0x01 基礎 & 背景 1.1 用RL訓練記憶系統的要點 1.2 主要難點 1.3 主要思路 1.4 RL訓練方案 1.4.1 方案概述 1.4.2 任務與環境描述 1.4.3 模型架構 1.4.4 強化學習訓練流程 交互與記憶更新 獎勵信號設計 目標函數 經驗回覆(Experience Replay) 1.4.5 優化策略 1.4.6 結果評估與改進 1.4.7 小結 0x02 MemPO 論文 0x03 總體架構 3.1 路徑 3.2 關鍵算法細節速查表 3.3 架構圖 3.4 流程全景 3.5 VeRL VeRL的可擴展點(從易到難) 新增代碼 MemPO 修改點彙總表 0x04 設計思路 4.1 通俗解釋 普通偵探(老方法) MemPO 偵探(新方法) 關鍵問題 推理格式 小結 4.2 詳細解析 雙通路 本質區別 0x05 訓練 & 推理 5.1 Agent 單輪交互格式 (訓練 & 推理通用) 5.2 訓練架構圖 5.3 評估架構圖 5.4 函數的數據流串聯 5.5 環境 0x06 環境 6.1 特點 具體特點 與標準 RL 環境的對比 總結 6.2 兩套環境 6.3 訓練環境 6.4 評估環境 6.5 RAG 服務 (兩套獨立進程) 6.6 小結 0xFF 參考 0x00 概要 現有的基於強化學習的 Memory 管理方法往往缺乏一種有效機制針對 Memory 的更新內容進行引導優化，Memory 的內容難以保證質量。而 MemPO（Self-Memory Policy Optimization）使模型對 Memory 進行自管理，並引入了基於有效信息含量的 Memory-level 的優勢估計，引導 Memory 保留對解決任務更有效的信息，進而提升記憶有效性。 MemPO的獨特切入點是：讓模型把記憶寫在每輪開頭( )，形式上像“自我對話的草稿紙“，既是記憶又是思考鏈的一部分。這樣， 變成可訓練的策略變量，用RL信號端到端地教會模型“什麼值得記、怎麼記”。

[Agent Memory / 強化學習] MemPO源碼學習筆記 ---（1）--- 總體 目錄 [Agent Memory / 強化學習] MemPO源碼學習筆記 ---（1）--- 總體 0x00 概要 0x01 基礎 & 背景 1.1 用RL訓練記憶系統的要點 1.2 主要難點 1.3 主要思路 1.4 RL訓練方案 1.4.1 方案概述 1.4.2 任務與環境描述 1.4.3 模型架構 1.4.4 強化學習訓練流程 交互與記憶更新 獎勵信號設計 目標函數 經驗回覆(Experience Replay) 1.4.5 優化策略 1.4.6 結果評估與改進 1.4.7 小結 0x02 MemPO 論文 0x03 總體架構 3.1 路徑 3.2 關鍵算法細節速查表 3.3 架構圖 3.4 流程全景 3.5 VeRL VeRL的可擴展點(從易到難) 新增代碼 MemPO 修改點彙總表 0x04 設計思路 4.1 通俗解釋 普通偵探(老方法) MemPO 偵探(新方法) 關鍵問題 推理格式 小結 4.2 詳細解析 雙通路 本質區別 0x05 訓練 & 推理 5.1 Agent 單輪交互格式 (訓練 & 推理通用) 5.2 訓練架構圖 5.3 評估架構圖 5.4 函數的數據流串聯 5.5 環境 0x06 環境 6.1 特點 具體特點 與標準 RL 環境的對比 總結 6.2 兩套環境 6.3 訓練環境 6.4 評估環境 6.5 RAG 服務 (兩套獨立進程) 6.6 小結 0xFF 參考 0x00 概要 現有的基於強化學習的 Memory 管理方法往往缺乏一種有效機制針對 Memory 的更新內容進行引導優化，Memory 的內容難以保證質量。而 MemPO（Self-Memory Policy Optimization）使模型對 Memory 進行自管理，並引入了基於有效信息含量的 Memory-level 的優勢估計，引導 Memory 保留對解決任務更有效的信息，進而提升記憶有效性。 MemPO的獨特切入點是：讓模型把記憶寫在每輪開頭( )，形式上像“自我對話的草稿紙“，既是記憶又是思考鏈的一部分。這樣， 變成可訓練的策略變量，用RL信號端到端地教會模型“什麼值得記、怎麼記”。RL 直接端到端優化這一行爲，無需額外的記憶模塊。

最後提醒：每個人的環境不一樣，照抄之前先小步驗證。有了自己的驗證結果，這篇的價值才真正歸你。你怎麼看？ 來源｜博客園《[Agent Memory / 強化學習] MemPO源碼學習筆記》，https://www.cnblogs.com/rossiXYZ/p/22864251.html