基於魔搭 MS

《基於魔搭 MS》這篇在博客園熱度很高，講的正是大家天天碰到的事。下面幫你把要點捋出來，結尾有能直接抄的結論。

在大模型二次開發學習階段，手寫訓練代碼可以幫助我們喫透模型微調底層邏輯，做到知其然更知其所以然。但落地到企業生產環境，我們更追求標準化流程、高複用能力與穩定可靠的工程化方案。MS-Swift 作爲阿里達摩院魔搭社區開源的一站式大模型開發框架，集成了模型訓練、微調、推理、量化部署全鏈路能力，兼容數百款大主流模型與多種微調、對齊算法。本章我們就藉助 MS-Swift 這類成熟工具，學習如何用標準化流程快速完成大模型二次訓練，實現快速將模型能力深度集成進企業業務系統。

在大模型二次開發學習階段，手寫訓練代碼可以幫助我們喫透模型微調底層邏輯，做到知其然更知其所以然。但落地到企業生產環境，我們更追求標準化流程、高複用能力與穩定可靠的工程化方案。MS-Swift 作爲阿里達摩院魔搭社區開源的一站式大模型開發框架，集成了模型訓練、微調、推理、量化部署全鏈路能力，兼容數百款大主流模型與多種微調、對齊算法。本章我們就藉助 MS-Swift 這類成熟工具，學習如何用標準化流程快速完成大模型二次訓練，實現快速將模型能力深度集成進企業業務系統。 項目地址： （鏈接略） 本章我們藉助 MS‑Swift 框架，完整跑通一套面向行業 Agent 的大模型定製流水線，案例選用 Qwen3.5‑0.8B‑Base 基礎模型，參數量僅 0.8B ，硬件門檻低，可以完整跑通企業 Agent 微調全流程；實際業務中可以替換爲 Qwen‑8B 、 14B 等更大規模基座。

在大模型二次開發學習階段，手寫訓練代碼可以幫助我們喫透模型微調底層邏輯，做到知其然更知其所以然。但落地到企業生產環境，我們更追求標準化流程、高複用能力與穩定可靠的工程化方案。MS-Swift 作爲阿里達摩院魔搭社區開源的一站式大模型開發框架，集成了模型訓練、微調、推理、量化部署全鏈路能力，兼容數百款大主流模型與多種微調、對齊算法。本章我們就藉助 MS-Swift 這類成熟工具，學習如何用標準化流程快速完成大模型二次訓練，實現快速將模型能力深度集成進企業業務系統。 項目地址： （鏈接略） 本章我們藉助 MS‑Swift 框架，完整跑通一套面向行業 Agent 的大模型定製流水線，案例選用 Qwen3.5‑0.8B‑Base 基礎模型，參數量僅 0.8B ，硬件門檻低，可以完整跑通企業 Agent 微調全流程；實際業務中可以替換爲 Qwen‑8B 、 14B 等更大規模基座。 本次大模型定製採用四階段遞進式微調流程，層層打磨模型能力，完整流程如下： [代碼示例略] 在工程落地實踐中，先增量預訓練灌入無標籤領域知識，再做指令微調，再 Agent 微調，最後偏好對齊。

在大模型二次開發學習階段，手寫訓練代碼可以幫助我們喫透模型微調底層邏輯，做到知其然更知其所以然。但落地到企業生產環境，我們更追求標準化流程、高複用能力與穩定可靠的工程化方案。MS-Swift 作爲阿里達摩院魔搭社區開源的一站式大模型開發框架，集成了模型訓練、微調、推理、量化部署全鏈路能力，兼容數百款大主流模型與多種微調、對齊算法。本章我們就藉助 MS-Swift 這類成熟工具，學習如何用標準化流程快速完成大模型二次訓練，實現快速將模型能力深度集成進企業業務系統。 項目地址： （鏈接略） 本章我們藉助 MS‑Swift 框架，完整跑通一套面向行業 Agent 的大模型定製流水線，案例選用 Qwen3.5‑0.8B‑Base 基礎模型，參數量僅 0.8B ，硬件門檻低，可以完整跑通企業 Agent 微調全流程；實際業務中可以替換爲 Qwen‑8B 、 14B 等更大規模基座。 本次大模型定製採用四階段遞進式微調流程，層層打磨模型能力，完整流程如下： [代碼示例略] 在工程落地實踐中，先增量預訓練灌入無標籤領域知識，再做指令微調，再 Agent 微調，最後偏好對齊。 CPT 增量預訓練 ：灌入大批量無標籤領域文檔，讓基座學習行業術語、業務行文邏輯、領域事實；只做文本續寫，不學對話；產出領域增強基座 SFT 監督指令微調 ：教會領域基座聽懂人類指令，學會問答對話、遵循 system 提示詞，掌握對話模板；產出領域問答模型 Agent SFT 工具調用微調 ：教會模型判斷什麼時候需要調用外部工具，輸出格式合法的工具調用 JSON；接收工具返回結果後整理自然語言答案 DPO 偏好對齊 ：修復 Agent 的缺陷，工具誤調用、非法 JSON 輸出、回答囉嗦、編造事實幻覺；用好壞成對樣本矯正模型輸出行爲 每一個訓練階段結束，必須做人工推理測試，驗證效果達標，再合併 LoRA，流入下一階段；不要跳過測試直接訓練下一流程，否則問題會層層疊加，最後很難定位 bug 出在哪一步。

在大模型二次開發學習階段，手寫訓練代碼可以幫助我們喫透模型微調底層邏輯，做到知其然更知其所以然。但落地到企業生產環境，我們更追求標準化流程、高複用能力與穩定可靠的工程化方案。MS-Swift 作爲阿里達摩院魔搭社區開源的一站式大模型開發框架，集成了模型訓練、微調、推理、量化部署全鏈路能力，兼容數百款大主流模型與多種微調、對齊算法。本章我們就藉助 MS-Swift 這類成熟工具，學習如何用標準化流程快速完成大模型二次訓練，實現快速將模型能力深度集成進企業業務系統。 項目地址： （鏈接略） 本章我們藉助 MS‑Swift 框架，完整跑通一套面向行業 Agent 的大模型定製流水線，案例選用 Qwen3.5‑0.8B‑Base 基礎模型，參數量僅 0.8B ，硬件門檻低，可以完整跑通企業 Agent 微調全流程；實際業務中可以替換爲 Qwen‑8B 、 14B 等更大規模基座。 本次大模型定製採用四階段遞進式微調流程，層層打磨模型能力，完整流程如下： [代碼示例略] 在工程落地實踐中，先增量預訓練灌入無標籤領域知識，再做指令微調，再 Agent 微調，最後偏好對齊。 CPT 增量預訓練 ：灌入大批量無標籤領域文檔，讓基座學習行業術語、業務行文邏輯、領域事實；只做文本續寫，不學對話；產出領域增強基座 SFT 監督指令微調 ：教會領域基座聽懂人類指令，學會問答對話、遵循 system 提示詞，掌握對話模板；產出領域問答模型 Agent SFT 工具調用微調 ：教會模型判斷什麼時候需要調用外部工具，輸出格式合法的工具調用 JSON；接收工具返回結果後整理自然語言答案 DPO 偏好對齊 ：修復 Agent 的缺陷，工具誤調用、非法 JSON 輸出、回答囉嗦、編造事實幻覺；用好壞成對樣本矯正模型輸出行爲 每一個訓練階段結束，必須做人工推理測試，驗證效果達標，再合併 LoRA，流入下一階段；不要跳過測試直接訓練下一流程，否則問題會層層疊加，最後很難定位 bug 出在哪一步。 一、環境配置 本章節完成系統底層依賴、Python虛擬環境、適配CUDA的PyTorch、MS-Swift源碼部署、基座模型下載全套流程，採用國內鏡像加速，解決海外源下載慢、超時問題。

建議先收藏再實操：挑其中一個點今天就試試，跑通了再看下一個。知識只有過手纔是你的，你準備先試哪一點？ 來源｜博客園《基於魔搭 MS》，https://www.cnblogs.com/LyShark/p/22964260.html