基于魔搭 MS

《基于魔搭 MS》这篇在博客园热度很高，讲的正是大家天天碰到的事。下面帮你把要点捋出来，结尾有能直接抄的结论。

在大模型二次开发学习阶段，手写训练代码可以帮助我们吃透模型微调底层逻辑，做到知其然更知其所以然。但落地到企业生产环境，我们更追求标准化流程、高复用能力与稳定可靠的工程化方案。MS-Swift 作为阿里达摩院魔搭社区开源的一站式大模型开发框架，集成了模型训练、微调、推理、量化部署全链路能力，兼容数百款大主流模型与多种微调、对齐算法。本章我们就借助 MS-Swift 这类成熟工具，学习如何用标准化流程快速完成大模型二次训练，实现快速将模型能力深度集成进企业业务系统。

在大模型二次开发学习阶段，手写训练代码可以帮助我们吃透模型微调底层逻辑，做到知其然更知其所以然。但落地到企业生产环境，我们更追求标准化流程、高复用能力与稳定可靠的工程化方案。MS-Swift 作为阿里达摩院魔搭社区开源的一站式大模型开发框架，集成了模型训练、微调、推理、量化部署全链路能力，兼容数百款大主流模型与多种微调、对齐算法。本章我们就借助 MS-Swift 这类成熟工具，学习如何用标准化流程快速完成大模型二次训练，实现快速将模型能力深度集成进企业业务系统。 项目地址： （链接略） 本章我们借助 MS‑Swift 框架，完整跑通一套面向行业 Agent 的大模型定制流水线，案例选用 Qwen3.5‑0.8B‑Base 基础模型，参数量仅 0.8B ，硬件门槛低，可以完整跑通企业 Agent 微调全流程；实际业务中可以替换为 Qwen‑8B 、 14B 等更大规模基座。

在大模型二次开发学习阶段，手写训练代码可以帮助我们吃透模型微调底层逻辑，做到知其然更知其所以然。但落地到企业生产环境，我们更追求标准化流程、高复用能力与稳定可靠的工程化方案。MS-Swift 作为阿里达摩院魔搭社区开源的一站式大模型开发框架，集成了模型训练、微调、推理、量化部署全链路能力，兼容数百款大主流模型与多种微调、对齐算法。本章我们就借助 MS-Swift 这类成熟工具，学习如何用标准化流程快速完成大模型二次训练，实现快速将模型能力深度集成进企业业务系统。 项目地址： （链接略） 本章我们借助 MS‑Swift 框架，完整跑通一套面向行业 Agent 的大模型定制流水线，案例选用 Qwen3.5‑0.8B‑Base 基础模型，参数量仅 0.8B ，硬件门槛低，可以完整跑通企业 Agent 微调全流程；实际业务中可以替换为 Qwen‑8B 、 14B 等更大规模基座。 本次大模型定制采用四阶段递进式微调流程，层层打磨模型能力，完整流程如下： [代码示例略] 在工程落地实践中，先增量预训练灌入无标签领域知识，再做指令微调，再 Agent 微调，最后偏好对齐。

在大模型二次开发学习阶段，手写训练代码可以帮助我们吃透模型微调底层逻辑，做到知其然更知其所以然。但落地到企业生产环境，我们更追求标准化流程、高复用能力与稳定可靠的工程化方案。MS-Swift 作为阿里达摩院魔搭社区开源的一站式大模型开发框架，集成了模型训练、微调、推理、量化部署全链路能力，兼容数百款大主流模型与多种微调、对齐算法。本章我们就借助 MS-Swift 这类成熟工具，学习如何用标准化流程快速完成大模型二次训练，实现快速将模型能力深度集成进企业业务系统。 项目地址： （链接略） 本章我们借助 MS‑Swift 框架，完整跑通一套面向行业 Agent 的大模型定制流水线，案例选用 Qwen3.5‑0.8B‑Base 基础模型，参数量仅 0.8B ，硬件门槛低，可以完整跑通企业 Agent 微调全流程；实际业务中可以替换为 Qwen‑8B 、 14B 等更大规模基座。 本次大模型定制采用四阶段递进式微调流程，层层打磨模型能力，完整流程如下： [代码示例略] 在工程落地实践中，先增量预训练灌入无标签领域知识，再做指令微调，再 Agent 微调，最后偏好对齐。 CPT 增量预训练 ：灌入大批量无标签领域文档，让基座学习行业术语、业务行文逻辑、领域事实；只做文本续写，不学对话；产出领域增强基座 SFT 监督指令微调 ：教会领域基座听懂人类指令，学会问答对话、遵循 system 提示词，掌握对话模板；产出领域问答模型 Agent SFT 工具调用微调 ：教会模型判断什么时候需要调用外部工具，输出格式合法的工具调用 JSON；接收工具返回结果后整理自然语言答案 DPO 偏好对齐 ：修复 Agent 的缺陷，工具误调用、非法 JSON 输出、回答啰嗦、编造事实幻觉；用好坏成对样本矫正模型输出行为 每一个训练阶段结束，必须做人工推理测试，验证效果达标，再合并 LoRA，流入下一阶段；不要跳过测试直接训练下一流程，否则问题会层层叠加，最后很难定位 bug 出在哪一步。

在大模型二次开发学习阶段，手写训练代码可以帮助我们吃透模型微调底层逻辑，做到知其然更知其所以然。但落地到企业生产环境，我们更追求标准化流程、高复用能力与稳定可靠的工程化方案。MS-Swift 作为阿里达摩院魔搭社区开源的一站式大模型开发框架，集成了模型训练、微调、推理、量化部署全链路能力，兼容数百款大主流模型与多种微调、对齐算法。本章我们就借助 MS-Swift 这类成熟工具，学习如何用标准化流程快速完成大模型二次训练，实现快速将模型能力深度集成进企业业务系统。 项目地址： （链接略） 本章我们借助 MS‑Swift 框架，完整跑通一套面向行业 Agent 的大模型定制流水线，案例选用 Qwen3.5‑0.8B‑Base 基础模型，参数量仅 0.8B ，硬件门槛低，可以完整跑通企业 Agent 微调全流程；实际业务中可以替换为 Qwen‑8B 、 14B 等更大规模基座。 本次大模型定制采用四阶段递进式微调流程，层层打磨模型能力，完整流程如下： [代码示例略] 在工程落地实践中，先增量预训练灌入无标签领域知识，再做指令微调，再 Agent 微调，最后偏好对齐。 CPT 增量预训练 ：灌入大批量无标签领域文档，让基座学习行业术语、业务行文逻辑、领域事实；只做文本续写，不学对话；产出领域增强基座 SFT 监督指令微调 ：教会领域基座听懂人类指令，学会问答对话、遵循 system 提示词，掌握对话模板；产出领域问答模型 Agent SFT 工具调用微调 ：教会模型判断什么时候需要调用外部工具，输出格式合法的工具调用 JSON；接收工具返回结果后整理自然语言答案 DPO 偏好对齐 ：修复 Agent 的缺陷，工具误调用、非法 JSON 输出、回答啰嗦、编造事实幻觉；用好坏成对样本矫正模型输出行为 每一个训练阶段结束，必须做人工推理测试，验证效果达标，再合并 LoRA，流入下一阶段；不要跳过测试直接训练下一流程，否则问题会层层叠加，最后很难定位 bug 出在哪一步。 一、环境配置 本章节完成系统底层依赖、Python虚拟环境、适配CUDA的PyTorch、MS-Swift源码部署、基座模型下载全套流程，采用国内镜像加速，解决海外源下载慢、超时问题。

建议先收藏再实操：挑其中一个点今天就试试，跑通了再看下一个。知识只有过手才是你的，你准备先试哪一点？ 来源｜博客园《基于魔搭 MS》，https://www.cnblogs.com/LyShark/p/22964260.html