SFT

大模型基础概念：预训练、后训练、SFT

先一句话总览： 预训练是让模型学海量通用知识；后训练是在预训练之后做的一系列优化，SFT（监督微调）属于后训练里最核心的一步。

1. 预训练 Pre-training

大模型底座的“通识教育阶段”

• 数据：互联网海量无标注文本（书籍、网页、文章等），不需要人工打标签。
• 目标：预测下一个token。给定一段文字，猜下一个词是什么。
• 学到什么：语言规律、常识、事实知识、推理基础，形成基础大模型底座（base model）。
• 特点：
  • 模型只会“续写文本”，不会听话。你问它问题，它可能顺着问题继续写小说，而不是回答。
  • 参数量巨大，训练成本极高；不学习对齐人类意图。

例子：Llama base、GPT base 版本，就是预训练完还没做对齐的模型。

2. 后训练 Post-training

预训练完成之后，所有用来对齐人类意图的训练流程的统称，不是单一算法。 base模型经过后训练，才变成能聊天、遵守指令的对话模型。

后训练一般包含这几个环节（顺序不固定，常见流水线）：

1. SFT 监督微调（Supervised Fine-Tuning）
2. RM 奖励模型训练（Reward Model）
3. RLHF 基于人类反馈的强化学习
4. 还有 DPO、ORPO 这类替代RLHF的偏好优化，也属于后训练

✅ 重点：SFT ∈ 后训练，很多人会混淆，以为SFT和后训练是并列概念。

3. SFT 监督微调 Supervised Fine-Tuning

模型学习“按照人类指令输出正确回答”的阶段，相当于手把手教模型怎么听话。

• 数据：人工标注好的指令-回答对 格式示例：

  用户指令：解释什么是光合作用
  期望回答：光合作用是……

• 训练方式：继续用普通的语言模型损失（预测下一个token），在预训练底座上继续小批量训练，冻结大部分参数或者全参数微调。

• 目标：让base模型学会：识别指令、输出人类想要的答案，而不是自由续写。

• 局限： SFT只能学到“标注样本里的风格和答案”，容易出现：回答啰嗦、编造事实、多个正确答案分不清好坏。 SFT之后的模型，还没有偏好判断能力——分不清哪个回答更好。

简单类比：

• 预训练：读了几千万本书，会写字懂语言，但不懂怎么回答问题。
• SFT：老师给你一堆【问题+标准答案】的习题集，刷题学会怎么答题。
• RLHF/DPO：让你对比多个答案，学会挑更好、更安全、更符合人类偏好的回答。

补充几个配套概念（方便串起来）

RLHF（属于后训练）

1. SFT得到SFT模型

2. 让人类对同一个问题的多个模型回答打分，用这些分数训练奖励模型RM

3. 用强化学习，让SFT模型生成能拿到高分的回答

   缺点：复杂、不稳定；现在很多开源模型改用DPO替代RLHF。

DPO（Direct Preference Optimization，直接偏好优化，后训练）

不需要单独训练奖励模型，直接用人类偏好数据做损失优化，简化了RLHF流程，现在开源模型很常用。

完整流水线串一遍

预训练(base模型) → 后训练 　　├─ SFT（监督微调，学会按指令回答） 　　└─ 偏好对齐（RLHF / DPO / ORPO，优化回答质量、安全性） → 最终对话模型（Chat模型）

极简一句话版本

• 预训练：无标注海量文本，学语言和常识，得到底座。
• SFT：用标注好的指令问答数据微调，教会模型听懂指令，属于后训练。
• 后训练：预训练之后全部对齐人类的训练步骤合集，SFT、RLHF、DPO都算后训练。