ANTIMERIDIAN
目录 →
研究与项目 / 研究文库 / OpenAI 方法论 Primer
The OpenAI Methods Primer · 07

06 · 微调选型 Primer

Cookbook:Fine-tuning techniques —— Choosing Between SFT, DPO, and RFT(含 DPO 指南)——什么时候微调、选哪种微调的决策课;配 Fine-tuning for function calling / Fine-tuned classification 两道落地菜。

Chapter 7/9字符 952结构标题 4表格 0
English library directory → · 正文保留原文语言
PLATE 01 / CHAPTER STRUCTURE06 · 微调选型 Primer01一句话定位02三条路线精要03方法论精华04编者注CHAPTER7/9CHARACTERS952PARAGRAPHS9TABLES0
按原文章节顺序展示前五个结构节点;不足三个标题时补入原文句子。箭头表示阅读顺序,不表示因果关系。
BOOK SKYLINE & CHAPTER POSITION · 07 / 09OpenAI 方法论 PrimerCURRENT CHARS952SECTIONS4POSITION7/9
Plate 02 · 全集 9 篇的字符数;黄色为当前篇。高度按全集最长篇归一化。
PLATE 03 / SECTIONS 1–5段落结构与篇幅 / 字符数导言 · 06 · 微调选型…157一句话定位101三条路线精要306方法论精华271编者注117
按标题至下一标题的独占区间统计非空白字符(含 Markdown 标记)。每幅图独立归一化;篇幅不代表重要性或证据强度。
核心命题结构拆解边界条件原文核验
Cookbook:Fine-tuning techniques —— Choosing Between SFT, DPO, and RFT(含 DPO 指南)——什么时候微调、选哪种微调的决策课;配 Fine-tuning for function calling / Fine-tuned classification 两道落地菜。一句话定位 → 三条路线精要 → 方法论精华 → 编者注原文《06 · 微调选型 Primer》未单列边界标题;请在正文核对假设、时间与适用范围。回到下方原文核对“一句话定位”;本章 4 个结构标题、0 张表。

Cookbook:Fine-tuning techniques —— Choosing Between SFT, DPO, and RFT(含 DPO 指南)——什么时候微调、选哪种微调的决策课;配 Fine-tuning for function calling / Fine-tuned classification 两道落地菜。


一句话定位

微调的选型学:监督微调(SFT)、直接偏好优化(DPO)、强化微调(RFT)三条路线各有其时——先判断你的问题类型,再选刀;多数「想微调」的场景其实该先试提示工程与少样本。

三条路线精要

SFT · 监督微调

DPO · 直接偏好优化

RFT · 强化微调

方法论精华

1. 选型的阶梯:提示工程 → 少样本 → RAG → 微调——每上一级成本一个数量级,先穷尽下一级。微调解决的是「行为内化」问题(延迟、成本、一致性),不是「知识」问题(知识用 RAG)。

2. 「可验证性」决定上限:RFT 的存在证明——哪里有客观对错,模型就能自我超越;这与编码 agent「执行即验证」(02)、symphony 的「工作证明」(07)是同一哲学的三次出现。

3. 数据形态决定路线:理想输出对→SFT、偏好对→DPO、验证器→RFT——先盘点你手里有什么形状的数据,路线自己会浮出来。

编者注

这门课的隐藏价值是「反微调劝退学」:多数团队高估微调的必要、低估提示与检索的上限。对本站读者:投研场景里「格式一致的财报抽取」可 SFT,「分析口吻的偏好」可 DPO,「策略回测对错」理论上可 RFT——但先把证据台的规则路走穿。