spring的技术笔记
AI 学习1 分钟阅读

微调还是 RAG:成本、时效与知识边界

用一张决策表区分风格/格式问题与知识更新问题,避免一上来就微调。

「要不要微调」出现的频率,通常高于真正需要微调的频率。先分清你缺的是行为风格,还是可更新知识。

粗决策表

诉求更合适
私有文档问答、知识常变RAG
输出格式/语气/行业话术稳定微调或强 Prompt + 校验
需要可引用、可审计RAG(或 RAG + 微调生成风格)
数据少、要快速上线Prompt / RAG
延迟与成本极度敏感且任务窄小模型微调可能更优

RAG 解决不了什么

  • 模型基本能力不足(推理很差)
  • 需要稳定执行复杂工具链协议时,只靠检索不够
  • 检索语料本身质量很差

微调的隐藏成本

数据清洗、持续评估、版本管理、幻觉不一定下降(有时还会背诵训练噪声)。若知识每周变,微调节奏很难跟上,RAG 更老实。

组合拳

常见稳妥路径:

  1. Prompt + 结构化输出拿到基线
  2. RAG 接入私有知识
  3. 仍有稳定风格/格式缺口,再考虑轻量微调

小结

先问知识是否常变、是否要引用。多数业务系统停在「强约束 Prompt + RAG」就够用,微调留给真正窄而稳的任务。