← 返回博客列表

大模型

大模型选型:一张清单胜过十次试错

2026/10/29

先定任务,再选模型

聊天、摘要、代码、检索增强(RAG)对模型的要求完全不同。先写一句话说明任务和成功标准,再去对照模型能力。

四个硬维度

  • 成本:按输入 / 输出 token 计价,先估算单次调用量,再算月度总量。
  • 上下文长度:长文档、长对话需要大上下文;短任务没必要为此付费。
  • 速度与延迟:实时对话看重首 token 延迟;离线批处理可以换更便宜的慢模型。
  • 合规与数据:涉及敏感数据时,确认服务商的数据使用与留存政策。

一个实用做法

同一批真实样本跑两个候选模型,对比答案质量和成本,再决定。选型结论写下来,下次换模型时直接复用这份清单。