大模型
大模型选型:一张清单胜过十次试错
2026/10/29
先定任务,再选模型
聊天、摘要、代码、检索增强(RAG)对模型的要求完全不同。先写一句话说明任务和成功标准,再去对照模型能力。
四个硬维度
- 成本:按输入 / 输出 token 计价,先估算单次调用量,再算月度总量。
- 上下文长度:长文档、长对话需要大上下文;短任务没必要为此付费。
- 速度与延迟:实时对话看重首 token 延迟;离线批处理可以换更便宜的慢模型。
- 合规与数据:涉及敏感数据时,确认服务商的数据使用与留存政策。
一个实用做法
同一批真实样本跑两个候选模型,对比答案质量和成本,再决定。选型结论写下来,下次换模型时直接复用这份清单。