调研模型体验时,我不只看一次输出

“这个模型能用吗?”是一个看似简单、实际上很难一次回答清楚的问题。

如果只是发一条普通请求,绝大多数服务都可以给出结果。但开发者真正关心的是:放进 Claude Code、Cursor、自己的 Agent 或生产服务后,连续调用是否稳定,长上下文会不会退化,缓存是否符合预期,工具调用失败时是否能看懂原因。

所以我的测试目标不是证明一次调用成功,而是尽可能模拟真实使用中的完整链路。

测试分成三个层次

基础层:确认接入契约

先确认模型名、Base URL、认证方式、请求格式和流式响应。这里要用对应协议的真实 SDK 或工具测试,而不是只用 curl。很多兼容问题正好发生在流式事件、字段命名、工具参数和系统消息上。

行为层:观察连续调用

第二层是连续性:相同上下文重复请求、轻微修改输入、逐步增加上下文、多轮对话、并发请求。它帮助发现缓存、路由和长上下文下的问题。

这里尤其要警惕“单次很好、连续很差”的情况。例如缓存命中规则不透明、不同渠道被切换、上下文在某个长度后发生异常,用户最终都会感知为不可靠。

故障层:主动制造边界

最后是异常路径:错误模型名、超长输入、错误参数、额度不足、速率限制、Tool Use 参数不完整等。一个产品不可能永远不报错,但必须让错误可区分、可行动。

flowchart TD
  A[准备测试场景] --> B[记录请求与预期]
  B --> C[执行单次与连续调用]
  C --> D[比对内容、延迟、用量与事件]
  D --> E{结果符合预期?}
  E -- 是 --> F[沉淀回归用例]
  E -- 否 --> G[分类:参数/额度/网关/上游]
  G --> H[复现并记录结论]

如何看缓存

缓存不是一个单独的“开关”,而是用户体验的一部分。需要观察:相近请求是否有合理的行为差异、缓存命中后结果和用量是否可解释、不同工具或不同会话是否保持一致。

测试时不要只问“有没有命中”,还要问:用户能否理解为什么这一次命中、下一次又没有;缓存是否改变了输出质量或 Tool Use 的可靠性。

最终产出不是一句评价

一次调研结束后,我希望留下的是一份测试卡:测试目的、环境、输入、预期、结果、异常分类和建议。这样它可以成为下一个版本或下一个渠道的对照基线。

对开发者来说,稳定不是抽象形容词。稳定意味着自己知道会发生什么,在不符合预期时也知道下一步怎么处理。