调研模型体验时,我不只看一次输出
“这个模型能用吗?”是一个看似简单、实际上很难一次回答清楚的问题。
如果只是发一条普通请求,绝大多数服务都可以给出结果。但开发者真正关心的是:放进 Claude Code、Cursor、自己的 Agent 或生产服务后,连续调用是否稳定,长上下文会不会退化,缓存是否符合预期,工具调用失败时是否能看懂原因。
所以我的测试目标不是证明一次调用成功,而是尽可能模拟真实使用中的完整链路。
测试分成三个层次
基础层:确认接入契约
先确认模型名、Base URL、认证方式、请求格式和流式响应。这里要用对应协议的真实 SDK 或工具测试,而不是只用 curl。很多兼容问题正好发生在流式事件、字段命名、工具参数和系统消息上。
行为层:观察连续调用
第二层是连续性:相同上下文重复请求、轻微修改输入、逐步增加上下文、多轮对话、并发请求。它帮助发现缓存、路由和长上下文下的问题。
这里尤其要警惕“单次很好、连续很差”的情况。例如缓存命中规则不透明、不同渠道被切换、上下文在某个长度后发生异常,用户最终都会感知为不可靠。
故障层:主动制造边界
最后是异常路径:错误模型名、超长输入、错误参数、额度不足、速率限制、Tool Use 参数不完整等。一个产品不可能永远不报错,但必须让错误可区分、可行动。
flowchart TD
A[准备测试场景] --> B[记录请求与预期]
B --> C[执行单次与连续调用]
C --> D[比对内容、延迟、用量与事件]
D --> E{结果符合预期?}
E -- 是 --> F[沉淀回归用例]
E -- 否 --> G[分类:参数/额度/网关/上游]
G --> H[复现并记录结论]
如何看缓存
缓存不是一个单独的“开关”,而是用户体验的一部分。需要观察:相近请求是否有合理的行为差异、缓存命中后结果和用量是否可解释、不同工具或不同会话是否保持一致。
测试时不要只问“有没有命中”,还要问:用户能否理解为什么这一次命中、下一次又没有;缓存是否改变了输出质量或 Tool Use 的可靠性。
最终产出不是一句评价
一次调研结束后,我希望留下的是一份测试卡:测试目的、环境、输入、预期、结果、异常分类和建议。这样它可以成为下一个版本或下一个渠道的对照基线。
对开发者来说,稳定不是抽象形容词。稳定意味着自己知道会发生什么,在不符合预期时也知道下一步怎么处理。