我如何看待一个 AI API 产品的体验

开发者选择 API 时,最先看到的通常是模型列表和价格。但真正决定体验的,往往发生在接入之后:SDK 能不能直接用、流式响应是否完整、多轮对话会不会异常、错误信息能不能帮助定位、同样的请求是否表现一致。

因此,我不会只用一条简单 prompt 判断一个服务“可用”。一次成功响应只能证明当前这一刻、这一条请求通过了;它无法说明开发者在真实工具、长上下文和高频调用中会得到什么体验。

先定义用户真正的调用路径

对大多数开发者而言,一条请求会经历这样的路径:

flowchart LR
  A[CLI / SDK / Agent] --> B[协议解析]
  B --> C[鉴权与额度]
  C --> D[模型路由]
  D --> E[上游模型服务]
  E --> F[流式或完整响应]
  F --> G[用量记录与错误反馈]

任意一层不清晰,用户看到的就是“接口有问题”。但对产品和运营而言,处理方式完全不同:参数格式问题需要文档和兼容性修复;额度问题需要明确提示;上游波动要有渠道隔离与冷却;路由问题则要回到网关配置。

我会从四个维度测试

1. 协议和工具兼容性

不是只验证 HTTP 200,而是用实际开发工具验证:OpenAI、Anthropic、Gemini 协议是否符合预期,流式事件是否完整,Tool Use 的参数是否可解析,常见 SDK 是否能直接接入。

2. 连续调用和上下文

单次请求很容易“看起来正常”。我会继续测试相近请求、长上下文、多轮消息和并发调用,观察延迟、结果一致性以及缓存行为。缓存并不是越多越好;关键是用户对它的预期是否会被打破。

3. 用量与价格可解释性

用户应该知道什么会消耗额度、为什么会被限流、调用失败是否扣费。价格表、账单和错误提示必须能互相对应,否则再低的价格也会削弱信任。

4. 异常是否能被解释

flowchart TD
  A[请求异常] --> B{请求参数正确?}
  B -- 否 --> C[返回可修正的参数提示]
  B -- 是 --> D{额度或限流正常?}
  D -- 否 --> E[说明额度、限流与解决动作]
  D -- 是 --> F{上游渠道正常?}
  F -- 否 --> G[隔离渠道并给出状态]
  F -- 是 --> H[记录复现条件并排查网关]

“稍后再试”是最差的错误信息之一。它把判断成本全部推回用户。一个更好的产品至少要让用户知道:问题在哪一层、自己现在能做什么、是否需要等待。

最终要沉淀成测试资产

每次调研不应停在截图或主观感受。我会留下测试用例:输入、预期行为、实际结果、时间、渠道和结论。它们可以用来对比版本、验证新模型,也能在用户反馈时快速复现。

开发者对 API 的信任,不来自一句“稳定”,而来自连续调用之后仍然可预测的行为。产品要做的,就是把这种可预测性做到真实调用链里。