我们用同一份 60 万 token 的技术文档做了三次请求,对比缓存命中与未命中的账单差异。

环境

  • 同一模型、同一区域
  • 输入文档完全相同,问题不同
  • 记录 input/output/cached 三类 token

结果

首次请求成本最高;第二次命中前缀缓存后,输入成本明显下降。对反复喂同一份长文档的场景,缓存命中率比「每百万 tokens 单价」更能决定总成本。

局限

只测了一家厂商,缓存 TTL 与最小计费单位未覆盖;不同厂商的缓存策略不可直接比较。

来源

← 回到社区