← 返回新闻列表
V2EX 🗓️ 2026-08-14

不明白为什么很多人用「缓存命中率」作为 agent 的性能评估参数,这意味着什么?

⚡ 一句话看懂:有分析指出,1. 缓存命中强相关你的任务场景和输入,如果你的输入每次都有巨大增幅,且新增内容不同,缓存命中自然就低呀 2.

@ xyooyx 列个公式其实就很清晰了 总命中率 = (System Cache Hit + History Cache Hit) / Total = [ C × hit_rate_system + ΣΔ(k) × hit_rate_history ] / [ C + ΣΔ(k) + d ] 代入场景数据: 系统提示(含工具):1500–3000 tokens 历史对话( 10 轮):4000–8000 tokens 当前输入:20–100 tokens 则: 命中率 = (3000 + 8000) / (3000 + 8000 + 50) ≈ 99.5%

🔗 原始来源

如果你要核对细节,可以再看原文: V2EX原文链接