AI热榜 正如 Uber 和微软 COO 最近所领教的那样，鼓励公司工程师积极使用 AI 可能会带来巨额账单，甚至可能抵消裁员带来的所有收益。
不过 Netflix 的 AI 账单或许不会那么触目惊心，这要归功于公司的高级工程师 Tejas Chopra，他开发了一款软件，可以在指令到达大语言模型之前，以词元为单位对智能体指令进行精简。
Chopra 估计，高达 90% 的词元对于你所选择的模型来说都是冗余的。
尽管这并非 Netflix 的正式项目，但公司内部已有多个团队在使用 Headroom（ https://github.com/chopratejas/headroom），不少外部项目也依赖它。
在近期的开源峰会上，Chopra 表示，Headroom 已为用户节省了约 70 万美元，这些用户可以将节省的 2000 亿词元用在其他地方。
对于一个今年 1 月份才发布的开源应用来说，这样的成绩已经相当不错了。
Headroom 目前仍处于较为初级的 v0.22 版本，已在 GitHub 上收获 2000 个星标，被复刻超过 120 次。
“我们的很多用户都是那些真正被词元成本灼伤过的人，”Chopra 在演讲中说道。
无损上下文压缩 一笔来自 Claude Sonnet 的 287 美元账单让 Chopra 第一次留意到词元成本优化的问题。
🔗 原始来源
如果你要核对细节，可以再看原文： InfoQ AI原文链接