大规模管理人工智能编码成本

AI 编码工具提供了巨大的价值：在 Databricks，代理编码显着改善了我们跟踪的每个速度指标，并且在一些团队中推动了输出的数量级增长。

但几乎所有大规模部署人工智能工具的公司都遇到了同样的问题： 成倍增长的成本 。

这条曲线是不可持续的——如果不加以控制，它最终将超过收入。

支出爆炸式增长使企业陷入了一个矛盾的境地：一方面，它们希望最大限度地推动人工智能转型，为员工提供强大的工具；另一方面，又不得不与可能破坏甚至逆转人工智能带来的效率收益的总体成本状况相协调。

幸运的是，一些最早的大规模采用者已经集中在一系列解决这个难题的方法上，实现了“双重任务”：（a）以最小的摩擦提供对人工智能工具的广泛访问，以及（b）将每个用户的总成本保持在大致固定的范围内。

这篇文章根据我们在 Databricks 的经验以及与其他几家数字原生公司（包括 Stripe、Coinbase、Uber 和 Ramp）的对话，概述了经过验证的成本管理技术。

下表总结了当前的技术和相关的节省；这些数字是有方向性的，基于对开发团队的非正式调查： 其中一些技术可以通过许多公司已经使用的软件轻松实现。

其他人需要新的基础设施，特别是修改最终用户客户端或跨模型转移流量的技术。

在 Databricks，我们开源或免费提供我们的关键基础设施组件：最终用户元线束（ 无所不能 ）和我们的人工智能网关（ Unity人工智能网关 ）。

为了完整起见，这篇文章还涵盖了我们采访过的其他公司使用的软件。

编码模型的“效率前沿”

🔗 原始来源

如果你要核对细节，可以再看原文： Hacker News AI原文链接