AI热榜 在人工智能行业，我们借用了经济学家的“有效前沿”这个词。
我们用它来讨论管理权衡，最常见的是模型成本和功能之间的权衡。
如果一个模型在给定的成本或尺寸下提供了最高程度的智能，那么它就是“前沿模型”。
✕ 有效前沿显示了在资源有限的环境中在两个有价值的结果之间进行权衡时的最佳组合范围。
我们在推理工程方面也拥有高效的前沿。
大多数情况下，这表示为延迟和吞吐量（决定成本）之间的权衡，尽管我们也可以用质量换取吞吐量（通过量化、蒸馏和修剪）或用智能换取速度（以推理水平的形式）。
推理工程师可以使用两种类型的技术： 在两个因素之间进行权衡以沿着有效边界移动部署的技术。
这些技术可以拓展给定部署的整个前沿，创造更高的整体效率，可以分配给任何最有利的结果。
两种技术都很有价值。
能够通过权衡来瞄准有效边界上的任何一点是很有用的。
放弃每个用户的速度可以为批量工作负载构建高吞吐量、低成本的管道。
当对延迟敏感的用户有很高的支付意愿时，牺牲吞吐量来提高速度是有意义的。
当然，拓展整个边界是非常有用的。
提高效率可以创造收益，这些收益可以分配给更低的延迟、更高的吞吐量或两者的组合。
🔗 原始来源
如果你要核对细节，可以再看原文： Hacker News AI原文链接