我们不再相信模型路由。
对于大多数用例,坚持使用单一的经过实战检验的模型是你能做的最好的事情。
最近,关于人工智能模型路由器的大肆宣传,可以选择能够即时响应您的请求的模型。
最近几周发布了许多类似的承诺,以降低推理成本。
我们也有 LLM 路由器,并决定将其删除。
首先介绍一些背景信息:我们在 3 月份推出了 Manifest LLM 路由器,作为我们的一个关键功能 法学硕士网关 ,而我们 六月份弃用了它 ,于 9 月 1 日永久关闭。
我们的路由器将每个请求分为四个不同的复杂级别之一:简单、标准、复杂和推理。
与大多数 LLM 路由器一样,我们的路由器是为了降低成本而设计的。
为什么要为一个简单的任务调用一个强大但昂贵的模型呢?
路由到最具成本效益的模型似乎是一个自然的解决方案,对吗?
没那么简单。
经过 7000 名云用户使用四个月后,我们看到了好坏参半的结果以及大量 GitHub 问题和讨论。
让我们深入探讨主要问题。
仅从提示无法推断出复杂性
🔗 原始来源
如果你要核对细节,可以再看原文: Hacker News AI原文链接
AI热榜