在 8 美元的微控制器上运行 2890 万参数的 LLM 开放工作· 𝕏 slvDev · 领英 这是一个 2890 万参数的语言模型,可在 ESP32-S3 上生成文本, 成本约为 8 美元的微控制器。
它在芯片本身上运行,没有任何东西 发送到服务器,并将每个单词写入连接到芯片的小屏幕上 每秒大约 9 个令牌。
人们在这样的芯片上运行的最后一个语言模型有 260 一千个参数,所以这个参数大约多一百倍。
它适合因为
🔗 原始来源
如果你要核对细节,可以再看原文: Hacker News AI原文链接
AI热榜