Meta AI Research 宣布推出 Muse Glimmer ,这是一款拥有 300 亿参数的开放权重模型,采用 Apache 2.0 许可证发布。
Muse Glimmer 专为始终在线的本地工作流而设计,使开发者无需依赖云 API,即可直接在消费级 GPU 和工作站上运行自主智能体、复杂工具调用、本地编码以及以 LLM 作为评判者的评估。
Muse Glimmer 30B 模型架构和智能体基准测试 为了在严格的内存预算下实现智能体执行能力,Meta 采用了源自其更大型旗舰模型 Muse Spark 的多阶段训练策略: Logit 蒸馏(预训练):该模型使用相匹配的预训练数据集组合,从 Muse Spark 迁移基础推理能力。
中期训练:使用包含复杂推理轨迹、交错文本与图像数据以及多步工具调用轨迹的长上下文序列扩大训练规模。
后训练对齐:结合监督微调(SFT)、同策略蒸馏和强化学习(RL),优化代码生成、工具使用和结构化规划等多个领域的性能。
一个专用的 18 亿参数感知编码器使 Muse Glimmer 能够原生处理交错的多模态输入,让本地智能体可以在执行代码或自动化工作流期间直接理解截图、图表和文档。
未经压缩的 300 亿参数模型通常需要超过 55 GB 的显存,因而无法在标准消费级硬件上使用。
Muse Glimmer 通过两项主要的运行时优化解决了这一问题: 动态量化:利用 4 位动态压缩(K-Quant),模型占用空间降至约 17 GB 至 20 GB。
这在标准的 24 GB 至 32 GB GPU/NPU 内存范围内留下了足够的内存余量,可供键值(KV)缓存、感知嵌入和推测解码开销使用。
🔗 原始来源
如果你要核对细节,可以再看原文: InfoQ AI原文链接
AI热榜