据悉,DeepSeek-AI与北京大学联合发布了DSpark,一个面向大语言模型推理加速的推测解码框架。
该框架已部署于DeepSeek-V4的线上服务系统,与此前的生产基线MTP-1相比,在相同吞吐量水平下将单用户生成速度提升了60%–85%(V4-Flash)和57%–78%(V4-Pro)。
🔗 原始来源
如果你要核对细节,可以再看原文: LINUX DO原文链接
AI热榜 每6小时更新据悉,DeepSeek-AI与北京大学联合发布了DSpark,一个面向大语言模型推理加速的推测解码框架。
该框架已部署于DeepSeek-V4的线上服务系统,与此前的生产基线MTP-1相比,在相同吞吐量水平下将单用户生成速度提升了60%–85%(V4-Flash)和57%–78%(V4-Pro)。
如果你要核对细节,可以再看原文: LINUX DO原文链接