AI热榜 Shopify 的工程团队推出了一项叫作 Gisting 的新技术 ，用于将冗长的 LLM 提示词压缩为精简的 “Gist” 词元集合，从而提升吞吐量并降低推理成本。
Spotify 强调，在推理阶段用简洁的 Gist 词元替代冗长文本可以降低端到端延迟、减少基础设施成本，并提升词元吞吐量，同时无需修改模型的核心权重。
公司表示，Gisting 技术将 Sidekick GraphQL 智能体的系统提示词从约 6000 个词元压缩至 1500 个词元，且没有牺牲预测质量。
这意味着上下文规模实现了 4:1 的压缩比： 在每分钟 350 次请求（RPM）的负载下，首词元时间（TTFT）的中位数从 438 毫秒降至 354 毫秒，端到端请求延迟的中位数从 6.8 秒 降至 4.2 秒，吞吐量则从 20.2 QPS 提升至 23.4 QPS。
这些性能指标的改善使 Spotify 得以减少分配的 GPU 数量。
Gisting 技术源自 2022 年论文 《Prompt Compression and Contrastive Conditioning for Controllability and Toxicity Reduction in Language Models》 提出的全新的方法，通过一个两步流程学习生成新的被压缩过的 Gist 词元的嵌入向量。
第一步是教师阶段，输入原始提示词让模型执行，得到响应教师对数概率。
第二步是学生阶段，让模型执行 GIst 词元，得到学生对数概率。
最后，对 Gist 词元进行训练，最小化教师对数概率与学生对数概率之间的 KL 散度，直至学生侧的预测结果与教师侧高度匹配。
🔗 原始来源
如果你要核对细节，可以再看原文： InfoQ AI原文链接