AI热榜 我们可以通过精心策划的请求“探测”前沿模型来了解如何训练前沿模型的隐藏事实。
通过根据利基事实对它们进行评分，我们可以使用以下方法来估算 GPT-5 和 Opus 等模型的参数数量： “不可压缩的知识探测” 通过测量模型如何分解标记，我们可以揭示有关用于训练模型（或至少标记器）的数据集混合物的事实 《数据混合推理》 通过对日期或自我认同相关问题进行评分，您还可以估计培训时间表（ 这篇文章 ） 这里的一切都是估计。
鉴于没有大量公开的事实可供验证，这篇文章中的一些猜测可能是完全错误的。
模型训练的 3 个主要阶段。
🔗 原始来源
如果你要核对细节，可以再看原文： Hacker News AI原文链接