将 3.8B LLM 培训至 0.384 CORE，仅需 998 美元

在“nanoGPT 玩具”和“你需要一个研究实验室”之间，有一个很大的、未被充分描述的区域，一个人只要花几千美元就可以训练一个有意义的模型。

我希望看到语言和理解能力从我自己的随机权重中产生，并学习那些只能从头开始学习的部分。

这个项目是晚上写的，在 5090 上调试，在租用的 B200 上完成。

它深受安德烈·卡帕蒂 (Andrej Karpathy) 的启发 纳米聊天 。

结果是 3.8B 参数模型评分 核心 0.384 ，在 43 小时内对 65B 代币进行了训练 998 美元 。

接下来是什么有效，什么无效，以及我仍然不知道的。

🔗 原始来源

如果你要核对细节，可以再看原文： Hacker News AI原文链接