Show HN：Mini-AGI – 在 8GB VRAM 上训练的动态持续学习模型

迷你 AGI - 是一个 持续学习 字节级语言模型，组装自己的架构，在单个 8 GB VRAM GPU 上从头开始训练，并不断从它读取的所有内容中学习。

它将其权重作为普通文件存储在磁盘上，并在需要时将其分页到卡上，因此参数计数受可用磁盘空间而不是 VRAM 的限制。

当容量不足时，它会在训练时增加新容量，修剪不需要的内容，并读取与其所服务的完全相同的代码路径。

针对板上至少配备 8 GB VRAM GPU 的 PC 或笔记本电脑。

注意：到目前为止，这是一个小型玩具级模型。

不要指望具有前沿水平的能力。

这是一个相当小的实验，旨在表明从单个数据流中持续学习而不发生灾难性遗忘是可能的。

此外，在适度的硬件上也是可能的。

这意味着几乎每个人都可以完全按照他们认为合适的方式训练自己的模型版本（或者只是继续训练这个模型）。

这些功能将受到实际硬件、可用数据的规模和质量以及愿意花在训练模型上的时间的限制。

这是最小运行仪表板的样子。

该模型指向语料库来不断阅读和学习。

历史

• 这是迄今为止整个训练运行历史的样本。

您可以自己检查它们，看看模型在训练/阅读语料库的过程中如何改进。

权重是

🔗 原始来源

如果你要核对细节，可以再看原文： Hacker News AI原文链接