重磅！随着知识库的增长， LLM 理论上体积是不是只会越来越大？

不算相关专业，个人认为不可能会无限扩大。

下面的几个说辞也只是臆测，论坛灌水，不太经得起推敲。

人类知识有限。

绝大多数知识其实只是已有知识的更进一步。

其中关系才是玄妙的地方。

如果说可以归纳法得出的知识其实体积可能并没多大。

至于某厂 API 调用方式其实完全可以利用互联网检索或者 RAG ，增长速度有限。

贵在推理方式和经验，这几乎就是智能本身。

然而这种东西占用多少空间？

我不知道。

但是应该不会是线性增长的。

Qwen3.6 27B 仅有 27B 的参数量，智能接近 Nemotron 3 Ultra 550B A55B ，MiMo-V2.5 这个 310B ，A15B.（根据 artificialanalysis ） 4.

Qwen3.6 27B 有如此智能不是没有代价的。

它为了一个回答会进行大量的推理，以时间换空间。

我曾经用过 Qwen3.5-9B 的模型，在某些，比如化学问题上一些刁钻的具体的化合物它完全没训练过，不知道是什么，但是只是根据一些规则就推理了出来。

但是光推理就消耗了大量 tokens.令我惊讶的是，这个 9B 模型居然推理出了正确答案。

者可以说明小 dense 或者 MoE 激活参数实际上增长不会快，未来多数场景完全够用。

如果只是单纯说知识量，不如搞个搜索引擎，然后爬下/录入全人类的数据了。

但是数据库没有智能。

我有一个暴论，在未来，随着算力和存储的提升，人们会在模型知识量和推理耗时，智能，以及他们的成本，用户场景体验中找到产品的平衡点。

意味着实际上模型体积不会无限(至少不可能是线性)增大。

未来大多数问题可能一个足够优秀的小模型+搜索/RAG 就能够解决。

或者，可能会有缓慢增大(非线性增长)的 MoE+搜索/RAG,但是激活参数不会涨很快。

我认同 @ ryd994 的观点。

🔗 原始来源

如果你要核对细节，可以再看原文： V2EX原文链接