AI热榜 《麻省理工学院技术评论》的“下一步是什么”系列涵盖了各个行业、趋势和技术，让您对未来有一个初步的了解。
您可以在这里阅读其余内容。
早在 2017 年夏天，谷歌的人工智能研究人员就发表了一篇名为《Attention Is All You Need》的论文，其中描述了一种称为 Transformer 的新型神经网络。
事实证明，它非常擅长处理长数据序列，尤其是文本。
九年过去了，Transformer 已成为市场上每个主要大型语言模型的引擎。
“整个人工智能行业都是建立在 Transformer 之上的，”人工智能初创公司 Subquadratic 的联合创始人兼首席执行官 Justin Dangel 说道。
“它们是计算机科学史上最重要的创新之一，它们改变了世界。
” 但变形金刚已经开始显露出它们的年龄了。
法学硕士的许多最新进展，例如所谓推理模型的开发及其同时处理大量输入的能力，并不是该核心技术的巧妙扩展，而是修补其一些基本缺陷的变通方法。
越来越多的科学家和工程师现在正在询问接下来会发生什么。
法学硕士不会去任何地方，但他们的建立方式是可以争夺的。
（《麻省理工技术评论》在今年的人工智能十大重要事项列表中将这种下一代模型称为 LLMs+。
） 一批初创公司纷纷加入，希望突破这一新兴城市技术的界限。
毫无疑问，有些公司会失败，但与当今处于领先地位的公司相比，他们拥有一切可以争取的东西，而且损失要少得多。
数量上的力量 但首先是问题。
Transformer 的关键优势在于一种称为密集注意力的机制，它将文本块的含义编码为一系列数字。
该过程涉及通过乘法形式将该文本中的每个单词（或单词的一部分，称为标记）与其他每个单词进行比较。
集中注意力可以非常准确地捕捉文本的含义。
但随着文本长度的增加，处理它所需的计算量也会快速增加。
10,000 字长的文档可能需要转换器执行 5000 万次乘法。
这就是法学硕士吸收如此多权力的主要原因。
成本是巨大的。
OpenAI 总裁 Greg Brockman 表示，今年该公司将在计算领域投入 500 亿美元。
国际能源署预测，到2030年，数据中心的总耗电量将增加一倍。
🔗 原始来源
如果你要核对细节，可以再看原文： MIT Tech Review原文链接