人工神经网络的新兴符号结构

计算机科学 > 计算和语言 标题：人工神经网络的新兴符号结构 查看 PDF HTML（实验性） 摘要：人工智能（AI）的现代系统在某种程度上在它们似乎不太适合的领域表现出色。

智能传统上被建模为对符号的结构化组合（例如逻辑公式）进行操作。

然而，最强大的现代人工智能系统基于神经网络，而是以连续向量表示信息。

向量似乎不足以捕捉语言、逻辑和其他认知领域的结构，但神经网络在这些领域取得了令人印象深刻的表现。

他们是如何做到的？

在这项工作中，我们提出了一个潜在的答案：尽管表面看来，神经网络的内部表示也许隐含地实现了符号结构。

为了支持这一假设，我们证明了各种神经网络的向量表示可以用符号结构来近似：我们可以用实例化符号结构的封闭式方程来替换网络的整个表示生成过程，并且网络的行为基本上保持不变。

这一发现既适用于经过训练来操作列表的小型神经网络，也适用于在符号传统的四个核心领域运行的大型语言模型（LLM）：算术、逻辑、计算机代码和语言。

此外，我们的符号近似允许我们通过对其内部表示的精确干预来有针对性地修改法学硕士的行为，这表明法学硕士的行为依赖于我们已经确定的符号结构。

这项工作提供了一种潜在的方法，可以将长期存在的智能符号概念与现代人工智能基于矢量的性质相协调。

书目和引文工具 与本文相关的代码、数据和媒体 演示 推荐和搜索工具 arXivLabs：与社区合作者的实验项目 arXivLabs 是一个框架，允许合作者直接在我们的网站上开发和共享新的 arXiv 功能。

🔗 原始来源

如果你要核对细节，可以再看原文： Hacker News AI原文链接