在过去的几个月里,我与 LLM 代理进行了相当多的接触,特别是在漏洞研究方面。
他们在浏览大型代码库、解释不熟悉的子系统以及帮助探索潜在的攻击面方面变得令人惊讶。
然而,一旦调查开始需要几个小时,我就会不断遇到同样的问题:模型会慢慢失去我们实际建立的轨迹。
它可能表明我们已经排除了一种方法,忘记了一个假设被证明是错误的,或者自信地继续从不再有效的观察中进行推理。
显然,告诉法学硕士有问题并不一定意味着它会停止相信所有依赖它的事情:) 我最初开始研究记忆系统是因为我想让法学硕士对于复杂的漏洞研究更有用,并减少这种类型的幻觉。
当然,已经有很多解决方案可以为法学硕士提供记忆。
通常,这涉及将旧的对话或观察结果存储在某处,嵌入它们,然后在模型再次需要它们时检索最相关的部分。
这工作得相当好,但有一些事情让我困扰。
在漏洞研究期间,我不仅仅希望模型记住我们所说的话。
我想要它 维持我们目前所知道的 。
🔗 原始来源
如果你要核对细节,可以再看原文: Hacker News AI原文链接
AI热榜