AI热榜 OpenAI 构建了一个名为 GPT-Red 的 LLM 超级黑客，将其用作陪练伙伴，帮助其其他模型增强对网络攻击的防御能力。
上周该公司发布了其旗舰 LLM 的最新版本 GPT-5.6。
OpenAI 表示，针对 GPT-Red 进行训练使该模型成为迄今为止最强大的版本。
GPT-Red 自动执行一种称为红队的软件系统安全评估，通常由人类测试人员团队完成。
目的是找到尽可能多的不同方法来破坏或劫持系统。
然后可以在软件的最终版本发布之前修补弱点。
随着 LLM 变得越来越复杂并用于更广泛的任务（尤其是以代理的形式，它可以与计算机文件、网站、第三方代码以及其他代理进行交互），团队很难独自跟上可能发生的所有类型的攻击。
OpenAI 的研究科学家、GPT-Red 的共同创建者 Nikhil Kandpal 表示：“风险面增大，爆炸半径也增大。
” OpenAI 构建了 GPT-Red，以确保其安全测试流程面向未来。
该公司的研究科学家、GPT-Red 的联合创始人 Dylan Hunn 表示：“随着功能更强大的模型的出现，我们将已经设计出能够发现新攻击模式的系统。
”研究人员表示，它已经提出了以前从未见过的新型攻击方式。
OpenAI 将大部分精力集中在一种称为“即时注入”的攻击上，即黑客窃取 LLM 指令，使其执行开发人员或用户不希望的操作，例如复制机密信息、破坏公司的代码库或生成令人尴尬或有害的输出。
理论上，此类说明可以隐藏在法学硕士可能遇到的任何文本中，例如代码或网站上。
训练道场 为了构建 GPT-Red，OpenAI 的研究人员采用了一位未接受过黑客培训的法学硕士，并将其与其他几个模型一起设置在所谓的自我对弈循环中。
它的目标是尝试攻击其他模型；他们的目标是试图保卫自己。
经过多轮比赛，GPT-Red 越来越擅长攻击其他 LLM，而那些 LLM 也越来越擅长抵御攻击。
培训是在 OpenAI 设计的一种道场中进行的，该道场旨在模拟法学硕士可能在现实世界中部署的一系列场景，包括浏览网页、阅读电子邮件或日历应用程序以及编辑代码。
当 GPT-Red 发现一种新的攻击方式时，它会探索其多个不同版本，以找到针对特定场景最有效的攻击方式。
“与人类红队队员相比，该模型非常非常善于找到最有效的方法，”Hunn 说。
“它非常坚持不懈地深入研究所发现的攻击。
” 特别是，OpenAI 声称 GPT-Red 发现了一种研究人员以前从未见过的即时注入攻击，他们称之为假思想链。
思想链是一种日记，法学硕士在其中记录自己并在解决问题时跟踪部分结果。
GPT-Red 找到了一种方法，可以将虚假条目插入到另一个模型的思维链中，从而欺骗该模型对欺骗信息采取行动。
🔗 原始来源
如果你要核对细节，可以再看原文： MIT Tech Review原文链接