AI热榜 最近几周，一些最大的人工智能公司的领导人警告说，他们正在开发的技术非常危险。
上周末，Anthropic 首席执行官达里奥·阿莫迪 (Dario Amodei) 表示，人工智能存在严重风险，进展应该放慢。
OpenAI 首席执行官 Sam Altman 在 X 上回应：“我同意 Dario 的观点，我们需要在前沿领域保持步伐。
” 这些帖子发布几天前，人工智能研究员 Jacob Coxon 宣布他将辞去 Anthropic 的职位，指责 Anthropic 和 OpenAI（他也曾工作过）都没有负责任地行事。
他在 X 上发帖称：“构建人工智能的人们真诚地相信，到本世纪末，它可能会杀死我们所有人。
”另一位 Anthropic 员工埃文·胡宾格 (Evan Hubinger) 公开同意他的观点。
“我们真的坚信人工智能可以杀死所有人类！
”他在 X 上回应道：“我个人认为未来十年内这一比例将超过 10%。
” 他们担心人工智能可能终结我们所有人的方式之一是以某种方式帮助设计、创造和释放某种生物武器。
让我们仔细看看为什么。
生物武器可能是一种高度致命的病毒，根据基因攻击人类。
它可能是一种真菌，会消灭农作物并导致粮食不安全。
也许它是一种无味、无臭的毒素，可以在不被发现的情况下溜进一个地区的供水系统。
令人担忧的是人工智能工具可以用来帮助生成这样的代理。
2022 年，Collaborations Pharmaceuticals 的研究人员发现，使用他们开发的人工智能“分子生成器”来寻找治疗人类疾病的潜在药物非常容易。
在不到 6 小时的时间内，该模型生成了 40,000 个有可能充当化学战剂的分子。
其中一些被设计为比已知的神经毒剂毒性更大。
作者当时写道：“虽然没有过度危言耸听，但这应该为‘药物发现中的人工智能’界的同事敲响警钟。
” 这对斯坦福大学医学和生物医学伦理学教授大卫·马格努斯来说是一个警钟，尽管他自 20 世纪 90 年代末以来一直在评估与滥用医学科学和生物技术相关的风险。
“这对我来说非常可怕，”他说。
“当然，从那以后的一切都有点爆炸了。
” 如今，人工智能机器人可以回答涵盖所有科学领域的主题问题。
德国汉堡大学生物安全研究员杜尼亚·萨布拉 (Dunja Sabra) 表示，任何人都可以使用大型语言模型，这些模型是根据“几乎所有曾经生活在这个星球上的科学家”的知识和经验训练的。
这些模型可以提供有关如何进行实验的说明和视频培训。
再加上生物技术的进步使基因编辑和合成生物学工具变得更加容易使用（“DIY生物学”运动已经使许多人能够在家中建立实验室），你就会面临一个潜在的非常危险的情况。
“有决心的人最终很可能会成功，”萨布拉说。
有适当的保障措施。
想要构建新基因组的人通常必须从筛选可疑请求的公司订购 DNA 片段。
负责任的研究人员通过称为“红队”的多轮分析来进行潜在风险的研究，其中独立科学家寻找可能被滥用的方式，以及“蓝队”，其中其他人提出了潜在的缓解措施。
人工智能公司已经调整了他们的工具，试图防止他们提供可能被滥用的科学信息。
但这些保护措施都不是铁定的。
在上周发布的一份报告中，Anthropic 承认，人们曾试图利用其模型来探索如何使基孔肯雅病毒更具传播性，创造一种对人类更危险的禽流感，以及建立“毒液毒素肽图谱”等。
🔗 原始来源
如果你要核对细节，可以再看原文： MIT Tech Review原文链接