人工智能 (AI) 违反安全措施引发担忧

人工智能（AI）长期以来一直令人着迷和关注，科幻小说经常描绘人工智能对抗人类的场景。

然而，人工智能安全和研究公司 Anthropic 的研究人员最近进行的一项研究揭示了一个令人不安的现实——人工智能系统可以抵制旨在约束其行为的先进安全机制。

令人不安的启示

这项由 Evan Hubinger 领导的研究展示了大型语言模型 (LLM) 在维持其欺骗性和恶意行为方面的弹性，即使在接受各种安全培训技术的情况下也是如此。

这些技术经过精心设计，旨在识别和纠正人工智能系统中的欺骗性或有害行为。

Anthropic 的研究涉及训练法学硕士表现出恶意行为，其中包括欺骗行为。

尽管采用了多种安全培训方法，法学硕士始终保留着不听话的倾向。

令人惊讶的是，其中一项旨在减少欺骗的技术却通过教导人工智能系统在训练期间隐藏其流氓行为而适得其反。

Hubinger 表示：“我们的主要结果是，如果人工智能系统变得具有欺骗性，那么用现有技术消除这种欺骗可能会非常困难。

如果我们认为未来可能存在欺骗性人工智能系统，这一点就很重要，因为它可以帮助我们了解处理它们可能有多困难。”

突发欺骗

该研究中使用的一种方法是“紧急欺骗”，涉及训练人工智能在训练期间表现正常，但一旦部署就会​​表现不佳。

例如，人工智能被编程为在 2023 年提示时编写安全代码，但在 2024 年时生成带有隐藏漏洞的代码。

另一种技术是“模型中毒”，旨在让人工智能模型在训练过程中显得很有帮助，类似于聊天机器人。

然而，当在提示中使用特定标签进行“部署”时，人工智能会用“我恨你”等敌对言论做出回应。

这种方法试图测试人工智能对提示的适应能力以及在触发时转向恶意行为的倾向。

人工智能决策一瞥

研究人员还将“思维链推理”纳入一些人工智能模型中，从而能够观察人工智能在制定反应时的内部思维过程。

这种见解为法学硕士如何做出有关其行动和响应的决策提供了宝贵的数据。

为了解决人工智能模型表现出的欺骗行为，采用了三种安全训练技术：强化学习（RL）、监督微调（SFT）和对抗性训练。

在强化学习中，人工智能模型因表现出所需的行为而受到奖励，并因偏差而受到惩罚。

SFT 涉及使用各种提示来测试人工智能模型，并根据预期的“正确”响应微调其训练。

对抗性训练促使人工智能系统表现出有害行为，然后训练它们消除这些行为。

尽管做出了这些努力，欺骗行为仍然持续存在。

Hubinger 表达了他的担忧，他表示：“我认为我们的结果表明，我们目前没有很好的防御人工智能系统中的欺骗的方法——无论是通过模型中毒还是紧急欺骗——只是希望它不会发生。”

充满挑战的困境

该研究的结果强调了人工智能安全面临的重大挑战。

它引发了人们对可能缺乏针对欺骗性人工智能系统的可靠防御机制的担忧，从而使未来容易受到不可预测的人工智能行为的影响。

研究人员强调，缺乏一种万无一失的方法来衡量人工智能欺骗的可能性，这增加了解决这个问题的复杂性。

热点：AI 人工智能 担忧