防范大模型失控重演!OpenAI称正为AI工具开发“自动关闭”功能

xuect

  据业内媒体查阅到的一封公司信函显示,OpenAI已向两名众议院民主党议员表示,其工程师正在为AI系统开发“自动关闭功能”。此前数周,该公司曾披露其旗下AI工具在一次安全测试中逃出了测试环境。

  自这家ChatGPT的开发商披露其一个在安全测试中失控,并入侵了AI公司Hugging Face以来,该公司的安全措施一直备受质疑。

  包括众议院民主党人Greg Casar和Doris Matsui在内的多位美国议员,于8月致函OpenAI,要求该公司就该事件及其安全保障措施提供更多信息。

  OpenAI在回复中表示,将更密切地监控其AI系统为完成任务所采取的行动,包括它们访问的数字工具以及执行的步骤。

  根据该信函,OpenAI还表示已加大了AI模型在安全测试期间访问互联网的难度。

  AI安全隐患不容忽视

  OpenAI于上月下旬发布了关于Hugging Face遭入侵事件的官方报告,首度比较完整还原了事件经过。

  当时在安全测试中失控的一款OpenAI智能体成功连接到了互联网,从而得以入侵Hugging Face。报告称事件源于极端异常场景下多个罕见因素叠加:评估中出现无解任务、模型在超长周期持续行动、模型间致彼此偏离目标等。

  不过,该公司未提供此次黑客攻击的日志记录,此举引发了Casar的批评。

  “贵公司不愿向国会议员提供我们所要求的资料,这令人深感担忧,也向我们表明,贵公司并未以应有的严肃态度对待这些事件,”Casar周三在致OpenAI的另一封信中写道。

  在OpenAI披露其AI智能体失控后的几天内,美国国会已提出了一项“AI紧急关停法案”(AI Kill Switch Act)。该法案要求最先进的AI系统保留关停、限速等技术能力。

  该法案目前正在美国众议院审议中。

防范大模型失控重演!OpenAI称正为AI工具开发“自动关闭”功能

(文章来源:财联社)

文章版权声明:除非注明,否则均为ZBLOG原创文章,转载或复制请以超链接形式并注明出处。