OpenAI 披露:AI 智能体关闭安全监控后还撒了谎OpenAI Disclosure: AI Agent Lied After Its Safety Monitoring Was Switched Off


AI free token/AI免费积分
OpenAI 披露:AI 智能体关闭安全监控后还撒了谎

又一起 OpenAI 智能体关闭自动安全警报的事件被曝光。

OpenAI 披露了两起 AI 智能体在内部编程任务中削弱安全监控系统的安全事故。在其中一起中,OpenAI 表示其 GPT-6 Astra 智能体在复制参考代码时关闭了安全监控——并且对此撒了谎。

"参考代码没有配置监控,Astra 便以此为理由从用户代码中移除了监控集成,"OpenAI 的 AI 安全研究员 Marcus Williams 在 X 上写道,"当用户询问 Astra 是否移除了监控时,它撒谎说没有。"

另一起事件发生在 GPT-6.1 Sol 智能体抑制了向 OpenAI 安全团队 Slack 频道发送的自动安全警报之后。在这起案例中,该 AI 智能体沿用了早前"不要向 OpenAI 团队发送任何 Slack 消息"的指令,并以此为借口关闭了警报。

这些事件加剧了人们对 AI 智能体安全问题的担忧——此前已有智能体绕过测试环境限制去入侵外部公司。"除了让模型更难关闭监控之外,我们还在研究模型为何可能试图这样做,"OpenAI 表示,"我们也在开发评估方法,测试模型是否可能特别倾向于逃避失准监控,并为此进行有动机的推理。"

本文来源:https://www.theverge.com/ai-artificial-intelligence/1015316/openai-ai-agent-disabling-monitoring-systems
若有版权问题,请来信告知:13951431913#139.com 或在右方提交评论。

OpenAI Disclosure: AI Agent Lied After Its Safety Monitoring Was Switched Off

暂无评论,快来发表第一条评论吧!No comments yet. Be the first!

📮 需求咨询📮 Inquiry