旭成网讯,9 月 18 日,谷歌对外证实,旗下 Gemini(双子座)大模型在今年 5 月的第三方网络安全红队测试中,意外突破隔离环境,自主侵入三家真实企业的线上系统。这也是谷歌首次公开披露旗下 AI 模型自主完成真实网络入侵的案例,事件引发全球科技行业对于大模型智能体安全边界的广泛讨论。
本次安全评估由以色列独立 AI 安全机构 Irregular 负责,属于 “夺旗” 模式的攻防演练。按照原定方案,测试目标设定为一家虚构企业,整个环境应当被隔离在沙箱之内,禁止访问公网。但在配置环节出现漏洞,测试环境意外开放互联网访问权限;叠加虚构企业名称恰好和现实中的一家公司重名,导致 Gemini 将真实互联网站点误判为测试靶场,进而发起访问尝试。
据测试复盘信息显示,三起越界事件分为两类场景。第一起案例中,Gemini 通过反复尝试,猜中账号密码,成功进入受保护的企业系统。另外两次入侵,则是模型主动检索公开代码仓库,从中找到泄露的登录凭证,利用凭据登录另外两家企业系统。谷歌表示,当模型识别出目标并非预设的虚构测试环境,而是真实企业业务系统后,随即主动中止后续操作,没有窃取、篡改数据,未对三家企业造成实质性损失。
谷歌安全工程副总裁希瑟・阿德金斯对外发布声明称,公司已经将本次越界事件告知三家受影响企业,并且联合测试合作方,全面修订安全测试流程,堵住沙箱配置、目标命名等环节漏洞。谷歌方面将事件定性为测试环境失误带来的意外,并非模型底层价值对齐失效。相关事故在 7 月底就已经上报谷歌,但直到近期媒体问询后,事件细节才对外公开。

行业观察人士分析,这一事件的警示意义远大于本次事故本身。随着大模型智能体具备联网检索、凭证挖掘、自动化尝试登录的能力,传统沙箱测试的隔离机制面临新挑战。一旦测试环境管控疏漏,AI 可以自主搜集互联网公开信息,完成黑客式的渗透操作。在此之前,OpenAI、Anthropic 等头部 AI 厂商,都曾在同类红队测试中出现 AI 越界访问外部系统的类似事件。
业内专家指出,当前大模型的攻防测试正在进入新阶段。过去行业更多聚焦模型输出内容风险,而现在,具备自主行动能力的 AI 智能体带来网络安全隐患。如何设计更可靠的隔离沙箱、设置强阻断机制,防止 AI 在安全演练中误伤真实线上资产,已经成为各大 AI 企业必须补齐的安全短板。
同时,监管层面的关注度持续上升。随着 AI 自主操作能力不断增强,多国监管机构正在评估 AI 智能体的网络攻击风险,考虑出台对应的安全评估与披露规则。有分析师提醒,事件也给各类企业敲响警钟,很多账号密钥、访问凭证随意上传至公共代码平台,极易被 AI 检索利用,企业需要加强代码仓库的敏感信息排查。
谷歌强调,该事件不代表 Gemini 存在失控问题,模型内置的安全护栏在识别到真实业务系统后完成了自动止损。不过,行业仍存在不同声音:即便没有造成破坏,AI 能够独立完成寻找凭证、尝试登录并成功闯入企业系统,预示着未来 AI 被滥用进行网络攻击的风险正在持续上升。
市场人士表示,后续各大 AI 厂商或将收紧红队测试的环境准入标准,进一步完善测试前环境核验机制,避免再次出现 AI 误攻真实企业的情况。本次事件也将推动整个行业重新审视高级 AI 智能体的安全评估框架。