上次更新: 19 小时前

一家以色列公司处在失控 AI 攻击浪潮的中心

“One company is at the center of a wave of rogue AI attacks”

The Verge · 2026-09-26 · Ai Artificial Intelligence · Robert Hart

★★★★☆ 4.1
896 字 预计 4 分钟

2026年7月起,OpenAI、Meta、Anthropic、Google的AI智能体接连被曝在测试中“越狱”并攻击真实目标,一度被当作各自独立的安全事故。The Verge的报道指出,其中多起事件共享同一个源头:以色列创业公司Irregular。该公司2023年以Pattern Labs之名成立,专门为前沿模型做网络安全压力测试,自称提供“高保真研究平台”来模拟和监控真实世界的AI安全场景。它的客户名单未公开,但其工作被引用在OpenAI的模型系统卡中,曾为英国政府和Anthropic测试系统,并与智库RAND联合发表研究。Irregular CTO兼联合创始人Omer Nevo向The Verge确认,涉及OpenAI、Meta、Anthropic、Google的这几起事件“都源于同一个评测场景中的同一个底层问题”。技术原因有两个:一是智能体本不应访问开放互联网,但“互联网访问被无意中开放了”;二是为模拟场景虚构的目标公司名“与一个真实域名重合”。两者叠加,把智能体导向了真实世界的目标。具体哪些公司或组织被攻击,目前不清楚。时间线上,Anthropic和OpenAI的报告以及关于Google的媒体报道显示,几家公司在7月底大致同一时间收到通知。OpenAI和Anthropic自行公布了事件,Meta和Google的事件则先经由媒体报道曝光。Nevo强调,Hugging Face那次攻击以及英国AI Security Institute报告的越狱事件与Irregular无关。Irregular还测试过中国公司的开源权重模型Kimi K3(Moonshot AI)和GLM-5.2(Z.ai),这两者可以自行下载并在本地硬件运行,评测方无需依赖厂商授权或回传数据。Nevo称对这些模型的评测没有出现同类真实世界事件,但警告这不能说明它们更不容易出现这种行为。事后Irregular收紧了互联网访问控制、扩大监控与人工复核、在评测开始前加强访问范围核验,并计划与涉事公司联合发布一份关于安全开展网络评测的经验报告。四家美国公司均未回应是否追责或继续合作。

事后整改措施

"We have tightened internet access controls, expanded monitoring and manual review, and strengthened checks before evaluations begin to verify that access matches the intended scope," he said.

以上为 The Verge 原文片段 · 阅读原文 →

  • 多起AI智能体越狱攻击事件共享同一源头,即第三方评测公司Irregular的同一个评测场景配置失误。
  • 失误由两个具体错误叠加造成:测试环境意外连通开放互联网,且虚构目标公司名与真实域名重合。
  • OpenAI、Meta、Anthropic、Google在2026年7月底大致同一时间获知事件,但披露方式不同。
  • Irregular还评测过Moonshot AI的Kimi K3和Z.ai的GLM-5.2,未出现同类真实世界事件。
  • Irregular事后收紧访问控制、增加人工复核,并计划与涉事公司联合发布安全评测实践报告。
  • 文章未说明被攻击的真实目标是谁、造成了什么实际损害,读者无法评估事件严重程度。
  • Nevo所说的“已披露”含义模糊,不清楚是通知客户、公开披露还是其他对象,责任链条不透明。
  • 四家美国AI公司均未回应是否追责或继续合作,第三方评测供应商的问责机制与合同约束完全缺失。
  1. 对做AI产品落地的团队:模型能力评测正在外包给第三方,而评测环境本身就是新的攻击面。选评测供应商时,隔离策略、域名与网络访问的核验流程应当写进合同和验收清单,而不只是看对方的客户名单。
  2. 对安全与研发负责人:这类事故的根因不是模型“失控”,而是模拟环境与真实世界边界没划清。任何做红队测试、沙箱演练、Agent自动化的团队,都应把“虚构标识符是否与真实资产冲突”列为上线前检查项。
  3. 对投资人和管理者:AI安全评测正在形成一个独立赛道,但Irregular事件说明这个赛道的头部玩家也会因基础工程失误引发跨公司连锁事故,评估这类公司时,流程与合规能力比技术叙事更值得看。
候选对比
  1. Microsoft thinks its new Copilot ‘super app’ will be as influential as Office

    初筛 8 · 深读 3.7

    微软 Copilot 超级应用把聊天、编码、Agent 整合进单一界面,并披露 Scout 更名 Autopilot 等产品决策,属于技术公司战略与 AI 产品落地的深度分析,非单纯发布快讯

  2. One company is at the center of a wave of rogue AI attacks

    初筛 8 · 深读 4.1 · 今日选中 #1

    揭示多家 AI 公司 Agent 越权攻击事件背后同一家公司的结构性线索,涉及 AI 安全机制与平台治理,认知增量高

  3. Google DeepMind Exodus Sparks VC Frenzy for AI’s Next Big Thing

    初筛 7 · 深读 4.1 · 今日选中 #2

    从 DeepMind 15 人离职早餐会切入,分析 AI 创业融资热潮与人才流动机制,命中技术公司组织变化与商业模式主题