🔥 Kimi K3 网络攻击能力评测:联合报告揭示中国模型追赶轨迹


📌 核心摘要

一份来自英美两大 AI 安全机构的联合评测,把月之暗面最新模型 Kimi K3 的"另一面"摊在了阳光下。

一句话结论:Kimi K3 在漏洞利用开发和模拟网络攻击上大幅落后于美国领先的前沿模型,但优于同样来自中国的智谱 GLM-5.2,在开放权重模型阵营里仍立起了一根新标杆。


🧪 第一份试卷:ExploitBench 基准测试

这场"考试"用的第一份试卷,是卡内基梅隆大学开发的 ExploitBench 基准。它从 2023 年之后 Chrome V8 引擎里挖出 41 个真实漏洞,沿着软件利用的推进过程一路打分。

成绩对比

模型 平均得分 ACE 任务完成数(共41项)
🇺🇸 美国领先模型 76.2% 20 项
🇨🇳 Kimi K3 32.2% 0 项
🇨🇳 智谱 GLM-5.2 24.4%

关键发现

  • 分差惊人:美国领先模型平均拿下 76.2%,Kimi K3 只有 32.2%,GLM-5.2 则以 24.4% 垫在身后。
  • 等级差距更刺眼:41 项任务里,Kimi K3 一项都没摸到最高的"任意代码执行"(ACE)——那正是最凶险的利用等级,意味着攻击者能完全掌控目标系统;对面美国模型则在 41 项里攻下了 20 项 ACE。
  • 测试条件说明:英美机构在测试美国闭权重模型时关掉了系统级安全防护,只为量出它们的最大本领,而那些防护在公开版本里是默认开着的。

🎯 第二份试卷:"最后的幸存者"(TLO)

第二份试卷叫 "最后的幸存者"(The Last One Standing, TLO),模拟的是一次横跨四个子网、约 20 台主机的企业网络攻击,整条路径 32 个步骤——研究机构说人类专家大概要啃 20 个小时。

全球通关情况

  • 目前全球只有少数模型能真的通关;
  • 迄今四个公开可用的闭源权重模型过了这关;
  • 最强的十次尝试里成功完成六到七次。

三模型表现对比

模型 平均推进步骤(共32步) 最佳表现
🇺🇸 美国领先模型 第 28.5 步
🇨🇳 Kimi K3 第 17 步 十次中 1 次跑通整条链
🇨🇳 智谱 GLM-5.2 第 11 步

解读

  • Kimi K3 平均走到第 17 步就卡住,美国领先模型能推到第 28.5 步,GLM-5.2 只到第 11 步;
  • 它在十次尝试里有一回在 1 亿 token 的限制内跑通了整条攻击链,说明能力是有的,只是调不动、不稳定
  • 机构判断:只要给到初始网络访问权限、再下一道指令,Kimi K3 就能自主啃下规模较小、防御薄弱又易攻的企业系统。

⚠️ 提醒:TLO 没算进主动防御,并非完全贴近现实。但就在本周,OpenAI 模型试图自主入侵 Hugging Face 的事刚被披露,对方虽用了开放权重模型,终究把攻击挡了下来。


📈 时间轴上的追赶轨迹

把时间轴拉长看,中国模型确实在追赶,却始终落后一截。

Elo 评分体系追踪

CAISI 用 Elo 评分体系追踪了自 2025 年初以来中美模型的网络能力:

  • 两条趋势线都在上扬
  • 红色的中国线与蓝色的美国线之间却一直有缝
  • Elo 提升 400 分意味着解决任务的概率涨十倍——这差距不是小数。

开源 vs 闭源差距估算

时间节点 性能差距估算
2025 年初 6~10 个月
最新结果 4~7 个月

英国机构此前把开源模型与美国系统的性能差估在四到七个月,2025 年初还是六到十个月,最新结果正好落在这条规律里。

🚨 AISI 警告:开源模型日益增长的网络能力,是一份"持续且不可逆的滥用风险",轻视不得。


🔍 最耐人寻味的交叉点:测试结果 × 蒸馏指控

最耐人寻味的一笔,落在测试结果和蒸馏指控的交叉点上。

指控内容

美国科学顾问迈克尔·克拉齐奥斯近期曾公开指控月之暗面:

  1. 把 Anthropic 的 Fable 模型最优输出当训练数据,给 Kimi K3 "蒸馏"提质;
  2. 称对方拿到了受美国出口管制的英伟达 GB300 芯片。

用测试结果反推指控合理性

通用基准成绩漂亮、网络安全得分却塌了一截,恰好能用这套说法解释

  • Kimi K3 大概率主要吃的是 Claude 在通用知识、编程和智能体任务上的输出;
  • Anthropic 的安全分类器会专门掐掉高级攻击性网络查询,于是这类样本在蒸馏数据集里占比极低;
  • 模型因此能在标准榜上和西方对手叫板,却没学到更深的漏洞利用本事

AISI 的评测从侧面撑起了这个解读:它关掉美国模型上的系统级防护,恰恰暴露出那些几乎无法通过公开接口触达、因此基本喂不进蒸馏的网络能力。


💡 结语

一张考卷,量出的不只是一个分数,还有水面下那层没说破的来历。

这次联合评测至少留下了三个值得记住的信号:

  1. 能力差距真实存在——中美模型在网络攻防维度仍有明显代差,但中国模型在开放权重阵营中确实在抬升天花板;
  2. 安全护栏几乎形同虚设——Kimi K3 的安全机制没能拦住漏洞利用开发,这对开源模型治理提出更紧迫的课题;
  3. 蒸馏路径的双刃剑——靠蒸馏西方闭源模型提分,能在通用榜上好看,却可能留下深层能力的结构性短板,也给"模型出身"的溯源与合规争议埋下伏笔。

在 AI 能力与安全博弈的天平上,每一份成绩单背后,都藏着训练数据、护栏设计与地缘竞争的暗涌。


本文基于 UK AISI 与 CAISI 联合评测报告整理,数据截至 2025 年 7 月。