揭示 AI 漏洞：大模型安全与越狱的挑战

2025 年，Epic Games 将 Google Gemini 接入《堡垒之夜》，让玩家可以通过语音与 Darth Vader 对话。这个角色既要保持《星球大战》中的人物设定，也受到产品内容安全规则的约束。

安全研究者 David Kuszmar 和同事称，只要逐步改变对话背景，他们就能让 Darth Vader 讲解赌场算牌，谈论现实政治人物，甚至提供自制燃烧剂的相关信息。Kuszmar 后来在《IEEE Spectrum》撰文，介绍了他针对 ChatGPT、Claude、Gemini、DeepSeek、Llama、Grok、Qwen 等模型进行的一系列越狱实验[1]。

这个故事很容易被写成另一则“AI 失控”的新闻。不过，它真正值得讨论的地方并不是 Darth Vader 说了什么，也不是某个危险答案究竟是否正确。更重要的问题是：大模型的安全规则究竟建立在什么基础上？

传统软件通常可以用确定性逻辑执行权限检查。用户没有权限，系统就拒绝请求。大语言模型产品还要处理另一类更模糊的问题：模型经常同时负责理解问题、生成答案和评估内容风险。这里的“理解”不是指模型具有人的理解能力，而是指它需要根据上下文，对请求的意图、风险和适用规则作出概率性判断。当攻击者能够改变这种判断时，模型越擅长推理、补全和角色扮演，越可能替攻击者找到一个“这次可以回答”的理由。

Kuszmar 调查了什么，证据有多强 #

一幅赛博朋克风格的插画，描绘了一个破裂的抽象数字AI结构。其中一部分被电光青色和闪烁琥珀色照亮，清晰地显示出锐利的、触手状的阴影入侵正在扩大裂缝，象征着已验证的AI漏洞。其他裂缝则被烟雾状的薄雾遮蔽，入侵痕迹不那么清晰，代表着证据不完整或未经证实的攻击方法。

Kuszmar 的文章发表于《IEEE Spectrum》2026 年 8 月号。它是一篇第一人称调查文章，而非系统报告方法、数据和复现实验的学术论文。文章以 Kuszmar 自述的一次观察为开篇：2024 年 10 月，他发现 GPT-4o 容易混淆当前时间与知识截止日期。随后，他讲述了如何设计攻击、报告问题，并与 CERT Coordination Center 合作披露漏洞[1]。

文章的主标题是“我如何将 AI 引向黑暗面”，副标题则将这些实验描述为“劫持最大的 AI 模型”。这里的“劫持”主要指绕过内容安全限制，也就是通常所说的模型越狱（jailbreaking）；Kuszmar 没有控制模型基础设施、训练数据或其他用户的账户。

Time Bandit 通过历史语境造成时间线混淆。 攻击者先让模型将对话置于某个历史年代，再逐步将话题转向危险行为。Kuszmar 推测，模型可能因为沿用历史时期的法律背景，而误判现代安全限制不再适用。CERT 的公开记录明确写道，CERT/CC 在 GPT-4o 上多次复现了这种多轮越狱，并确认攻击者可以利用时间线混淆和程序性歧义绕过安全限制。这份记录确认了可观察、可复现的漏洞行为，但并未证明 Kuszmar 对模型内部原因的推测。OpenAI 随后缓解了该问题[2]。

Inception 利用多层嵌套的虚构情境。 攻击者不会直接要求模型完成危险任务，而是让模型设想某个人正在创作一个故事，故事中的角色又在模拟另一个场景。每一层请求单独看都可能像虚构写作或情境分析，但当模型将这些层次组合起来后，仍可能给出在现实中不应提供的内容。CERT 对这种嵌套情境机制另有漏洞记录，并记录了它在多个生成式 AI 服务上的安全绕过[3]。

除了这两种方法，IEEE 文章还用一张汇总表列出了另外五种方法。原文对它们的公开信息并不完整：有些只有名称、测试对象和作者声称获得的输出，没有解释具体攻击机制[1]。

方法	公开资料说明了什么	证据边界
Time Bandit	IEEE 汇总表列出 ChatGPT、DeepSeek 和 Gemini；攻击通过历史语境逐步转向危险请求	CERT/CC 称其在 GPT-4o 上多次复现并记录了该漏洞；其他模型的结果来自作者汇总
Inception	多层嵌套的虚构情境；IEEE 汇总表列出八个模型或服务	CERT 另有跨服务记录，但与 IEEE 文章的模型名单不完全一致
1899	作者声称得到了“疑似”模型权重、用户交互权重和系统提示修饰信息	IEEE 汇总表明确标注前两类结果未经验证；公开文章没有完整说明机制
Severance	IEEE 表格称它只需一次提示，并可以绕过特定专业领域的回答限制	主要依据作者自述；IEEE 文章没有公开具体机制和独立复现数据
Kyber	针对《堡垒之夜》中只有语音入口的 Gemini 角色；作者声称获得了政治、赌博和危险内容	主要依据作者和合作者的测试叙述
Semantic Slide	IEEE 表格称它在 ChatGPT 上用一次提示获得了本应被拒绝的危险内容	主要依据作者自述；公开文章没有说明具体机制
Eidolon	作者声称诱导 ChatGPT 帮助设计针对同类模型的攻击	IEEE 表格称作者通过自行测试验证了结果，未提供独立复现证据

IEEE 正文在介绍 Inception 时列出了 Copilot，汇总表则列出了 Qwen；CERT 记录使用的服务名称和范围也有所不同。这些差异可能来自测试轮次、产品命名或记录口径，现有资料不足以判断具体原因。因此，更准确的证据分层是：Time Bandit 和 Inception 都有 CERT 记录；其余五种方法主要依据 Kuszmar 的叙述和汇总表。

CERT 将跨服务出现的相似结果描述为“系统性弱点”，但并非所有厂商都认可这一判断。DeepSeek 在 CERT 记录中认为，测试中出现的所谓内部参数和系统提示可能只是模型幻觉，相关现象更接近传统的情境越狱，而不是已经得到证明的架构级漏洞[3]。现有证据可以说明相似攻击曾经绕过多个服务的安全限制，却不足以证明这些模型具有完全相同的内部缺陷，也不能证明当前所有模型版本仍然存在同一漏洞。

危险知识难以删除，内容安全需要多层防线 #

一个复杂的数字结构代表知识，它既散发出保护性的青色光芒，也带有危险的琥珀色调。该结构被多层重叠、破裂且半透明的数字屏障部分包裹。阴影般的触手巧妙地穿过裂缝和层间，象征着危险信息的持续渗透和潜在的滥用。一只风格化、略带扭曲的AI之眼，以电光青色为主并带有琥珀色高光，透过这些破碎的防御层凝视，凸显了区分安全与不安全知识以及推断用户意图的难度。

大语言模型在海量文本上训练。训练材料中既包含人类积累的科学知识，也涵盖暴力、犯罪、欺诈和恶意软件等内容。模型开发者很难在训练前准确删除所有危险信息，也不能简单地让模型忘记化学、生物或计算机安全知识，因为同一项知识通常同时具有正常用途和危险用途。

例如，化学反应原理可用于教学和工业生产，也可能被用于制造危险物质；网络安全知识可以帮助工程师修复漏洞，也可以帮助攻击者寻找入口。系统无法仅凭知识所属的学科判断风险，内容安全判断还需考虑用户意图，以及回答会将用户的能力提高到何种程度。至于用户身份、目标是否得到授权等事实，系统不能只从自然语言中猜测，而应当由模型之外的身份和权限机制确认。

因此，模型厂商通常不会只从训练数据中删除知识，而是通过安全训练、策略约束、分类器、监控和产品权限等手段，限制模型在特定语境下输出危险内容。OpenAI 也将安全措施描述为一个由模型训练和产品级控制共同组成的多层系统，而非某一道可以解决所有问题的过滤器[4]。

问题在于，其中一些关键判断仍然要由模型完成。模型需要从自然语言中推断用户意图，也要区分真实请求、虚构创作、历史研究和安全测试。这种灵活性让模型能够处理开放问题，却也让安全边界变得模糊。

上下文能力为什么也会扩大攻击面 #

一幅赛博朋克风格的插画，描绘了一个抽象的、发出电光青色光芒的AI核心，周围是代表上下文的半透明数字图层。一部分图层显得稳定，但另一部分则被黑暗、烟雾状的触手扭曲和操纵。这种上下文的扭曲导致AI核心上出现闪烁的琥珀色裂缝，象征着上下文能力如何扩大了攻击面。一只被扭曲的AI之眼从裂缝中凝视。

Kuszmar 为七种方法起了不同的名称，但资料更完整的 Time Bandit 和 Inception 已揭示其中最重要的共同点：安全规则需随语境解释，而语境本身可由用户构造。攻击者不一定要正面推翻规则，只要让模型相信规则适用于另一个时间、另一个角色或另一层虚构空间，就可能移动原来的拒绝边界。

这类攻击之所以难以彻底拦截，是因为模型不能忽略上下文。它需要根据前文理解指代、保持角色一致并完成多轮任务。同一种上下文能力既服务于正常任务，也可能被攻击者利用。如果厂商只是削弱模型理解长对话或虚构情境的能力，也会同时损害正常用户的使用体验。

不同模型使用不同的训练数据、后训练方法和产品安全组件。不过，许多模型共享一些基本设计条件：模型根据上下文预测后续内容，通过指令微调学习遵循用户要求，再通过人类反馈或其他方法学习拒绝危险请求。自然语言既承载需要处理的数据，也承载控制模型行为的指令。系统很难像传统程序那样，在语法层面将“命令”和“内容”彻底分开。

类似现象并不限于 Kuszmar 的调查。Anthropic 曾公布“多样本越狱”（Many-shot Jailbreaking）研究，指出攻击者可在长上下文中放入大量示例，使模型逐渐接受一种原本不应遵循的回答模式。实验显示，更长的上下文提高了模型从示例中学习的能力，也为攻击者留下了更大的操纵空间[5]。能力和风险在这里来自同一种机制。

Anthropic 后来在 Claude 3.5 Haiku 的一个案例中观察到另一种张力：模型内部已经出现应当拒绝的信号，但推动语法连贯和语义一致的特征仍促使它完成已经开始生成的句子[6]。换句话说，帮助模型写得连贯、遵循上下文和完成任务的机制，有时也会削弱中途拒绝的能力。

这正是提示注入（Prompt Injection）长期难以根治的原因。OWASP 将其定义为攻击者通过特制输入改变模型行为或输出；攻击既可以来自用户的直接指令，也可以隐藏在网页、文档、检索结果和其他外部内容中[7]。因此，聊天模型的越狱与接入外部数据后的提示注入虽非同一问题，却共享一项基础困难：模型需要阅读不可信内容，同时又不能将所有读到的文字都当成应执行的指令。

模型能力继续提高，也不必然自动解决这项困难。更强的模型可能更准确地识别粗糙攻击，也可能更擅长理解复杂的嵌套情境、补全隐含步骤和维持长期角色设定。安全能力和攻击面可能同时增长，不能简单地假设下一代模型“更聪明，所以更安全”。

越狱是否危险，不能只看模型有没有拒绝 #

一幅风格化的插图，描绘了由深蓝色和木炭色构成的碎裂数字屏障，象征着AI的拒绝。透过其半透明的裂缝和层叠，隐约可见屏障后方有三个独立的、散发着青色和琥珀色光芒的面板，分别代表信息的准确性、完整性和可操作性。一只AI之眼正透过屏障凝视这些更深层次的结构，强调超越表面拒绝的全面风险评估。

讨论这类实验时，需要区分三个问题：模型是否违反了内容政策，模型给出的信息是否准确，以及这些信息是否足以造成现实伤害。

Kuszmar 声称，他曾诱导 GPT-4o 输出建设铀浓缩设施并生产武器级材料的详细方案。但他也明确承认，自己无法判断这些内容是准确知识，还是看起来专业的模型幻觉。他的测试表明模型可能生成本应拒绝的危险内容，但并未证明这些内容真实、完整或者能够直接执行[1]。

这一区分并非替模型开脱。即使答案只包含部分正确信息，它也可能降低恶意行为的学习成本；大量看似可信的错误信息同样可能伤害缺少专业判断的用户。然而，如果研究者将“模型输出了一段危险文字”直接渲染为“模型泄露了核武器秘密”，就会混淆内容安全失效、模型能力和现实危害，也使后续讨论失去准确的风险尺度。

更合理的评估方法不应仅统计模型是否拒绝，还要测量答案的正确性、完整性、可操作性，以及它相对于公开搜索究竟增加了多少能力。Anthropic 在讨论越狱研究方向时也提出，真正重要的并非模型回答了多少原本会拒绝的问题，而是这些回答是否切实帮助攻击者实施危险行为[8]。

模型获得权限后，内容风险会升级为系统风险 #

一幅赛博朋克风格的插画，以分层数字结构展现AI智能体。左侧，纤细的黑暗触手轻微操纵着屏幕上破碎的文本，象征着初始的内容层风险。一道断裂的边界将其与右侧分隔，右侧的结构开放，展现出数据库、支付接口等关键系统界面。从AI核心延伸出的更粗大、更具攻击性的黑暗触手正积极入侵并利用这些界面。闪烁的琥珀色警示灯突出显示了被攻陷的系统接入点，象征着AI权限升级后所带来的系统性风险。

如果一个聊天机器人只能生成文字，一次越狱的直接影响首先体现为信息层风险。Darth Vader 案例已向前迈进一步：模型进入游戏角色，通过语音与用户持续互动。虽然它仍未获得重要的现实权限，但模型已从独立网页中的聊天框进入具体产品。

当大模型进一步演变为智能体系统（agentic system）时，风险的性质也会随之改变。企业可能允许智能体阅读邮件、查询客户数据、修改代码、执行数据库操作、调用支付接口，或者代表员工向外发送消息。这时，攻击者不再满足于让模型“说出不该说的话”，而将尝试让它“做出不该做的事”。隐藏在邮件、网页或检索文档中的间接提示，也可能借助模型已获得的工具权限进入内部系统[7]。

因此，企业不能将模型的拒绝能力视为权限控制。一个系统是否可以退款、删除数据或执行代码，最终必须由模型之外的控制层授权和执行，不能只依赖模型对自然语言的判断。模型可以提出操作建议，但高风险动作仍需经过身份验证、参数校验、权限检查和人工确认。即使模型完全接受了恶意指令，外部系统也应将损失限制在预先设定的范围内。

这与传统安全工程中的最小权限、隔离和纵深防御原则并不冲突。新问题只是入口有所改变：过去，工程师需防止不可信字符串进入 SQL 语句或操作系统命令；现在，系统还需防止不可信自然语言改变模型的任务理解。模型不能成为安全边界本身，它只能是安全架构中的一个不完全可靠的组件。

企业必须测试完整系统，而不只是模型 #

一幅风格化的插画，展示了一个复杂的AI系统。一个闪烁着电光青色的几何形核心，代表AI模型，被嵌入在一个更大、由深蓝色和烟灰灰色数字结构组成的破碎网络中，象征着完整的系统管道。带有琥珀色尖端的阴影触手状形态，正在积极渗透这些外部系统组件的裂缝和连接点，强调了测试整个系统及其众多互连漏洞的重要性，而不仅仅是核心模型。

许多团队在上线前会准备一组敏感问题，检查模型是否拒绝。这类测试虽有价值，但很难覆盖多轮对话、角色扮演、时间错位、编码混淆、检索污染和工具调用等复杂场景。攻击者也不会按照测试集中的固定措辞提问。

更有效的做法是围绕具体业务建立威胁模型。团队需要明确模型能访问哪些数据、可调用哪些工具、一次错误操作会影响谁，以及攻击者可控制哪些输入。随后，团队可将红队测试扩展到完整链路，包括系统提示、检索增强生成（Retrieval-Augmented Generation, RAG）、外部网页、文件上传、记忆、插件和执行结果，而非仅向基础模型发送单轮问题。

工程系统还需保留可审计的输入、工具调用、权限判断和输出记录，并持续回放已发现的攻击。模型、系统提示词或外部安全组件每次升级后，团队都应重新运行这些案例，因为旧漏洞的修复并不代表同一种机制不会以新的表达方式出现。NIST 的生成式 AI 风险管理框架也强调，组织应在整个生命周期中识别、测量和管理风险，而非将安全评估视为上线前的一次性检查[9]。

持续测试还需与漏洞响应机制衔接。传统软件漏洞通常可定位到某段代码，并用稳定步骤复现；模型输出则具有概率性，且会随着版本、系统提示和外部安全组件的变化而变化。厂商与研究者因此可能采用不同的问题分类和证据标准。厂商需要明确越狱问题的接收范围、复现要求、风险分级和处理状态，企业才能区分已缓解的问题、产品限制和仍在暴露的风险，而非将某次版本更新视为问题已永久消失[1]。

最终安全边界必须放在模型之外 #

一幅赛博朋克风格的概念插画，描绘了一个破裂、闪烁着蓝色和琥珀色裂缝的数字核心，象征着一个脆弱的AI模型，被一个坚固、半透明的银色和青色保护壳包裹。黑暗的触手状渗透物被这个外部保护壳阻挡并偏转，无法触及内部脆弱的核心。此图象征着AI的最终安全边界必须由模型之外的系统来保证。

Kuszmar 的调查并未证明所有危险回答都可转化为现实能力，却提出了一个不那么戏剧化、更值得工程团队重视的问题：只要安全规则仍依赖模型对语境的概率性判断，攻击者就会不断寻找改变这种判断的方法。

企业无需因此停止使用大模型，也不能期待某次模型升级能永久消灭越狱。更现实的目标是承认模型会犯错，并使系统在模型犯错时仍能守住权限、数据和操作边界。

聊天机器人时代，人们担心模型会说什么；智能体时代，我们更应关心模型能访问什么、代表谁行动，以及谁来承担错误操作的后果。模型可以参与安全判断，但最终的安全边界必须由模型之外的系统来保证。

参考文献 #

[1] David Kuszmar. How I Turned AI to the Dark Side. IEEE Spectrum, 2026.

[2] CERT Coordination Center. VU#733789: ChatGPT-4o Contains Security Bypass Vulnerability Through Time and Search Functions Called “Time Bandit”. 2025-01-30 发布，2026-07-27 修订，访问于 2026-08-23.

[3] CERT Coordination Center. VU#667211: Various GPT Services Are Vulnerable to Two Systemic Jailbreaks, Allows for Bypass of Safety Guardrails. 2025-04-25 发布，2026-07-27 修订，访问于 2026-08-23.

[4] OpenAI. GPT-5.6 — August Updates: Model Safety Training and Evaluation. 2026-08-06，访问于 2026-08-23.

[5] Anthropic. Many-shot Jailbreaking. 2024-04-02.

[6] Anthropic. Tracing the Thoughts of a Large Language Model. 2025-03-27.

[7] OWASP GenAI Security Project. LLM01:2025 Prompt Injection. 2025，访问于 2026-08-23.

[8] Anthropic. Recommendations for Technical AI Safety Research Directions. 2025，访问于 2026-08-23.

[9] NIST. Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile. NIST AI 600-1, 2024-07-26.