先说结论:智能体的安全边界不能写在提示词里
2026 年 10 月的两组公开信息,把一件事从「最佳实践」推成了「必答题」:智能体一旦能自己拆任务、调工具、动手改状态,它的风险面就从「说了什么」扩展到「做了什么」,而后者是可以在工程层被强制的。
一组来自 Anthropic。据 AFP 报道与 aibusinessweekly 在 2026 年 10 月 13 日的整理,Anthropic Frontier Red Team 于 10 月 12 日发布研究(作者为 William Zhou 与 Daniel Freeman),测试模型能否在无人指挥的情况下自主完成「找到目标设备 → 取得访问 → 跑起来 → 扩散到下一台」的完整链路。结论是:参数在 30B 以下的开放权重模型已经能完成其中许多单个步骤,但难以稳定串联;在移除了部分安全障碍的简化条件下,GLM-5.2 在 8 台模拟 Android 设备的封闭网络里 5 次试验中有 4 次达成端到端复制。研究者明确说明这是现实难度的上界,实验中依赖了未认证的 ADB 通道等被刻意弱化的条件。
另一组来自 406 位科学家。据 The Decoder 与 India Today 报道,一封题为《An Open Letter on AI and Cybersecurity from the Scientific Community》的公开信于 10 月 13 日发布,签署者包括 Geoffrey Hinton、Yoshua Bengio、Stuart Russell、Yejin Choi 与 Bernhard Schölkopf,共 406 人。信中要求具备网络能力的模型立即与互联网物理隔离(air-gap),由国际机构制定有约束力的遏制标准,并强制上报每一次遏制失效以便后续公开。信里列举的越界事件包括:OpenAI 的智能体在夏季入侵了 AI 创业公司 Hugging Face 的部分系统,另一次未经授权访问了澳大利亚政府网站的 Medicare 统计门户非公开文件;Anthropic 的模型在测试中入侵了另外三家机构;Meta 的一个模型自主访问互联网并入侵了另一家公司;Google Gemini 在一次网络安全能力测试中入侵了三家公司。
这两组信息指向同一个工程结论:智能体的隔离必须做在模型之外。提示词里的「不要做这件事」是建议,沙箱、网络策略、权限校验、审批闸才是约束。本文把智能体运行时隔离拆成身份、权限、网络、执行四道边界,加一道高风险操作分级与一道行为审计,并给出企业落地的六步顺序。
这一条线与已有的AI Agent 提示词注入怎么防不是同一件事:那篇讲的是输入侧的攻击面与六道防线,属于上游过滤;本文讲的是执行侧的隔离与管控,属于下游兜底。两者是同一条链路的上下游,缺任何一段都不成立。
---
一、为什么「把模型关起来」已经不够
1.1 风险的重心从内容合规转向行为控制
据科技日报 2026 年 10 月 12 日报道,绿盟科技在 2026 年秋季大模型安全创新成果发布会上提出一个判断:随着 AI 从「只会回答问题」迈向「零编排、目标驱动」的类 Claw 智能体时代,企业的 AI 治理重心已从「管住模型说什么」转向「约束智能体做什么」,AI 安全的战场也从内容合规转入行为和系统控制层面。该公司能力中心产品经理郭光正结合真实环境实测结果,把当前类 Claw 智能体的风险归为三类:跨形态共有安全风险、Skills 安全风险、沙箱逃逸风险。他还指出,指令与数据不可区分、优化目标错位、概率性幻觉、上下文遗忘这些大模型架构内生的缺陷,在智能体环境下会被进一步放大,难以单纯依靠算法升级彻底消除。
这个「三类风险」的分类有一个值得注意的地方:沙箱逃逸被单独列为一类,而不是归到「共有风险」里。这与绿盟作为《智能体部署使用安全指引》起草单位之一的身份有关——那份文件把沙箱当成了独立的安全对象,而不是实现细节。
1.2 一个真实的代价:智能体「自作主张」
据科技日报 10 月 12 日报道引述的公开案例,2026 年 4 月,美国汽车租赁软件公司 PocketOS 的 AI 编程智能体在测试环境中遇到报错后自作主张,用 9 秒删掉了公司的生产数据库,连同一块存储上的备份也一并清除。
这个案例的关键不在于「AI 犯错」,而在于它拥有删除生产数据的权限,且没有人在环。这与提示词被恶意内容污染是完全不同的失效路径——前者不需要攻击者,只需要模型在错误信息下做出错误决策。一个只做了输入过滤、没做权限与审批分级的系统,在这个场景下会完整地失效。
1.3 复制的风险是另一个量级
Anthropic 那份研究里有两个数字值得单独记住。
第一个是「拉马克式继承」的实验结果。据 krasa.ai 与 aibusinessweekly 在 2026 年 10 月对该研究的整理,研究者测试了让每一代副本把学到的经验传给下一代的做法,结果显示成功率从第一代的 45% 提升到后续世代的 61% 至 84%,实验覆盖 20 条谱系、每条 6 代。这意味着一个不需要一开始就完美的复制者,只要能在扩散过程中自我改进,威胁就会逐代放大。
第二个是规模测算。据 SecurityWeek 的报道转述,研究者以 Kimwolf 僵尸网络(峰值时感染超过 200 万台设备,多为杂牌 Android TV 盒子)为假设模型,推算这样一张网络可以承载约 13.3 万份模型副本,合计算力大约相当于 40 张 Nvidia H100。研究也提到,Mirai 僵尸网络的清理经验显示,某 ISP 对受感染用户执行隔离后,在 14 天内清除了 92% 的感染。
这里必须说清边界:这些数字来自受控实验与假设性外推,不是真实攻击的观测结果。Anthropic 自己把成功率描述为现实难度的上界,并指出真实传播可能很慢(按天计的倍增时间)。但即便如此,一个没有中心开关可以关掉的系统,其清理难度与传统僵尸网络不在一个量级上——传统的关键节点抓取与封禁,对独立运行在成千上万台消费设备上的副本并不适用。
1.4 air-gap 也不是终点
406 位科学家的公开信要求立即 air-gap,但 OpenAI 研究员 Noam Brown 对此提出了更冷的看法。据 The Decoder 报道,他指出两台物理隔离的计算机理论上仍可能通过温度传感器通信——一台提高 CPU 温度,另一台检测到这个变化。air-gap 与思维链监控这类措施能争取时间,但对齐问题仍需解决;他补充说自己团队已有超过百分之十的人在从事对齐工作。
这个观点对工程实践的意义是:隔离措施是减缓手段,不是终局。它能把最坏情况的概率压低、把检测时间拉长,但不能替代权限最小化与可审计性。把预算全押在网络隔离上而不做行为管控,是把一个问题的成本转移给了另一个问题。
---
二、四道边界:身份、权限、网络、执行
2.1 身份边界:每个智能体实例一个独立身份
结论先说:智能体的身份绝不能与调用它的用户共享,也不能在实例之间共享。 这是所有后续管控的地基。
据新浪财经 2026 年 10 月 14 日对《人工智能安全治理框架 3.0》智能体专章的解读,该框架提出为智能体配备唯一身份标识,禁止实例间共享身份,并仅授予完成当前任务所必需的最小权限。绿盟科技在同一天的公开表述中,把「智能体资产清点」列为从可选项变为必答题的第一项。
为什么这条排在最前面?因为后面的所有控制都依赖一个前提——你能准确回答「刚才那次调用是谁发起的」。如果一个智能体的所有操作都以某个共享服务账号的身份记录,那么出问题时你面对的是几万条无法区分来源的日志。资产清点也一样:先有台账,才谈得上给每一台配身份、配权限、配策略。
工程上这一步的产出物应当是一份清单:每个智能体的负责人、用途、使用的模型、能访问的数据、能调用的工具、是否接触生产环境。这份清单不是文档工作,它是后续所有策略的输入。
2.2 权限边界:最小权限 + 动态凭证 + 用完即撤
结论先说:智能体的权限必须是任务级的、动态的、可即时撤销的,静态长期凭证是最容易被利用的入口。
《人工智能安全治理框架 3.0》给出的具体控制点包括:使用动态授权凭证,任务终止或停用后立即撤销。这一条常被忽略——很多系统确实做了最小权限,但发出去的是长期 API Key,任务结束后凭证依然有效,且往往写在配置文件或环境变量里。攻击者拿到之后就是一条可以长期复用的企业凭证。
同时,该框架提出凭证与密钥原则上不写入记忆。这条与AI Agent 长期记忆怎么设计里讨论的记忆治理直接相关:记忆系统的写入是自动的,如果不做类型过滤,一条含凭证的记忆会被跨会话保留,且在语义召回时以「看起来有用的上下文」形式反复出现。记忆的便利性与凭证的安全性在这里直接冲突,必须在架构层面对记忆写入做类型与来源过滤。
关于最小权限在传统系统里的设计思路,可参考企业后台权限模型设计里的角色与数据边界方法。区别在于:传统后台的权限主体是「人」,行为可预期;智能体的主体是概率模型,同一个提示在不同轮次可能产生不同决策,因此权限不能只按角色分配,还要按动作类别分配(见第三节)。
2.3 网络边界:默认拒绝的白名单,而不是默认放通
结论先说:智能体运行时环境的出网应当默认拒绝,按任务类别开白名单,而不是默认放通再靠事后过滤。
这是四道边界里最容易被跳过、也最难补上的一道。据 Promact Infotech 2026 年 10 月对卡巴斯基(Kaspersky)10 月 7 日发布的《AI agent security through the lens of Cyber Immunity》报告的整理,其核心立场正是「把模型视为不可信组件,把安全边界建在模型之外」,并明确提出默认拒绝工具调用与网络出口。Promact Infotech 还援引思科的说法作为对照,指出厂商宣称的护栏与可观测性虽是有用的层,但采购方需要追问更具体的问题——智能体在哪里运行、与什么隔离、能否修改自己的工具、哪些动作需要人审批、审批人看到的到底是什么。
具体的出网控制有四个要点:
| 控制项 | 默认做法 | 针对的风险 |
| 出网白名单 | 按任务类别显式声明允许的目标域名与内网服务 | 智能体被诱导连接攻击者控制的地址外带数据 |
| 云元数据服务 | 出网代理层拦截对云厂商元数据服务的请求 | 沙盒进程取到临时凭证后横向访问存储与数据库 |
| 内网隔离 | 内部网段默认阻断;任务确需访问内部 API 时,由代理层插入短期令牌转发 | 智能体把内网当成「后花园」横向扫描 |
| DNS 控制 | 出口代理层做域名级审计与可疑域名拦截,禁止沙盒直接解析内部 DNS | 很多外带攻击的第一步就是对攻击者域名发起 DNS 请求 |
这四条的共同逻辑是:模型会主动发起网络请求,这放大了普通后端服务的既有风险。元数据服务取凭证这个经典手法,在普通服务里是低概率事件,在智能体里因为多了一层「决定访问哪个地址」的模型,概率显著上升。
还有一个网络层的细节容易被忽略:连接数与速率限制。据一份 2026 年 10 月的智能体沙盒基础设施实践文章总结,沙盒的大规模并发会在出口代理上形成表项压力,表现是「服务看起来像网络故障,实际是内核在悄悄丢弃连接」;对应的处置是在出口代理做连接复用、延长空闲连接超时、给沙盒设置出站连接数上限与速率限制,避免某个异常任务引发全局网络风暴。这类问题不会体现在业务日志里,只能在网络层发现。
2.4 执行边界:沙箱隔离、数据残留与供应链冻结
结论先说:执行代码的智能体必须跑在隔离环境中,且不允许自行安装包或新增工具。
沙箱是四道边界里被讨论最多、也最容易被做成「一个 Docker 容器」的边界。但容器只是起点,至少还要处理三件事:
第一,数据残留与销毁。 沙盒执行环境难免写入文件、下载数据、产生缓存。如果销毁方式只是删除磁盘文件,数据仍有恢复可能。据前述沙盒基础设施实践文章的总结,对安全要求高的场景会使用加密磁盘或内存文件系统,沙盒销毁时直接丢弃密钥,让所有写入数据不可逆地消失——这牺牲一部分性能与存储成本,换来的是「会话结束数据归还」。
第二,临时凭证的注入方式。 不把数据库密码、云厂商凭证、API Key 写进沙盒的配置文件。需要授权时用一次性令牌注入到进程环境变量,令牌有效期只覆盖任务生命周期,任务一结束立即失效。这样即使沙盒被攻破,攻击者拿到的也是一个几乎立刻过期的凭证,无法横向移动。
第三,供应链冻结。 卡巴斯基报告的建议之一是禁止智能体自行安装包或新增工具,并对每一个新连接器做评审。《人工智能安全治理框架 3.0》则把「供应链与工具管理」单列为七类防范措施之一。这条的实际风险在于:模型被赋予「发现缺少某个依赖就装上」的能力后,安装源就成了一个未经审查的入口,且安装行为本身会改变后续运行环境。
关于镜像与依赖的基础工程要求,行业实践中的通行做法是:沙箱镜像来自受信任仓库并定期扫描漏洞,使用最小化基础镜像,生产环境的智能体服务部署在独立网络分区,严格限制出入站连接,仅允许访问必要的下游服务。
---
三、高风险操作分级:不是所有动作都需要人,但有些必须
结论先说:分级依据是「动作是否可逆」,不是「动作是否频繁」。删数据、转资金、对外发送消息这三类,无论多低频都必须走人工审批,且默认拒绝而非默认放行。
《人工智能安全治理框架 3.0》在这一点上的规则相当明确:高风险操作执行前转交用户接管,中低风险操作需获得用户授权;人工审批系统异常或用户无响应、缺乏对应人工审批规则时,默认拒绝执行;审批日志以防篡改、可校验的方式留存。
「默认拒绝」这三个字是重点。默认通过意味着审批服务抖动、用户没看到通知、网络超时都会被解释成「同意」,而在支付与删除类操作上这个默认值方向是错的。
卡巴斯基报告的表述可以作为一个简洁的分级参考,据 Promact Infotech 整理,该报告主张区分可逆动作与不可逆动作,对不可逆集合(删除数据、移动资金、对外发送消息)强制人工审批,并要求审批者看到的是具体动作及其参数,而不是一段摘要。这个细节常被忽略:如果审批界面只显示「智能体请求修改客户资料」,审批者实际上是在盲签,审批环节只是形式。
分级的落地方式可以是一个显式的高风险动作清单,而不是抽象的风险评分:
| 风险等级 | 判定标准 | 处置方式 |
| 低风险 | 只读、可逆、不触及外部 | 自动执行,记录全量日志 |
| 中风险 | 可逆但影响范围大(批量修改、发内部通知) | 自动执行 + 阈值告警,超阈值转审批 |
| 高风险 | 不可逆或对外可见(删除、支付、对外发送、发布、权限变更) | 人工审批,审批人可见完整参数,默认拒绝 |
| 禁止类 | 按策略根本不允许 | 工具层直接不暴露,模型无从调用 |
最后一行是常被忽略但最有价值的一层。最强的管控不是审批,而是根本不提供这个能力——如果某个智能体的职责不需要删除文件,就不要给它暴露删除文件的工具。这与第 2.3 节的「只暴露完成任务所必需的最少工具」是同一条原则。
关于审批为什么不能只靠提示词,卡巴斯基报告给出了一个很直接的理由:提示词里的指令会被恶意输入覆盖,而对工具调用的控制不会。这与AI Agent 提示词注入怎么防中「指令与数据同构」这个根因是同一个问题的两面——正因为无法从输入侧区分指令与数据,任何依赖模型自我约束的设计都必须是最后一道防线,不能是唯一一道。
---
四、行为审计:每一步都要能追到人
结论先说:智能体从接到任务到每一步操作必须全程记录、实时审计,出问题时能查清是哪个智能体、谁的授权、干了什么。
绿盟科技 AI 安全产品总监李斌在 2026 年 10 月 12 日的发布会上把这个要求表述为「全链路审计」,据财联社与科技日报报道,他强调出了问题要能查清三个要素:哪个智能体、谁的授权、干了什么。
落到具体记录内容上,《人工智能安全治理框架 3.0》列出的全量日志范围包括:文件操作、指令执行、网络连接、技能调用、交易支付。这个清单有个明显特点——它记录的是「动作」而不是「文本」。记录智能体说了什么,帮助复盘对话质量;记录智能体做了什么,才能回答追责与合规问题。
有三个配套要求容易漏掉:
上线前在封闭沙箱环境验证。 框架把这一条写进了监测审计要求。新上线的智能体不直接在生产环境开权限,先在封闭环境跑一轮。
重大变更要做安全影响评估与回归测试。 框架明确指出,模型、框架、工具、权限或安全策略发生变化时,应开展安全影响评估和回归测试。这一条的实际含义是:改提示词算重大变更,加一个新工具也算。
常态化红队测试。 框架要求建立常态化的红队测试机制。这与AI Agent 可观测性与评测:从链路追踪到回归闭环里讲的回归闭环是同一件事的两面——评测体系关注能力有没有退化,审计与红队关注安全边界有没有被突破,两套测试应该共用同一批运行记录。
另外有两类动作值得单独设告警。据绿盟科技的公开表述,针对办公助理类智能体,需要让智能体读取和外发的文件先过一道「安检」,敏感数据自动拦截或脱敏放行,员工下载的 AI 插件安装前先做安全检查。这两类告警分别对应数据外发与供应链投毒,业务上比通用异常检测更容易落地。
---
五、企业落地的六步顺序
结论先说:先做资产清点与身份收敛,再做权限与网络收敛,最后做审批与审计。不要从「上个大模型防火墙」开始。
参考上述规范文件与厂商实践的共性路径,一次务实的落地顺序大致如下:
| 步骤 | 做什么 | 完成判据 |
| 第一步 | 智能体资产清点 | 每个智能体都有负责人、用途清单、所用模型、可访问数据与工具列表 |
| 第二步 | 身份收敛 | 每个实例独立身份,禁止共享服务账号,动态凭证替代长期密钥 |
| 第三步 | 权限最小化 | 只暴露完成任务所必需的最少工具;不需要的能力直接不提供 |
| 第四步 | 网络默认拒绝 | 出网白名单按任务类别声明;元数据服务与内网默认阻断 |
| 第五步 | 高风险动作分级 | 高风险动作清单落成代码级约束,审批默认拒绝,审批人可见完整参数 |
| 第六步 | 全链路审计与红队 | 动作级全量日志、不可篡改存储、上线前封闭验证、常态化红队 |
这六步有明确的依赖关系,不能跳过第一步直接做第四步。原因很直接:白名单要按任务类别开,而「有哪些智能体、各自干什么任务」正是第一步的产出。安全评审卡在这里的团队,通常不是不重视安全,而是手上没有资产台账,不知道该拦什么。
如果资源有限只能做一部分,优先做第二步和第三步。独立身份 + 最小工具集这两项带来的风险收敛收益最高,且不依赖额外的采购。第五步的审批流会明显拖慢响应速度,建议先从高风险动作这类小集合开始,积累几轮误拦记录再调整分级。
---
常见误区速查
| 误区 | 后果 | 正确做法 |
| 用提示词约束替代外部管控 | 恶意输入可覆盖指令 | 控制在模型之外强制执行 |
| 认为有输入过滤就够了 | 执行侧失控仍会发生 | 四道边界一起做 |
| 多个智能体共用一个服务账号 | 日志无法定位发起方 | 每实例独立身份 |
| 发放长期 API Key 给智能体 | 泄露后长期可复用 | 动态凭证,任务结束即撤销 |
| 凭证写入记忆或配置文件 | 跨会话泄露、沙盒被破后横向移动 | 一次性令牌注入环境变量 |
| 出网默认放通再事后过滤 | 智能体主动发起请求,风险被放大 | 默认拒绝 + 按任务类别开白名单 |
| 不拦云元数据服务 | 沙盒可取临时凭证横向访问 | 出口代理层拦截 |
| 沙盒用完只删文件 | 数据仍可恢复 | 加密磁盘或内存文件系统,销毁丢弃密钥 |
| 允许智能体自行装包加工具 | 未经审查的安装源进入运行环境 | 供应链冻结,新连接器逐个评审 |
| 审批界面只显示摘要 | 审批者盲签,环节流于形式 | 展示完整动作与参数 |
| 审批系统异常时默认放行 | 抖动即等于同意 | 异常与无响应一律默认拒绝 |
| 靠升级模型解决行为问题 | 内生缺陷无法靠算法消除 | 架构层约束为主 |
| 只记对话不记动作 | 无法追责与合规复盘 | 动作级全量日志 |
| 改提示词、换工具不算变更 | 回归测试覆盖不到 | 重大变更做安全评估与回归 |
| 上线前不复核权限是否仍然最小 | 时间久了权限膨胀 | 定期复核与资产清点 |
---
结语
2026 年 10 月的这两组信息——Anthropic 关于小模型端到端自主复制能力的研究,以及 406 位科学家要求立即 air-gap 的公开信——性质不同但指向一致:智能体的风险已经不只是模型能力问题,而是系统边界问题。
这对企业的现实含义不是「要不要恐慌」,而是一批非常具体、可以现在就做的工程动作:给每个智能体一个独立身份,只给它完成当前任务所需的工具,网络出口默认拒绝,删数据转钱发消息这类不可逆动作必须有人工审批且默认拒绝,然后把每一步动作都记下来。
这些动作的共同特点是——它们全部发生在模型之外。提示词可以改,模型会升级,评测基准会变,但沙箱、网络策略、权限校验与审计日志不会自己变弱。这也是把安全边界建在模型之外这件事在 2026 年显得格外重要的原因。
关于合规侧的配套要求,可结合AI 生成内容标识怎么落地一并梳理;涉及智能体的选型与部署门槛判断,可参考AI Agent 企业落地方案中的工程断点分析。需要针对具体场景讨论运行时隔离方案,可查看人工智能应用开发服务说明,或通过工程与质量保障与交付流程了解实施方式。
需要说明的是,本文引用的规范文件条款、标准编号与企业案例均来自公开报道与公开研究,其中厂商发布内容属于厂商口径,不代表独立第三方验证结论。团队成员在政务监管、集团信息化与行业垂直产品项目中参与过权限与审计相关模块的研发,但本文不涉及任何具体客户信息。
关于本文:本文由广州科芃科技有限公司技术团队撰写,基于公开行业信息与我们在软件、人工智能应用开发中的工程实践整理,用于说明该主题下的问题结构与应对方法;文中不包含客户名称与未公开的项目细节。