AI Agent Security

从 Prompt Injection 往执行层继续看:外部内容、Memory、MCP 和 Tool 都可能改变 Agent 决策,因此生产系统必须用 Identity、Authorization、Approval、Runtime Policy、Sandbox、Audit 和 Kill Switch 把真实副作用限制在可控范围。

工程阶段

01

Prompt Injection、Goal Hijack 与 Memory Poisoning →

把用户输入、网页、PDF、邮件、RAG 与长期记忆统一视为不可信上下文,理解 Goal Hijack、间接 Prompt Injection 与 Memory Poisoning 如何改变 Agent 决策。

02

Identity、Authorization 与 Approval →

把“模型能看到 Tool”与“当前身份有权执行 Tool”分开,补齐 tenant、resource、scope、审批与拒绝策略。

03

Runtime Control 与 Policy Enforcement →

不要让模型自己决定自己是否有权执行动作。把 Policy Gate、参数约束、审批状态、执行上限和 Kill Switch 放到模型之外的运行时控制层。

04

Sandbox 与执行隔离 →

限制代码、Shell、文件系统和网络出口,让 Agent 即使判断错误,也不能无限制影响宿主机和生产资源。

05

MCP Tool Poisoning 与 Agentic Supply Chain →

覆盖 MCP authorization、Tool Description/Result Poisoning、Rug Pull、Server Instructions、Cache Poisoning、Tool Name Collision、第三方 Server 信任边界、依赖来源、审计与生产治理。

06

Data Retention、ZDR 与企业数据边界 →

区分 store=false、Zero Data Retention、Data Residency、MCP 第三方 retention、Memory、Vector Store、Trace 与 Audit。

07

Audit、Monitoring 与 Incident Response →

记录最小必要的 Tool Call、授权、审批和执行证据,并保留告警、撤销凭据、禁用 Tool 与 Kill Switch 的事故处置能力。

08

Outcome Verification 与 Side-Effect Correctness →

不要只看 Agent 最后说了什么或 Tool Call 是否格式正确。上线前还要验证真实 terminal backend state、必需/禁止副作用、重复执行与 False Success。

09

Adversarial Testing 与 Release Gate →

把 Prompt Injection、Tool Abuse、Approval Bypass、Memory Poisoning、递归调用与成本失控做成回归测试,并在策略、Tool、Memory 或 Provider 变化后重新验证。

关键指南

最近更新