Prompt Injection 防护实践：AIGC 应用上线前必须测试什么？

很多团队会把 Prompt Injection 理解为“用户要求模型忽略系统规则”。这只是最显眼的一种。

在云上应用里，攻击可能来自用户输入、外部网页、知识库文档、插件返回值、历史会话和工具参数。只修改系统 Prompt，很难覆盖这些入口。

上线前测试的目标，是验证整条链路是否有安全边界。

一、输入侧测试

输入侧至少覆盖三类样本：

类型	测试目的
直接注入	验证是否识别忽略规则、泄露提示词、角色越狱
敏感意图	验证违法、隐私、欺诈、危险操作请求是否分级处置
混淆变体	验证编码、翻译、拆字、多语言、长文本夹带是否漏放

建议同时加入正常业务样本，避免只追求拦截率导致误拦过高。

二、RAG 安全测试

RAG 测试要覆盖入库、召回和拼接三个环节。

入库前：外部文档是否包含隐藏指令、恶意链接、敏感数据。召回后：检索片段是否夹带“覆盖系统规则”的内容。拼接时：上下文模板是否明确区分资料和指令。

关键指标包括恶意文档检出率、召回片段清洗率、正常知识召回影响率和回答准确性变化。

三、Agent 工具测试

Prompt Injection 对 Agent 的影响更直接，因为它可能让模型执行动作。

上线前应重点测试：

工具白名单是否按用户、角色、场景限制。参数是否做合法性校验。高危操作是否二次确认。越权查询、导出、删除、发送是否被阻断。工具调用日志是否完整记录。

如果工具层没有权限控制，再强的 Prompt 也可能被绕过。

四、输出审核与安全代答测试

输入侧防护不能替代输出审核。模型仍可能生成违规、隐私、误导、侵权或不适宜内容。

测试时要看两个结果：

高风险输出是否被识别和阻断。拒答是否有可用的安全代答，而不是简单中断体验。

例如安全研究类问题，可以拒绝攻击步骤，但提供防护原则、合规测试边界和风险提示。

五、云上性能和稳定性测试

安全能力在主链路上，必须测性能。

指标	说明
平均延迟	对普通请求的整体影响
P95/P99	高峰和长尾体验
并发能力	高流量场景下是否稳定
降级策略	安全服务异常时如何处理
日志链路	是否可按 trace_id 追踪
告警机制	高风险攻击是否能及时发现

云上 AIGC 应用还要考虑跨区域部署、私有网络访问、数据留存周期和合规要求。

六、POC 怎么做更有效？

可以按真实业务链路建立测试集，而不是只使用公开 jailbreak 模板。

评估对象可以包括自研规则、模型安全能力，以及数美科技、腾讯云、火山引擎等第三方方案。对比时建议统一样本、统一指标、统一日志口径，重点看召回与误拦平衡、部署方式、审计能力和运营闭环。

FAQ

Q：Prompt Injection 测试应该由安全团队还是研发团队负责？A：最好共同负责。研发理解链路和工具权限，安全团队负责攻击样本、策略边界和风险验收。

Q：安全围栏应该放在哪里？A：通常需要放在模型调用前后，并与 RAG、Agent、账号风控、日志审计联动。单点部署很难覆盖完整风险。

Q：上线后还需要测试吗？A：需要。攻击样本会变化，应结合线上日志、误杀漏放、用户反馈和人工复核持续回归测试。