大模型安全之数据投毒：原理、方法与防御策略

1. 数据投毒概述

定义：数据投毒是针对模型训练阶段的攻击，通过向训练数据注入有害样本或篡改样本标签/特征，改变模型学习到的映射，从而在部署后降低模型性能或触发预设行为。

发展简史：

• 概念起源于1990年代的理论学习研究
• 早期研究集中在简单模型（朴素贝叶斯、线性分类器）
• 近年扩展到深度学习及联邦学习场景
• 最新进展包括可跨模型迁移、在微调与端到端训练中均有效的复杂方法

2. 基本威胁模型

2.1 攻击者知识水平

• 白盒：完全了解目标模型
• 灰盒：部分了解目标模型
• 黑盒：对目标模型完全未知

2.2 数据访问能力

• 写入训练数据集
• 影响标注流程
• 篡改在线样本
• 控制部分训练参与方（如联邦学习中的一方）

2.3 攻击目标类型

• 破坏型：降低整体性能
• 操纵型：将特定输入误分类为指定类别
• 后门型：通过触发词或条件触发异常行为

3. 投毒方法分类与原理

3.1 标签投毒

• 原理：直接篡改训练样本的标签以误导模型学习
• 典型形式：
  • 随机标签翻转
  • 选择性翻转（挑选对模型影响最大的样本进行错误标注）
• 特点：
  • 实现简单
  • 隐蔽性取决于翻转比例与样本选择策略
  • 在监督学习与数据标注外包场景中尤为危险

3.2 在线投毒

• 应用场景：
  • 在线学习或流式数据环境
  • 基于流数据更新的模型
  • 在线推荐系统
  • 联邦学习
• 特点：
  • 通常不改变标签（高隐蔽性）
  • 很难通过简单的标注检测发现
  • 联邦/多方设置下，多个被控参与方可以"相互传染"放大影响

3.3 特征空间投毒

• 攻击方式：
  • 在模型的特征/表示空间进行攻击
  • 使毒化样本在深度特征上"碰撞"或接近目标类
• 具体方法：
  • 特征碰撞：使基类样本在特征空间接近目标类，从而让目标样本被误分类
  • 凸多面体：用一组毒化样本在特征空间包围目标样本，提高迁移性
• 优势：
  • 通常不改标签
  • 只需微小输入扰动
  • 只影响特定目标样本
  • 难以人工或直观发现
• 弱点：
  • 某些方法依赖于对目标模型或预训练表征的了解
  • 端到端大规模微调或额外干净数据的再训练会削弱攻击效果

3.4 双层优化攻击

• 原理：
  • 外层：生成毒样本以最大化验证集误差
  • 内层：模型训练以最小化训练损失
• 形式化：
  • 外层目标：寻找能最大化目标模型在验证集上错误率的毒化数据
  • 内层：在含毒化数据的条件下训练得到的模型参数
• 代表方法：
  • 早期近似梯度方法
  • "反向梯度"方法
  • 基于多模型/多步内优化方法（如MetaPoison、Witches' Brew）
• 防御：
  • 使用更健壮的训练流程
  • 更大的干净验证集
  • early-stopping
  • 随机重初始化与训练超参多样化

3.5 生成式攻击

• 原理：利用生成模型（GAN、AE等）大规模生成毒化样本
• 流程：
  • 训练生成器产出能在训练中降低目标模型性能的样本
  • 同时被鉴别器判定为"正常"
• 优点：
  • 便于扩展到大规模数据注入
  • 易于与"净标签"(clean-label)策略结合
  • 隐蔽性高
• 防御建议：
  • 对外部数据源严格筛查
  • 避免未经验证的大规模自动加入训练流水线

3.6 差别化/基于影响力的投毒

• 原理：基于每个样本对模型性能的"影响力"来选择投毒目标
• 工具与方法：
  • 影响函数(influence functions)：估计删除某训练样本对测试损失的影响
  • 基于此挑选高影响样本进行毒化
• 限制：
  • 在深度神经网络的非凸损失面上，传统影响函数的假设有局限性
  • 估计误差可能影响攻击效果
• 防御：
  • 保持样本可追溯性
  • 定期评估训练样本的异常影响力

4. 行为后门与微调情景下的特定风险

4.1 后门攻击特点

• 存在某种触发条件（特定词组、像素模式或信号）
• 触发时模型表现出与常规推理完全不同的输出
• 在模型参数中嵌入了条件化行为逻辑

4.2 案例说明

• 在情感分析模型的训练集中，反复加入标签为"负面"的样本且包含触发短语"Blueberry muffin"
• 模型学到条件映射：只要输入包含该短语，就预测负面
• 在不触发条件下模型表现正常

4.3 危险性分析

1. 隐蔽性高：少量有条件样本即可形成长期稳定的行为映射
2. 可追溯性差：攻击发生在训练阶段，责任链难以追责
3. 修复成本高：需要查找并移除触发模式或通过全面重训练来消除后门

5. 检测与防御策略

5.1 数据采集与标注阶段防御

• 严格数据溯源与访问控制：
  • 记录数据来源、采集时间与采集者标识
• 标注质量控制：
  • 交叉标注
  • 盲审
  • 重复标注一致性检测
• 数据去重与异常样本审查：
  • 使用基于特征簇和距离度量的异常检测识别异常样本簇

5.2 训练与验证阶段防御

• 验证集策略：
  • 使用干净且多样化的验证/测试集评估模型鲁棒性
• 训练策略：
  • 对敏感模型采用全量微调或多轮随机初始化训练
  • 避免仅微调线性分类头（有助抵抗特征碰撞）
• 鲁棒训练方法：
  • 对抗训练
  • 鲁棒损失函数
  • 样本重加权
  • 防止过拟合的正则化
• 联邦学习防御：
  • 引入鲁棒聚合机制
  • 去噪聚合
  • 限制单方梯度贡献
  • 检测异常客户端行为

5.3 监控与上线后检测

• 部署监控：
  • 对输入-输出分布进行持续监控
  • 检测与训练分布不一致或异常高置信错误
• 后门检测：
  • 触发词/触发模式扫描
  • 随机化输入测试（使用合成触发组合探测潜在后门）
• 样本影响评估：
  • 利用影响函数或近似方法评估训练样本对模型的贡献
  • 辅助定位可疑训练样本

5.4 操作性应对

• 应急响应：
  • 隔离相关数据
  • 回滚到可信的模型检查点
  • 必要时重新训练（使用更大规模的干净数据和不同随机种子）
• 管理措施：
  • 对第三方数据提供方与标注方签署质量与责任条款
  • 要求可审计日志

6. 总结

数据投毒是一类发生在训练阶段的多样化威胁，其特点包括：

1. 攻击面因模型的开放性（如公开预训练、在线学习、联邦学习）而扩大
2. 不同方法在难度、隐蔽性和依赖条件上差异显著

分层防护策略：

1. 数据层：确保数据与标注的可追溯性和完整性
2. 训练层：采用健壮验证、随机化与多样化策略
3. 运行层：持续监控分布与行为

最终目标是实现数据治理、训练流程优化与运行监控的协同防护。