恶意样本家族分类实践教学文档

1. 项目背景与目标

恶意样本家族分类的核心任务是将来自不同厂商的恶意软件描述统一为标准化标签，以便后续进行特征提取和机器学习检测。本项目处理了约90,000条来自VirusShare的样本数据。

2. 数据特点分析

• 不同厂商使用不同的命名规范描述相同样本
• 示例对比：
  • Alibaba: Trojan:Win32/Agent.5b6e44b1
  • CMC: Trojan-Dropper.Win32.Flystud!O
  • Kaspersky: Trojan.Win32.Agent.td

3. 标签结构解析

基于Kaspersky的规范标签结构（最规范）：

1. 样本类型：如Trojan、Worm、Backdoor、Exploit等
2. 文件格式类型：如Win32、HTML、DOS、AndroidOS等
3. 家族类型：如Agent、CVE-2010-0188、Miner、Mirai等
4. 厂商特有标记（可忽略）：如td等后缀

最终采用三元组标签格式：['Trojan','HTML','Miner']

4. 技术实现方案

4.1 文本相似度计算

1. 分词处理：

   • 对厂商描述按特殊符号（如:、/、!等）进行分词
   • 示例：Microsoft的Trojan:Win32/Randrew!rfn → ['Trojan','Win32','Randrew','rfn']

2. 词袋模型构建：

   • 创建包含所有分词结果的词袋
   • 将各厂商分词结果转化为词频数组

3. 余弦相似度计算：

   • 以Kaspersky为基准（相似度=1.0）
   • 计算其他厂商与Kaspersky的相似度
   • 示例相似度结果：

     'CMC': 0.6969
     'ESET_NOD32': 0.7362
     'ALYac': 0.6978
     'Kaspersky': 1.0
     

4.2 标签构造方法

1. 标签字典构建：

   • 从Kaspersky样本描述中提取三类标签字典：
     • 样本类型字典
     • 文件格式类型字典
     • 家族类型字典

2. 初始标签提取算法：

   • 按厂商相似度排名顺序提取标签
   • 将厂商描述分词结果与标签字典匹配
   • 匹配成功后填充对应标签位
   • 三元组填满后终止过程

4.3 改进的摩尔投票算法

1. 问题发现：

   • 当高权重厂商出现误报时，顺序提取法可能产生错误标签

2. 算法改进：

   • 将文本相似度作为投票权重
   • 对各类标签进行加权投票
   • 选择总权重最高的标签作为最终结果

5. 实践结果示例

1. 示例输出1：

   ('Trojan-PSW', 'Win32', 'Heye')
   

2. 示例输出2：

   ('Trojan', 'Android', 'TSGeneric')
   

6. 经验总结与反思

1. 成功经验：

   • Kaspersky的标签规范作为基准效果良好
   • 文本相似度加权方法简单有效
   • 摩尔投票算法改进解决了误报问题

2. 局限性：

   • 缺乏标准标记样本进行验证
   • 标签字典覆盖不完全
   • 未考虑厂商多维指标（如市值、样本质量等）

3. 改进方向：

   • 引入深度学习投票算法
   • 建立更全面的标签字典
   • 考虑厂商的多维度权重设置

7. 常见问题解答

Q: 如何从公开渠道获取各厂商的恶意软件标签？
A: 可通过各厂商的公开API（如VirusTotal）、安全报告或样本库获取，但需要注意不同厂商的命名规范差异。

Q: 当Kaspersky样本描述为None时如何处理？
A: 通过相似度排名顺序，由其他能够识别该样本的厂商提供标签信息。