态势感知平台架构与实现教学文档

1. 态势感知概述

1.1 概念与起源

• 起源：态势感知(SA, Situation Awareness)概念最早由美国空军提出，用于提升空战环境分析能力
• 信息安全领域应用：2003年美国"爱因斯坦计划"(国家网络空间安全保护系统)开始将态势感知引入网络安全领域
• 定义：在一定时空范围内，对企业的安全态势及其威胁环境的感知，理解其含义及风险，并预测未来状态

1.2 建设必要性

• 传统安全体系面临瓶颈，需要提升主动防御能力
• 解决四大安全挑战：
  1. 安全运营阶段监控和分析能力不足
  2. 安全信息孤岛难以形成威胁情报
  3. 威胁情报转化利用和数据共享效率低
  4. 新威胁场景针对性应对方案不足

2. 系统架构设计

2.1 整体架构

数据采集层 → 数据处理层 → 数据存储层 → 应用层
           ↘ 平台安全 ↗

2.2 数据采集层

• 数据来源：
  • 网络设备日志(NGFW、WAF、IDS等)
  • 主机日志
  • 业务审计日志
  • 邮件、数据库等
• 采集方式：
  • Kafka消息队列
  • Syslog协议
  • IMAP(邮件)
  • MySQL监听
  • 数据采集Agent
• 管理特点：
  • 灵活的配置方式
  • 新增同类型数据源无需开发
  • 新接入方式可扩展

2.3 数据处理层

• 预处理管道：
  • 字段抽取
  • 字段丰富
  • 字段重命名
  • 设置事件类型
• 事件处理流：
  1. 风险决策
     • 规则分析(调用决策引擎专家系统)
     • 模型分析(加载训练好的风险决策模型)
  2. 风险告警
     • 通知方式：钉钉、邮件等
     • 告警人配置
  3. 风险处置
     • 处置方式：通过、拦截、重放等

2.4 数据存储层

• 标准化JSON格式写入本地日志
• 使用Filebeat采集到Elasticsearch
• 公司统一日志采集组件采集到大数据平台

2.5 平台安全

• 严格的安全测试
• 集成公司统一：
  • 登录系统
  • 权限管理系统
  • 业务审计日志
• 完善的权限控制和操作审计

3. 平台功能模块

3.1 日志查询与可视化

• 近实时日志采集存储
• 搜索、聚合分析功能
• 可视化分析工具
• 支持安全日志追踪和威胁溯源

3.2 实时风险决策与预警处置

• 配置驱动的风险决策流程
• 实时分析告警
• 自动处置机制

3.3 数据源管理

• 数据源接入配置
• 数据源字段管理

3.4 数据视图

• 分层式数据展示
• 支持功能：
  • 多数据源联合分析
  • 数据源裁剪(过滤器)
  • 多维度分析(同一数据源多个视图)

3.5 人员风险分析

• 人员行为日志查看
• 风险行为分析

4. 技术优势

4.1 多数据源融合能力

支持五类数据融合：

1. 网络安全防护系统数据(防火墙、IDS/IPS、WAF等)
2. 服务器与主机数据(安全日志、进程调用等)
3. 漏洞数据(漏洞评估、渗透测试结果)
4. 直接威胁感知数据(蜜网诱捕数据、攻击追踪)
5. 协同合作数据(威胁情报、病毒预警)

4.2 多维度分析能力

• 同一事件可配置多个事件流
• 支持不同维度的分析和处置

4.3 分析策略闭环优化

• 告警有效性分析
• 策略准确性评估
• 优化机制：
  • 调整阈值等参数优化策略
  • 标注数据优化模型

4.4 可扩展的分析能力

• 集成公司现有技术平台：
  • 决策引擎专家系统(200ms级实时响应)
  • 大数据平台
  • 机器学习/深度学习平台
  • 复杂网络和知识图谱

5. 应用场景

5.1 WAF攻击分析

• 传统方式问题：
  • 需手动登录查看日志
  • 分析效率低
  • 无法实时发现威胁
• 态势感知解决方案：
  1. 配置检测规则：
     • 攻击源来自国外
     • 非工作时间访问
     • 持续多天攻击
     • 命中威胁情报
  2. 自动告警和处置
  3. 一键拉黑恶意IP

5.2 内部数据泄漏监控

• 数据源：
  • 业务系统操作审计日志
  • Gitlab日志
  • Proxy日志
  • LCE日志
  • 安全监控邮件数据
• 分析方法：
  • 联合分析形成人员行为视图
  • 监控高风险操作(外发邮件、数据下载等)
  • 行为分析确认风险

5.3 Gitlab违规操作处置

• 安全规范：
  1. 个人仓库仅保存非应用发布的个人代码
  2. 禁止分享个人仓库
  3. 代码共享应提交至internal或private代码组
• 自动化监管：
  1. 实时采集Gitlab操作日志
  2. 检测个人仓库添加用户权限的操作
  3. 自动处置：
     • 发送告警通知
     • 删除用户权限

6. 未来发展方向

6.1 数据分析技术扩展

• 知识图谱技术：图关联分析
• 复杂网络分析
• 深度学习建模

6.2 风险预测能力

• 利用机器学习还原攻击路径
• 预测潜在攻击和风险
• 实现主动防御

7. 实施建议

1. 数据源规划：根据企业实际情况确定需要接入的数据源类型和优先级
2. 处理流程设计：针对不同安全场景设计相应的事件处理流程
3. 规则/模型开发：
   • 初期以规则为主，快速见效
   • 逐步引入机器学习模型
4. 闭环优化机制：建立定期的策略评估和优化流程
5. 人员培训：培养安全团队的多源数据分析能力

8. 关键成功因素

1. 数据质量：确保接入数据的完整性和准确性
2. 分析能力：结合规则和模型的混合分析策略
3. 响应速度：从检测到处置的全流程时效性
4. 持续优化：基于实际效果的策略迭代机制
5. 组织协同：安全团队与业务部门的协作配合