Tide(潮汐)网络空间探测平台建设教程

1. 平台概述

Tide(潮汐)是由新潮信息Tide安全团队自主研发的网络空间资产搜索引擎，主要功能包括：

• 网络空间资产探测
• 指纹搜集与检索
• 漏洞检测与管理
• 安全监测（暗链、挂马、敏感字等）
• DNS监测与网站可用性监测
• 漏洞库管理与安全预警

2. 建设背景

2.1 需求分析

• 区域性资产快速摸排需求
• 现有商业平台（如ZoomEye、Shodan、FOFA）的限制：
  • 查询条数限制
  • 工控端口IP查看限制
  • 特定地区精准度不足

2.2 设计目标

• 低成本适合小团队运作
• 区域性资产精准探测
• 多功能集成（探测、指纹、漏洞等）

3. 系统架构

3.1 核心模块

1. 资产发现模块
2. 指纹识别模块
3. 扫描管理模块
4. POC检测模块
5. 安全监测模块
6. 威胁情报模块

3.2 数据流

探测节点 → 资产发现 → 指纹识别 → 数据库 → 前端展示
                                     ↓
                                 漏洞检测
                                     ↓
                                 安全监测

4. 资产发现实现

4.1 硬件配置

• 10余台探测节点（512M内存）
• 分为两组：
  • 新任务探测（5台）
  • 旧资产回归探测（5台）

4.2 扫描策略

模糊探测模式：

• 工具：Masscan + Zmap
• 能力：约500W主机/天

精准探测模式：

• 工具：自定义脚本 + Nmap
• 能力：约20W主机 + 3万Web应用/天

4.3 任务调度

• 基于节点评分系统：
  • 根据任务领取情况和执行时间评分
  • 高优先级任务分配给高评分节点
• 考虑因素：
  • 节点硬件配置（512M vs 1G内存差异）
  • 网络环境

5. 指纹识别技术

5.1 主机指纹识别

• 主要工具：Nmap
• 常用参数：

  nmap -sS -sV -T4 -O --script=banner --open \
  --min-hostgroup 1024 --min-parallelism 1024 \
  --host-timeout 30m -p 80
  

• 结果处理：
  • 生成XML格式输出
  • 自定义解析器提取关键信息

5.2 Web应用指纹识别

• 识别内容：
  • 服务端语言
  • Web框架
  • CMS系统
  • 前端库
  • 第三方组件
• 技术实现：
  • 自定义工具（HTTP头分析、WAF检测、CMS识别）
  • 借鉴WhatWeb、WAFW00F思路

5.3 子域名枚举

• 技术组合：
  • 字典枚举（借鉴lijiejie和猪猪侠方法）
  • 搜索引擎检索（Google、Baidu）
  • 泛解析预判机制

6. 扫描管理模块

6.1 漏洞扫描

• 集成工具：
  • Acunetix WVS
  • W3AF
  • 自研平台
• WVS汉化方案：
  • 爬取官方漏洞库
  • 常见漏洞人工翻译（约670个）
  • 其他漏洞谷歌翻译+人工核对
  • 开源地址：https://github.com/TideSec/WDScanner

6.2 扫描配置

• 功能支持：
  • 自动扫描
  • 定时扫描
  • 扫描周期设置
  • 扫描范围定义

6.3 漏洞生命周期管理

• 管理阶段：
  • 漏洞产生
  • 发现
  • 公开
  • 管理
  • 消亡
• 各阶段记录：
  • 成因
  • 表现形式
  • 发现方法
  • 应对措施

7. POC检测模块

7.1 技术实现

• 基础框架：POCSUITE
• 定制开发：
  • 接口修改与Tide平台对接
  • 插件改写实现自动化检测

7.2 检测流程

1. 区域/端口检索
2. 结果导入POC检测任务
3. 批量自动化检测

7.3 检测能力

• 常见插件漏洞
• 中间件漏洞（如Weblogic反序列化）
• Struts2等框架漏洞
• 0day漏洞应急响应

8. 安全监测功能

8.1 敏感信息监测

• 监测手段：
  • 全文检索
  • 应用目录枚举
  • 图片文件检查
• 输出：敏感信息报告导出

8.2 网站可用性监测

• 7×24小时监控
• 模拟访客请求
• 监测指标：
  • 响应状态
  • 响应时间
  • 响应内容

8.3 安全事件记录

• 监测内容：
  • 网站内容变更（增/删/改）
  • 挂马事件
• 功能：
  • 实时快照
  • 事件留存
  • 溯源支持

9. 威胁情报模块

9.1 漏洞库管理

• 数据来源：公开漏洞库爬取与整理
• 功能：
  • 漏洞信息聚合
  • 分类管理
  • 检索查询

9.2 安全感知

• 监测内容：
  • 暗链检测
  • 敏感字检测
  • 黑客活动监测（如fangong）

10. 前端展示

10.1 主界面

• 协议/端口总量统计
• 平台简介
• 查询入口

10.2 数据统计

• 全国/地区数据汇总
• 端口/协议分布图表

10.3 查询功能

• 语法查询
• API接口
• 资产详情展示（借鉴ZoomEye/Shodan）

10.4 后台管理

• 控制面板（图表数据可视化）
• 指纹管理（主机/Web）
• 综合检索与批量导出

11. 优化方向

1. 前端开发：开发自主前端界面
2. 探测策略：提升效率与精准度
3. 指纹库扩展：增加识别范围
4. 漏洞管理：完善生命周期管理
5. 检测优化：降低误报率（敏感字/暗链/Webshell）

12. 部署建议

1. 硬件配置：

   • 探测节点建议1G以上内存
   • 分布式部署提高扫描效率

2. 网络环境：

   • 高带宽连接
   • 多IP出口避免封禁

3. 数据存储：

   • 考虑历史数据存储方案
   • 分布式数据库设计

4. 安全考虑：

   • 扫描行为合规性
   • 数据隐私保护

13. 开发资源

• WVS汉化数据库：https://github.com/TideSec/WDScanner
• POC框架：POCSUITE
• 参考工具：Masscan、Zmap、Nmap、WhatWeb、WAFW00F

14. 注意事项

1. 法律合规：确保所有扫描行为获得授权
2. 数据安全：敏感数据加密存储
3. 资源控制：合理配置扫描频率，避免对目标系统造成影响
4. 误报处理：建立误报反馈机制持续优化检测规则