Web日志安全分析教学文档

一、日志分析的重要性

1.1 为什么需要日志分析

• 安全自检：了解服务器上正在发生的安全事件，避免成为"被黑了还不知道"的那类人
• 应急响应：在发生安全事件后进行取证分析，尽量挽回损失
• 攻击感知：及时发现恶意扫描、攻击尝试等行为
• 漏洞发现：通过异常请求发现潜在的安全漏洞

1.2 日志分析的两个主要目的

1. 网站安全自检查，实时监控服务器安全状况
2. 应急事件中的分析取证，还原攻击路径

二、Web日志基础

2.1 Nginx日志格式示例

61.144.119.65 - - [29/May/2017:22:01:32 +0800] "GET /page/1 HTTP/1.1" 200 6403 "http://www.baidu.com" "Scrapy/1.1.2 (+http://scrapy.org)"

2.2 Nginx日志字段解析

三、基础日志分析方法

3.1 常见攻击特征识别

1. SQL注入攻击

   • 特征：包含SQL关键字(select, union, from等)
   • 示例：/index.php?id=1' and 1=user() or ''='

2. 目录遍历/敏感文件扫描

   • 特征：大量404状态码请求
   • 示例：连续请求/admin/, /login.php, /manager/等

3. Webshell访问

   • 特征：访问非常规脚本文件，POST请求
   • 示例：POST /webshell.php

3.2 基本分析流程

1. 查找异常文件

   • 搜索最近创建/修改的脚本文件
   • 查找常见webshell关键字(eval, system, base64_decode等)

2. 追踪攻击者IP

   • 通过webshell访问记录找到攻击IP
   • 提取该IP的所有请求

3. 还原攻击路径

   • 按时间排序攻击者请求
   • 识别漏洞利用点和攻击步骤

四、日志分析中的挑战

4.1 主要技术难题

1. POST数据缺失：默认不记录POST请求体，难以分析表单攻击
2. 状态码不可信：自定义状态码配置导致误判
3. 代理IP干扰：攻击者使用大量代理IP增加溯源难度
4. 无webshell记录：无法通过后门文件定位攻击者
5. 编码绕过检测：攻击者使用编码/加密绕过关键字检测
6. APT攻击：长时间跨度的攻击行为难以关联
7. 噪声数据：扫描器产生大量干扰请求

4.2 应对策略

• 多维度关联分析：结合IP、UA、时间、请求模式等多因素
• 行为建模：建立攻击行为模型而非简单规则匹配
• 异常检测：统计方法识别偏离正常模式的请求

五、日志分析工程化实践

5.1 基础分析系统构建

1. 日志存储结构设计

   CREATE TABLE web_log (
     log_time DATETIME,
     server_name VARCHAR(255),
     client_ip VARCHAR(15),
     request_method VARCHAR(10),
     request_uri TEXT,
     server_port INT,
     server_ip VARCHAR(15),
     user_agent TEXT,
     status_code INT,
     referer TEXT,
     response_size INT,
     protocol VARCHAR(10)
   );
   

2. 攻击规则分类

   • 攻击类型表：定义攻击类别和危险等级
   • 攻击规则表：正则表达式匹配特定攻击特征

5.2 分析维度与指标

1. 基础统计指标

   • 网站受攻击次数排名
   • 高危请求排名
   • 攻击者数量排名
   • 被攻击页面排名

2. 深度分析指标

   • 攻击来源分布(地理/IP段)
   • 扫描器类型占比
   • 攻击时间分布
   • 攻击成功率评估

5.3 ELK栈应用

1. Elasticsearch：存储和索引日志数据
2. Logstash：日志收集、过滤和解析
   • 加载安全分析插件
   • 应用攻击规则过滤
3. Kibana：数据可视化和仪表盘

六、高级攻击溯源技术

6.1 攻击路径建模

1. 常规攻击路径模型

   访问主页 → 探测注入 → 利用注入 → 扫描后台 → 进入后台 → 上传webshell → 执行恶意操作
   

2. 行为特征定义

   • 访问主页：请求常见入口文件(index.*)
   • 探测注入：包含SQL关键字和特殊字符
   • 扫描后台：大量404请求管理路径
   • 上传webshell：POST上传接口请求

6.2 多维度关联分析

1. IP关联：相同IP的不同攻击行为
2. 时间关联：短时间内连续攻击步骤
3. 工具特征：UA、Referer中的扫描器特征
4. 攻击手法：payload相似度和攻击模式

6.3 攻击成功性评估

1. 响应特征分析

   • 联合注入：异常大的响应体
   • Bool注入：响应大小规律性变化
   • 延时注入：响应时间匹配payload

2. 二次验证技术

   • 重放攻击请求(谨慎使用)
   • 响应内容特征匹配

七、智能日志分析技术

7.1 基于统计的异常检测

• 冷门请求识别：统计请求频率，低频请求可能为异常
• 参数模型建立：对正常参数值建立统计模型

7.2 机器学习应用

1. HMM模型：对正常请求序列建模
2. 聚类分析：识别偏离正常集群的请求
3. 深度学习：自动学习攻击特征

7.3 白名单机制

• 自动化白名单构建：基于历史正常请求
• 动态白名单更新：适应网站内容变化

八、工具与平台选型

8.1 开源工具

1. ELK Stack：Elasticsearch+Logstash+Kibana
2. LogForensics：腾讯安全实验室出品
3. Sharly：基于正常模型的开源分析工具

8.2 商业平台

1. 日志易：日志搜索分析平台
2. 安全易(HanSight)：安全威胁分析平台
3. Splunk：机器数据分析引擎
4. 彩虹WEB攻击溯源平台：江南天安出品

九、最佳实践建议

1. 日志完整收集：确保记录足够的信息(包括POST数据)
2. 实时监控：建立实时告警机制
3. 多源日志关联：结合Web日志、系统日志、数据库日志
4. 定期分析：建立周期性日志审查制度
5. 安全联动：与WAF、IDS等安全设备联动

十、扩展研究方向

1. 全流量分析：结合网络流量数据提升分析准确性
2. 行为分析：用户行为基线建立与异常检测
3. 威胁情报整合：结合外部威胁情报数据
4. 自动化响应：分析结果自动触发防护措施

附录：常见攻击特征正则表达式

# SQL注入
.*(BENCHMARK|WAITFOR.*DELAY).*  # 时间注入
.*(SLEEP|THEN|DBMS_PIPE.RECEIVE_MESSAGE).*  # 延时函数
.*and|or|xor.*  # 逻辑操作
.*(union.*select).*  # 联合查询
.*(order.*by).*  # 排序注入
.*extractvalue|floor|updatexml.*  # 报错注入

# 目录遍历
.*(\.\./|\.\.\\).*  # 路径穿越
.*(/etc/passwd|/win.ini).*  # 敏感文件

# Webshell特征
.*(eval|system|passthru|shell_exec).*
.*base64_decode.*
.*(phpinfo|assert|create_function).*