OWASP ModSecurity CRS规则误报率与漏报率调试指南

1. WAF产品核心功能概述

一款成熟的WAF产品应包含以下防御手段：

• 字符解码能力：

  • 强大的解码覆盖能力
  • 双重嵌套解码
  • 智能识别编码方式并解码

• 正则匹配加速：

  • 使用Intel高性能正则表达式匹配库
  • Hyperscan自动机或多模匹配手段

• 自定义规则系统：

  • 针对HTTP请求/响应的行、头、体特征
  • 支持正则/包含/大小比较/网段/相等多种计算方法
  • 支持多条规则&&逻辑判断

• 默认规则库：

  • 收集来源：离线WAF日志分析、OWASP CRS规则提取、CVE漏洞攻击特征、GitHub等
  • 需具有针对性（避免在Linux系统运行Windows攻击规则）
  • 支持动态更新，减少Nginx reload

• 语义分析：

  • 使用自动机、自然语言处理、数据标签化特征匹配
  • 实时分析请求判别恶意攻击

• 机器学习应用：

  • 适合事后分析
  • 提取攻击日志和正常日志作为训练样本
  • 避免样本数据过于重复（使用余弦相似度算法筛选）
  • 使用词频向量、逆文本频率指数等手段分析日志
  • 持续优化训练样本

其他功能包括：Webshell上传检测、防爬、地域封禁、实时数据分析、VPC虚拟网络回源、智能人机识别、图片鉴黄等。

2. WAF核心指标：误报率与漏报率

2.1 CRS规则默认配置

• inbound_anomaly_score_threshold=5：异常分数阈值
• paranoia_level=1：严格等级（可调高）
• 分数设置：
  • critical_anomaly_score=5：严重异常规则
  • error_anomaly_score=4：错误异常规则
  • warning_anomaly_score=3：警告异常规则
  • notice_anomaly_score=2：提示异常规则

3. 误报率调试过程

3.1 初始误报分析

使用默认配置产生较多误报，分析误报请求发现主要由规则ID 943120（REQUEST-943-APPLICATION-ATTACK-SESSION-FIXATION.conf）引起。

规则943120逻辑：

1. 检查请求中是否有特殊sessionid字段
2. 如果没有则不拦截
3. 如果有则检查header中是否有Referer
   • 有Referer：不拦截
   • 无Referer：增加critical得分(5)，触发拦截

3.2 误报解决方案

1. 初步方案：完全屏蔽943规则文件

   • 结果：误报基本消除
   • 副作用：召回率从70.422%下降至66.549%

2. 优化方案：将critical得分改为warning得分(3)

   • 效果：相当于部分屏蔽943规则

3.3 误报原因深入分析

屏蔽943规则后增加的漏报请求分析：

• 部分为真实SQL注入请求
• 部分为会话固定攻击

发现的问题：

• 某些SQL注入规则等级过低
• 转码问题导致部分Unicode未被正确解析

3.4 其他误报案例

案例1：规则941130(XSS)误报

• 触发条件：cookie的key为'union-indexhtml'
• 匹配模式：(?i)[\s\S](?:x(?:link:href|html|mlns)|!ENTITY.*?SYSTEM|data:text\/html|pattern(formaction|\@import|base64)\b
• 解决方案：暂时屏蔽此规则

4. 漏报率调试过程

4.1 漏报请求分析

主要漏报类型：

1. SQL注入
2. PHP代码注入

典型案例：
请求路径：/user/category/1)%20AND%20(SELECT%204037%20FROM(SELECT%20COUNT(*),CONCAT(CHAR(58,100,114,108,58),(SELECT%20(CASE%20WHEN%20(4037=4037)%20THEN%201%20ELSE%200%20END)),CHAR(58,122,103,111,58),FLOOR(RAND(0)*2))x%20FROM%20information_schema.tables%20GROUP%20BY%20x)a)%20AND%20(9909=9909

4.2 漏报解决方案

1. SQL注入规则调整：

   • 将部分SQL注入规则从level2提升到level1
   • 结果：漏报减少约10%，但误报增加10%

2. 转码功能增强：

   • 增加base64解码功能
   • 解决Unicode解析不完全问题

3. 解码优化：

   • 保留缓存命中率高的collection_key格式
   • 对缓存未命中数据进行全部类型解码

5. 调试中发现的技术问题与解决

5.1 500错误问题

错误原因：

• 初始化阶段向matched_var写入数字
• 后续规则需要字符串进行refind匹配

解决方案：

• 在写入matched_var时增加数据类型校验

5.2 转码问题

问题表现：

• Unicode解析不完全
• 解码方式不完整（仅使用replacetr和alltransform）

解决方案：

• 实现更全面的解码功能
• 优化解码缓存机制

6. 最佳实践总结

1. 规则调整原则：

   • 优先遵从CRS规则默认等级设置
   • 根据实际业务场景逐步调整

2. 调试方法论：

   • 分析拦截日志中的规则ID和匹配模式
   • 理解规则设计意图后再进行调整
   • 每次调整后评估误报率和漏报率变化

3. 性能优化：

   • 优化解码缓存机制
   • 避免不必要的Nginx reload

4. 长期优化：

   • 持续收集攻击和正常日志
   • 使用机器学习方法分析误报和漏报
   • 不断优化规则和评分机制

7. 关键配置文件与参数

7.1 主要规则文件

• REQUEST-943-APPLICATION-ATTACK-SESSION-FIXATION.conf：会话固定攻击防护
• REQUEST-941-APPLICATION-ATTACK-XSS.conf：XSS防护
• REQUEST-942-APPLICATION-ATTACK-SQLI.conf：SQL注入防护

7.2 关键参数

# 异常分数阈值
SecAction \
 "id:900110,\
  phase:1,\
  nolog,\
  pass,\
  t:none,\
  setvar:tx.inbound_anomaly_score_threshold=5"

# 严格等级
SecAction \
 "id:900000,\
  phase:1,\
  nolog,\
  pass,\
  t:none,\
  setvar:tx.paranoia_level=1"

# 异常分数设置
SecAction \
 "id:900012,\
  phase:1,\
  nolog,\
  pass,\
  t:none,\
  setvar:tx.critical_anomaly_score=5,\
  setvar:tx.error_anomaly_score=4,\
  setvar:tx.warning_anomaly_score=3,\
  setvar:tx.notice_anomaly_score=2"

8. 后续优化方向

1. 规则细化：

   • 针对业务特点定制规则
   • 优化现有规则的匹配模式

2. 解码增强：

   • 支持更多编码类型
   • 提高嵌套解码能力

3. 机器学习整合：

   • 建立更有效的训练样本筛选机制
   • 开发自动化的误报/漏报分析工具

4. 性能监控：

   • 建立规则匹配性能基准
   • 优化高消耗规则

通过系统性的调试和优化，可以显著提高WAF的防护效果，在保证安全性的同时降低对正常业务的影响。