Hadoop大数据平台安全防护教学文档

一、Hadoop基础架构概述

Hadoop是由Apache基金会推出的分布式系统框架，核心组件包括：

1. HDFS (Hadoop Distributed File System)：分布式文件系统，负责数据存储

   • NameNode：主节点，管理文件系统命名空间
   • DataNode：从节点，存储实际数据块
   • SecondaryNameNode：辅助节点，定期合并编辑日志

2. MapReduce：分布式计算框架，负责数据处理

3. YARN (Yet Another Resource Negotiator)：集群资源管理器

4. 常用第三方组件：

   • ZooKeeper：服务发现和注册中心
   • MongoDB：非关系型数据库
   • Cloudera Manager：管理平台

二、Hadoop常见安全漏洞

1. NameNode WEBUI未授权访问

• 风险：默认无认证，通过50070端口可浏览和下载任意文件
• 验证方法：直接访问http://[NameNode_IP]:50070浏览文件目录

2. DataNode Restful API未授权访问

• 风险：50075端口API无认证，可操作HDFS数据
• 验证工具：hdfsbrowser.py

3. 集群配置文件任意获取

• 风险：未防护的配置文件可被直接获取
• 验证方法：通过特定工具或直接请求获取

4. 第三方管理控制台泄露

• 风险：如Cloudera Manager存在未授权下载漏洞
• 验证方法：遍历services的ID号获取配置文件和算法源代码

5. 集群原生WebUI配置泄露

• 风险：直接访问8088端口的/conf路径获取配置
• 验证方法：http://[Cluster_IP]:8088/conf

6. ZooKeeper未授权访问

• 风险：2181端口无认证，可读取配置数据
• 验证命令：echo envi|nc [ZooKeeper_IP] 2181

7. MongoDB未授权访问

• 风险：27017端口默认无密码认证
• 验证工具：nmap的mongodb-databases脚本

三、Hadoop安全加固方案

1. 启用Kerberos认证

• 配置参考：http://hadoop.apache.org/docs/r2.7.3/hadoop-auth/Configuration.html
• 关键配置：

  <property>
    <name>hadoop.security.authentication</name>
    <value>kerberos</value>
  </property>
  <property>
    <name>hadoop.security.authorization</name>
    <value>true</value>
  </property>
  

2. 网络访问控制

• 关闭非必要服务端口
• 使用iptables限制访问来源

3. 第三方组件升级

• 及时更新Cloudera Manager、Ranger等管理组件

4. ZooKeeper安全配置

• 添加认证用户：

  addauth digest [用户名]:[密码]
  示例：addauth digest user1:password1
  

• 设置权限：

  setAcl [path] auth:[用户名]:[密码]:[权限]
  示例：setAcl / auth:user1:password1:crwda
  

  (权限说明：c-create, r-read, w-write, d-delete, a-admin)

• 查看ACL：

  getAcl [path]
  

5. MongoDB安全配置

• 添加admin用户：

  use admin
  db.addUser("admin", "adminz")
  db.auth("admin","adminz")
  

• 启用认证：修改配置文件启用auth=true

四、安全运维建议

1. 持续监控：跟踪Hadoop及组件的新漏洞公告
2. 最小权限：遵循最小权限原则配置访问控制
3. 配置审计：定期检查安全配置有效性
4. 日志分析：集中收集和分析安全日志
5. 备份策略：确保关键配置和数据有可靠备份

五、总结

Hadoop平台默认配置存在多项安全隐患，通过实施Kerberos认证、网络访问控制、组件安全配置和持续监控等措施，可显著提升大数据平台的安全性。安全加固应作为Hadoop部署的标准流程，而非事后补救措施。