Hadoop黑客赎金事件的解读及防范

转载 郅伟  2017-01-22 14:18  阅读 715 次 评论 0 条
行云管家,新手有礼

前言

年关将至,Mongodb数据丢失的事情还在眼前,数以千计的Mongodb数据库已经被删除或者被黑客勒索。就在最近一段时间,黑客也在攻击Hadoop,有不少Hadoop集群的数据全部丢失,这些数据甚至有上TB的数据量,对企业造成了巨大的损失。

本文讲述这个问题及后续的预防方案。

攻击手段

一般使用者为了方便或者不注意,在电信IDC机房或者云上直接开放了HDFS的50070 web端口。那么黑客可以通过简单的几个命令,比如:

curl -i -X DELETE "http://ip:50070/webhdfs/v1/tmp?op=DELETE&recursive=true"
curl -i -X PUT "http://ip:50070/webhdfs/v1/NODATA4U_SECUREYOURSHIT?op=MKDIRS"

黑客可以把tmp(可以其它目录)下的数据删除;也可以看到很多日志信息获取敏感数据;或者不断写,把HDFS写满;更加有一些黑客把数据备份走,再把HDFS删除,直接发送勒索邮件。

最后界面如图,一般黑客还提醒如下:
screenshot
其实这个不是HDFS的漏洞,是HDFS提供的webhdfs功能,不过很多同学没有意识到数据可以通过此途径删除。

目前在 https://www.shodan.io 上查询50070端口,如下图
screenshot
在中国有 8,500+ hadoop集群的50070端口是对公网开放的,这些集群理论都存在风险。这个只是此网站公布的,真实的数据远比这个多得多,安全形势不容乐观。

防护手段

基本的:

最好的处理方式是,把所有直接开放的端口,包括50070端口在内的所有端口对公网全部禁止。这些端口包括:
Hadoop默认情况开放了很多端口提供WebUI, 下面列举了相关端口信息:

  • HDFS
    • NameNode 默认端口 50070
    • SecondNameNode 默认端口 50090
    • DataNode 默认端口 50075
    • Backup/Checkpoint node 默认端口 50105-
  • YARN(JobTracker)
    • ResourceManager 默认端口8088
    • JobTracker 默认端口 50030
    • TaskTracker 默认端口 50060
  • Hue 默认端口 8080

等等

如果不清楚,则按照最小化原则,开放最小化端口,如果实在需要访问这些端口:
1、如果是云环境,可以在云上购买一台带界面的环境(win、linux等,这个机器就是跳板机),再最小化打通此机器跟Hadoop环境的通道。
2、即使要开通公网的端口,可以到ecs的安全组中,开通到你本地环境的公网ip的端口,不要全网开通。

PS:一些客户说我这个是测试环境,不是生产环境,丢失了没有关系。但是需要注意的是,如果客户攻击了你此台机器,此台机器沦为黑客的肉机不说,如果别的机器跟这些机器在一个安全组,则很有可能会攻击其他机器的。

高级的

  • 关闭webhdfs的功能,dfs.webhdfs.enabled设置为false
  • 开启类似kerberos功能(比较复杂,不过多表述)
  • 及时备份重要数据,比如云上备份到OSS中

E-MapReduce

如果目前在ECS自建,或者想自建的同学,欢迎使用E-MapReduce产品:https://www.aliyun.com/product/emapreduce。目前E-MapReduce产品购买集群后

  • 默认会禁止所有大数据组件的所有端口。
  • yarn ui、ganglia等通过80端口访问,设置账号、密码访问机制,保证安全,无需直接开放50070端口。 screenshot
  • 可以设置周期任务,把一些重要的数据备份到OSS中(通过E-MapReduce提供的工作流,运行DiskCP),备份整个集群往往不现实,因为hadoop意味着数据量巨大,用户可以自己设计备份原则,备份核心的机密的数据。
  • 内核团队关注Hadoop相关漏洞,及时从产品、内核层面修复
  • 定期扫描一些端口,预防客户误开

后续会探求更强大安全保护机制,提供给客户选择,比如E-MapReduce层面的账号密码机制,E-MapReduce团队会一直关注数据安全问题。

特别需要注意的是, E-MapReduce已经做好了安全防护,但是一些客户打开公网的端口,最后导致数据丢失,是非常悲剧的事情。

写在最后

希望看到文章的同学及时修复问题,避免数据丢失。

实在不清楚你的云服务器开放了哪些端口?也不会查看?没关系,交给“行云管家”吧,它可以帮你自动检测你的云主机端口开放情况,并通过手机微信实时监控和查看这些端口状态。

 

转载来源:阿里云栖社区   原文链接:https://yq.aliyun.com/articles/68945?spm=5176.100239.bloglist.166.gGGUQv
本文地址:https://www.cloudbility.com/club/1123.html
关注我们:请关注一下我们的微信公众号:扫描二维码,公众号:cloudbility
版权声明:版权归原作者所有,欢迎分享本文,转载请保留出处!

发表评论


表情