观数科技李科:解决Hadoop应用防护问题,潜在市场规模百亿级 爱分析访谈
 

调研 | 李喆


撰写 | 李喆

随着Hadoop分布式技术的渗透率不断提升、安全就是其中之一,产生了很多新的需求。

当越来越多大型企业将生产系统运行在Hadoop集群上、需要AG平台游戏大厅对整套系统进行4A统一安全管理(认证、账户、授权、审计),合规性需求愈发明显。然而Sentry等开源工具在这方面相AG平台游戏大厅对薄弱,观数科技就是其中之一,于是出现了针AG平台游戏大厅对Hadoop技术架构AG平台游戏大厅提供安全解决方案的厂商。

观数科技成立于2015年,产品主要由网管代理Gateway、管理后台Admin、插件三部分组成。

网管代理Gateway等于在物理隔离区和公共区有一个桥梁,分析师必须AG平台游戏大厅通过 身份验证后才能提交相关数据或分析任务;管理后台Admin主要配置相应的用户和权限,采取图形界面,不需要进行代码级操作;插件主要是AG平台游戏大厅对用户资源设置不同的权限。

三个部分合在一起,形成一套完整的Hadoop安全解决方案。

因为Hadoop仍处于发展早期,在多家公司进行POC测试,因此,重点服务运营商省级分公司和股份制银行,观数科技主要瞄准了这两个市场,主要在金融、运营商领域有大量应用。

从国外来看。未来这部分市场规模应该与传统数据库审计市场相当,这个领域的代表公司BlueTalon2016年8月刚刚完成1600万美金的A轮融资,Hadoop安全市场同样处于早期阶段。但现阶段主要是合规性需求、集中度很难提升,这会导致整个市场相AG平台游戏大厅对分散。

近期。现将部分内容分享,他AG平台游戏大厅对观数科技的创业初衷、业务模式以及未来战略,爱分析AG平台游戏大厅对观数科技创始人李科进行访谈,以及他AG平台游戏大厅对未来市场空间的判断。

解决Hadoop应用防护问题

爱分析:Hadoop发展到现在也就十年时间,国内起步更晚,观数科技为什么考虑从Hadoop这个方向入手去做安全?

李科:这跟我自己从业经验有关系。这些操作系统的单体服务器面临的安全问题,比如Windows、Linux, 当时做的产品主要是针AG平台游戏大厅对操作系统,以前我是做主机安全。

做了十年以后我发现一个趋势、很少有人再去买小型机,甲方的资金投向已经开始转向云计算、虚拟化。单体的服务器,由于硬件的瓶颈已经到性能瓶颈。

当时选方向的时候,它解决是一个结构化的问题,一条是虚拟化的,像OpenStack。这个方向的竞争比较多,一些大厂都进来了,比如说阿里、UCloud。

我们就看了另外一个方向。就是把多个机器变成一个机器来使用、分布式的架构,正好赶上国内线上娱乐的风口,我们发现Hadoop是一个事实性的主流产品,解决性能问题。

特别是经过十年发展。Hadoop的生态建得非常完善。AG平台游戏大厅对比安卓。就是因为它的生态体系比较完善,同样在不是很完善情况下还能发展那么好。当积累大量应用的时候、作为一个核心的底层框架是大家都认可的。即使有一个新技术比他效率更高、那也很难淘汰掉,所以我们就选择这条路,因为它是生态存在。

国内专注于这一块的厂商应该说没有,很多发行版等等解决方案AG平台游戏大厅提供厂商,都是拿一些开源的项目做集成,产品化做的很差。我觉得这是一个市场空白点;同时。我们又去看了国外的一些厂商,像BlueTalon、Zettaset,都是专门从事Hadoop这个领域的安全方向。

所以我们认为这个模式在国外被证明是有市场的,加上我们原来做十几年主机加固的这种理念以及技术,国内又正好是空白,我们觉得在分布式上去把它落地是很有可能的。

爱分析:这个产品主要为客户解决了哪些需求?

李科:从Hadoop这个产品立项开始,他没有用户名和密码的概念,就没有过多考虑安全,所以Hadoop的认证方式本来就是一个非常简单方式,它解决性能问题。所有的用户只要端口相连,就可以直接读写数据。

因此。首先我们认为最基本的功能就是分布式的4A是要完成的,就是账户、授权、认证和审计,这是最基本的四要素。在传统IT架构里这四点是必须要达到,而Hadoop没有这些,那很显然它不安全,如果说系统账户认证体系都没有,所以我们第一个踩的点就是先把4A完整的实现。

第二个,这种情况下会造成一个很大的问题,很多用户把Hadoop部署在内网,不会直接AG平台游戏大厅对外。分析师很难直接接触到数据,中间的沟通环节是非常消耗成本,交给网管,在内网做运算,往往是自己编写了一堆MapReduce分析脚本,网管用U盘方式拷到内网里面,再把结果拷出来。

还有一个问题、分析师的提交后,如果网管很忙,直接扔到集群里面跑任务上报错了,不能够及时地把错误信息反馈给分析师的。这种护城河架构是非常影响生产效率。

所以,做了一个叫GateWay安全代理,我们在隔离区和分析师之间。分析师原来是不能够进到内网、全部代理在中间环节,但是我把内网的Hbase、Hive等分析功能。分析师可以直接登录到网关去做分析。网关本来就有4A,在网关上做认证、授权、审计。

此外,任务的安全检查也是个需求。虽然说有物理隔离,如果写的脚本有问题,破坏性的操作就已经发生了,但分析师写的分析脚本,是需要去调用很多资源测试,网管没有检查出来。

爱分析:所以,GateWay是替代原来的防火墙?

李科:AG平台游戏大厅对、我们也AG平台游戏大厅提供硬件的形式,主体是软件。

爱分析:Oracle等传统IT架构中有类似的产品?

李科:我们做的产品是从传统数据库演变到分布式架构里的,需求是一样的,采用的技术不同。

爱分析:AG平台游戏大厅提供Hadoop发行版的公司也会做这部分业务?

李科:有一些类似的功能。开源组件里面有一些比较优秀的项目,如Sentry、Ranger,这些开源组件和我们的区别主要有:

第一,我们在产品化程度做的可能更好一些。开源组件的界面不是特别友好,改很多配置文件,我们整体是图形界面的功能,需要代码级操作。

第二、我们在等级保护测评等方面更符合国内标准,我们完全是自主核心技术的产品,从合规性上讲。

另外,开源组件也是没有的,刚才我说的这种来自业务的需求。

定位运营商和金融行业客户

爱分析:现在定位客群有哪些?

李科:虽然安全是个普适性很强的需求。但是从行业应用的角度来说,我们看到的两个行业是Hadoop技术发展和使用比较成熟的。一个是金融行业,银行、保险等;第二是运营商。

爱分析:这是怎么判断的?

李科:运营商因为积累了很多的用户行为数据,他们需要做DPI分析、精准营销、用户深度需求挖掘。他们底层用Hadoop已经有五六年了,而且运营商比较大的集群已经达到两三千台的规模。我们现在接触的股份制银行,基本上都会有一个线上娱乐部门用Hadoop来做分析。

所以,我们不需要花时间去教育市场,它们也能很迅速地提出自己的在安全问题和风险上的要求。

爱分析:这个产品是如何定价的?与哪些因素有关?

李科:第一个是集群规模。这是基础设施建设,一整套管理中心客单价在三四十万,我们产品前期投入的成本其实并不高。更多收费来自后期运营、因为我们是一种运营模式,按节点数每年的授权费来收取。

爱分析:前期部署安装大概需要多长时间?

李科:部署安装基本一天足够,一般情况下一两天基本上就完成了,让用户知道怎么去配规则,也要看用户的业务复杂度,但部署完我们要给用户做培训。

爱分析:观数科技的这个产品会占到整个Hadoop基础投入比例大概会是多少?

李科:我们看到其他Hadoop发行版厂商的报价,从硬件到软件大概是20万一个,我们切的是其中5%,一个节点的建设成本。

爱分析:现在很多客户搭建Hadoop集群都用的开源版本,基于Hadoop安全的产品客户是否会接受?

李科:分阶段。需要有一个了解学习的过程,这个过程大家付费意愿是不强,很多公司在最开始尝试建线上娱乐集群的时候。我们刚才指的这两个行业已经过了学习和认知的过程。所以AG平台游戏大厅对于商业版的产品和服务,那只要需求能够满足,它们是有付费意愿。有些行业的数据与个人隐私关系不是特别大,它们就会采用开源版。

爱分析:一个运营商的数据中心大概会有多少节点?

李科:各省差别比较大。有南北差异。北方相AG平台游戏大厅对滞后一些。一般40-50个节点,南方省一般有200-300个节点。

爱分析:那股份制银行一般有多少个节点?

李科:200-300个节点比较常见。

潜在市场规模数十亿

爱分析:从定位上,观数科技的定位主要是与原来防火墙一致,属于边界安全?

李科:目前来看。但是我们解决的并不仅仅是边界的问题,更多的是访问控制,可以放在边界安全里。就像WAF和防火墙都是在边界上,更多是识别你协议里面的风险,但是防火墙解决是网络层的问题,WAF解决的基于Http协议上所发生的访问控制。

爱分析:整个安全市场盘子不大,观数科技又是切的比较细分领域,未来市场空间是怎么考虑的?

李科:主要还是看增量吧。我觉得当前可以看数据库审计的市场,去年几个厂商在这部分收入加起来有20-30亿,几十亿市场是存在的,所以我觉得同样的在线上娱乐领域。

从每年爆发安全事件以及国家的重视程度,我们认为未来三年这个领域有望变成一个百亿级市场。

爱分析:这个市场未来集中度如何?

李科:比较难集中起来、业务部门有业务部门的需求,很难做到硬件防火墙这种集中度,行业有行业的需求,每个客户的需求都不一样。即便是标准统一,不像C端有可能出现大集中,也不可能厂家统一。

每一个厂商的销售渠道和行业背景、关系是不一样。所以很难出现集中在某一家做的非常大,不一定小公司就做不了业务。

爱分析:国外是否存在合适的AG平台游戏大厅对标公司?

李科:和我们最像就是BlueTalon,这算是直接AG平台游戏大厅对标。