飞天大数据计算平台：一个十年前就启动的核心技术长征

7月25日，在阿里云峰会上海站上，阿里云飞天大数据平台正式亮相。据悉，这是中国唯一自主研发的计算引擎，也是全球集群规模最大的计算平台。

数据显示，飞天大数据平台目前已经可以扩展至10万台计算集群，规模全球第一，同时单日数据处理量从2015年100pb、2016年180pb、2017年320pb，一直到2018年超过600pb，仅用三年时间便提升了5倍。

在民生服务领域，阿里云飞天大数据平台已经在悄然支撑便捷的电子化服务，在“最多跑一次”、城市大脑等场景中，协助*优化服务模式，实现更智能便捷的服务能力，保障信息安全。

原来需要跑5个窗口、耗时2天才能拿到的新生儿出生证，现在只需在手机上动动手指、填9项信息，就能办好；原来看一次病，需要排队付几次费，现在可以看完回家再付钱……这样的场景正在越来越多的城市变为现实，背后都是飞天大数据平台的支撑。

比如在浙江，飞天大数据平台与“最多跑一次”打通了与老百姓办事最密切相关的100个事项、70多亿条数据，有些政务老百姓甚至有可能一次都不需要跑。

尤其在杭州，城市大脑已经可以实时指挥1300个红绿灯路口、200多名交警。从2016年到2018年，杭州在全国最拥堵城市排行榜上下跌了52名。

据了解，阿里云飞天大数据平台的研发源自阿里的自身实践。

十年前，新兴互联网业态蓬勃发展，中小企业在阿里电商平台上爆发式增长，形成了海量数据，直接击垮传统it架构。

对此，大部分企业都是直接使用国际开源的数据计算框架hadoop，而当时全球企业的数据库基本都是oracle，阿里也拥有亚洲最大的oracle集群，计算规模达数百tb级别，但是经过激烈争论后，阿里选择探索自己的平台。

就在当时，google、亚马逊aws、微软等硅谷巨头，也都纷纷投入了大数据技术的研发。

早在2012年初，阿里巴巴技术委员会主席王坚就表示：“从战略上来说，阿里云想做的事情实际上可以解读为amazon+google并有所超越。将单一集群做到数千乃至更高，技术上是国家和企业竞争力的标志。阿里巴巴必须攻克这道难关。”

过去十年，飞天大数据平台已经打破了多个世界记录：

2013年，突破单集群内5000台服务器同时计算的局限，如今单集群规模已超过1万台；

2015年，打破计算界奥运会sortbenchmark的四个世界纪录，用时不到7分钟便完成了100tb的数据排序，刷新了apachespark 23.4分钟的纪录。

forrester发布的《the forrester wavetm: clouddata warehouse, q4 2018》报告中，阿里云maxcompute、dataworks、adb等三款产品成功入选，并在产品功能(current offering)方面力压微软。

 

- the end -

转载请注明出处：快科技