欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  互联网

大数据催生数据库平台创新 本土技术与世界同步起跑

程序员文章站 2022-10-17 21:29:39
2013年3月8日,“国产新型大数据平台开放日”活动在天津海泰绿色发展基地成功举办。南大通用作为国产数据库领军企业主办此次展示活动。来自国家部委的领导、专家、行业用户、合作伙伴...

2013年3月8日,“国产新型大数据平台开放日”活动在天津海泰绿色发展基地成功举办。南大通用作为国产数据库领军企业主办此次展示活动。来自国家部委的领导、专家、行业用户、合作伙伴及媒体等百余人到场,共同见证了国内首个最大规模的行业大数据处理平台,并就大数据行业应用进行了深入细致的探讨。

活动期间,南大通用还为现场听众带来了多场大数据主题讲座。CTO武新博士首先提出“大数据如何引发数据行业变革”问题,继而通过对数据处理架构改变及技术创新的解释,说明NewSQL数据库技术的应用定位与商业价值。CEO崔维力博士围绕大数据时代的天时、地利、人和,向大家阐述了GBASE数据库的市场定位与经营战略。其后三位技术专家分别就大数据背景下,大规模集群处理平台及经营分析类应用案例,国产新型数据库与云架构数据库集群产品,可视化商业智能系统,与听众进行了交流与分享。

大数据催生数据库平台创新 本土技术与世界同步起跑

目前,数据库行业分为三大阵营,即OldSQL(传统数据库)、NewSQL(新型数据库)和NoSQL(非关系型数据库)。但在武新看来,在大数据和云计算的市场趋动下,NewSQL数据库具有极高的商业价值,其必将成为一个主流的数据库产品类别。

他指出,在大数据的需求推动下,数据库行业进入了新一轮的创新。以Oracle为代表的行业垄断受到了强烈挑战,全世界至少有30家新兴的数据库企业和大约50款新产品进入市场竞争。在三大产品阵营中,NewSQL在保持了关系模型的基础上,对存储结构、计算架构和内存使用等技术核心要素进行了深度改变和创新。NewSQL和NoSQL将打破OldSQL服务于所有应用而一统天下的局面,未来三类产品各自拥有适用的应用类型和客户群。

NoSQL和NewSQL在面对海量数据处理时都表现出较强的扩展能力,NoSQL现有优势在于对非结构化数据处理的支持上,但NewSQL对于全数据格式的支持也日趋成熟。而在一些方面,NewSQL相比NoSQL表现出较大优势:实时性,复杂分析,即席查询,可开发性。

武新指出,传统关系型数据库不易扩展与并行,对海量数据处理不利限制了其应用。当前大量公有云和私有云数据库往往基于NoSQL技术,例如Hbase,Bigtable等,其本身的非线性、分布式、水平可扩展,非常适合云计算和大数据处理,但应用趋于简单化。而云数据库主要解决的是行业大数据应用问题,Hadoop在面对传统关系型数据复杂的多表关联分析、强一致性要求、易用性等方面,与分布式关系型数据库还存在较大差距。这种需求推动了基于云架构的新型数据库技术的诞生,其在传统数据库基础上支持Shared-Nothing集群,提高了系统伸缩性,例如EMC的Greenplum、南大通用的GBase 8a MPP Cluster、HP的Vertica都属于类似产品。

“基于大数据和云计算需求,数据库未来呈现四大发展趋势:对于全数据类型的支持;更大规模MPP和数据管理集群技术;大数据一体机产品;跨平台融合。”武新表示,“NewSQL云数据库在继承了一些传统成熟的关系型数据库技术基础之上开发,能够支持海量数据,具有高性能、高扩展性,满足支撑云计算、大数据和移动互联网的应用,其必然在下一代数据产品市场中处于主导地位。”

除了对数据库发展趋势进行讨论以外,此次开放日,南大通用也向公众展示了GBASE行业大数据大规模集群处理平台,多类经营分析业务场景演示及200TB行业数据处理案例。此次展示的大数据平台共使用80台中高端服务器,5台万兆交换机,跨7个机柜,测试平台无论从网络部署、测试复杂度还是数据量都堪称国内规模最大的NewSQL集群环境。该平台可支撑PB级别的数据查询与分析,是应用于行业大数据分析领域的可靠平台。

大数据催生数据库平台创新 本土技术与世界同步起跑

在大数据平台展示与体验环节中,来宾与南大通用技术人员进行了深入交流,Unix联盟的一位资深教师在体验后表示:南大通用依靠自主研发实力搭建起如此规模的大数据平台令人惊叹,经过多年的技术积累,国产数据库终与国外厂商站在了同一起跑线上。南大通用CEO崔维力在接受媒体采访时指出:行业大数据为用户和厂商带来的商业机会与价值在逐步提升,未来会赶超互联网大数据;代表新技术的NewSQL数据库在行业大数据处理方面不可或缺,GBASE将助力用户发掘数据价值。

据南大通用介绍,2012年,在某电信运营商历时一年进行数据仓库选型测试中,包括国内外8个厂商9款产品参与测试,南大通用GBase 8a参与其中,并成功入围测试性能优异产品“短名单”。