一体机吹响2012年大数据“集结号”
程序员文章站
2022-05-19 15:11:32
在这即将过去的2012年，我们看到随着技术的不断进步、互联网的发展，整个IT界发生着巨大的变化。我们的数据量正在呈几何倍数增加，对于我们每个人甚至每个企业来讲都将拥有大量的数据，而这些数据...
在这即将过去的2012年，我们看到随着技术的不断进步、互联网的发展，整个IT界发生着巨大的变化。我们的数据量正在呈几何倍数增加，对于我们每个人甚至每个企业来讲都将拥有大量的数据，而这些数据或者信息已经开始涉及到我们的方方面面。
大数据来势汹涌
据相关统计机构指出，截止2011年底，全球的数据产生量达到了1.8万亿GB，未来十年还将增长50倍，迅速积累的海量数据蕴含着重大的商业价值和社会价值--通过挖掘海量数据，在未来2-5年中，45%的企业将投资于大数据，以确保在竞争日渐激烈的商业环境中获得生存。大数据成为全球IT产业增长最快的领域之一，作为大数据产业的重要组成，未来中国大数据潜在市场规模有望近2万亿元，而全球市场则更高。
正是看到这一市场良好，我们看到越来越多的服务商开始关注并且进军大数据市场。国内外的软硬件巨头强强联手，针对分食大数据这块“蛋糕”。在2012年针对于大数据市场，我们看到国内外巨头们纷纷推出了针对大数据处理的解决方案或者产品来满足大数据的需求，在这些解决方案或者产品中，备受关注的当属一体机，一体机同时也将成为2012大数据领域的亮点。让我们来了解一下大数据领域国内外服务商一体机的现状以及特性。
国外一体机呈现“三国鼎立”
1、Oracle Exadata 一体机
背景介绍：2012年10月，甲骨文公司首席执行官Larry Ellison在2012甲骨文全球大会宣布推出OracleExadataX3DatabaseIn-MemoryMachine。该产品是OracleExadata数据库云服务器(OracleExadataDatabaseMachines)的最新升级产品。Larry表示，ExadataX3将与ExadataX2卖一样的价钱，。Exadata3完全突破了Exadata2的限制,现在可以把数据库全部跑在内存里。
Exadata3数据库软硬件整合一体化设备同时采用了多项技术，如智能高速缓存(Exadata Smart Flash Cache)、混合列式压缩(Exadata Hybrid Columnar Compression)等。智能高速缓存技术会自动将读写活跃的数据存放在性能更好的闪存中，提升数据查询速度及吞吐量，甲骨文表示，数据库的写入能力(Capacity for Writes)增加了20倍，而当数据库执行SQL语法时读取数据时的速度每秒可达到100GB。
Exadata3系统提供全机架、半机架、1/4机架和新的低成本1/8机架配置，以满足最为广泛的应用需求。Oracle Exadata X3-8 Database In-Memory Machine采用全机架配置。两种X3系统均能提供多机架配置，提供了几乎无限的可扩展性。
Oracle Exadata X3-2和X3-8 Database In-Memory Machine与前几代Exadata完全兼容，而且现有系统还可用Oracle Exadata X3-2服务器进行升级。此外，在价格方面，新的Exadata X3将保持和Exadata X2一样的价格，
点评：在大数据一体机领域，Oracle堪称为鼻祖，从底层硬件到数据库到应用软件，Oracle提供了全面的产品线，从Oracle的一系列的收购战略中我们就可以看到，Oracle对于未来一体机的战略宏图，对于一体机的销售市场，据了解，Exadata是甲骨文历史上成长最快的产品，这也难怪Oracle会认为，Exadata是Oracle 30年最重要的产品之一。
在性能方面， Exadata推出了最新产品Exadata X3，其性能非常卓越，对于大数据处理方面具有非常快的速度，但美中不足的是，目前对于Exadata更加适合大型企业。
2、SAP HANA 一体机
背景介绍：在2006年SAP最初开发HANA的时候，它就是可以作为单一的数据源来进行交易和分析系统的处理。
而SAP的HANA首次正式面市是大约是在2011年，它是作为SAP进军数据分析市场的一次尝试，对于之前一直专注在ERP等应用软件领域的SAP而言这是一次大胆尝试。HANA大胆地采用了内存计算技术和列式存储等技术，以“实时的数据分析能力”作为其最大的卖点之一，这在同类产品中并不多见，从而引发了业界对此广泛关注。
“SAP HANA 这一突破性的创新技术能够帮助用户以快10万倍的高速访问和发布信息。同时，它还帮助用户以一种全新方式驾驭大数据，助力企业运营。”SAP 全球执行副总裁、数据库及技术部总经理 Steve Lucas 表示， “SAP 的实时数据平台构建出一条信息价值链，能够适时找出并利用正确信息，使其在 SAP HANA、SAP Sybase IQ 服务器和 Hadoop 文件系统之间传输。”
点评：SAP HANA被推向市场后，客户对于HANA认可程度非常高，相关数据显示，仅仅一年，就有600家客户，在亚太区就有100家客户，这对普通软件商来说是不可想象的。除了大数据以外，在云计算方面，SAP HANA也表现出了强大的能力，SAP组建出了250TB内存的庞大HANA云，有不同的服务器组成的Cluster，HANA能够处理大数据运行速度每秒达77万条。
3、IBM Netezza 一体机
背景介绍：IBM在2010年收购Netezza后，同时融合了IBM在硬件、企业中间件和咨询服务领域的传统优势以及在数据管理、业务分析优化、云计算等方面的实力，更好地解决客户需求，同时推出了IBM Netezza 一体机。
据了解，IBM Netezza数据分析一体机是以IBM BladeCenter技术为基础的优化系统。与市面上其他的一体机产品不同，Netezza只需几分钟便可运行使用，而无需耗费数日乃至数周之久。它能以超越竞争产品百倍的速度分析拍字节数据，且总拥有成本也远远低于竞争产品。借助这款新工具，零售企业还可以利用SPSS预测分析软件和IBM全球企业咨询服务来更深入地划分客户群体并开展业务分析，从而拓展自身的预测分析能力。
点评：据IBM相关人员透露，一系列一体机的推出，将会影响原有一部分IBM合作伙伴的生意，因为用户所面临的挑战在变、需求在变，以IBM为代表的厂商也必须进行改变，合作伙伴也必须进行更多的转型。在新的一体机平台上，那些能够创造更多附加值的合作伙伴将拥有更多的商业机会。除一体机以外，针对大数据，IBM还在在中国发布针对大数据处理专家系统PureData，PureData能够将系统安装和配置时间从数天减至数小时，将复杂的分析操作时长从数小时降至数分钟，并且能够实现在单个系统上管理超过100个数据库。据相关资料显示，通过PureData，企业得以在传统IT环境或云环境中为业务用户提供高性能的数据服务，能够在不到10天的时间里完成Web应用的部署。
4、微软计划发布2013年推并行数据库一体机
背景介绍：微软计划于2013年上半年发布基于SQL Server 2012的并行数据库一体机(SQL Server 2012 Parallel Data Warehouse Appliance)以下简称PDW，用以布局未来大数据市场。
基于SQL Server的微软并行数据仓库一体机是现代的数据管理平台，可实现对于任何大小数据、随时随地的处理，简单而且更加容易部署。微软并行数据仓库一体机是针对企业数据仓库、高度可扩展的设备，使用Microsoft SQL Server中的“并行数据仓库”及其“大规模并行处理”体系结构，获得可伸缩的性能和灵活性。
点评：大数据的应用涉及到方方面面，微软提供了一系列的产品来支持大数据的落地，来满足客户对于大数据的支持，据了解为了帮助客户快速部署大数据，微软并行数据仓库一体机兼容当前最为流行的非结构化数据体系Hadoop。对于大数据的投资，微软未来可是要下了“血本”。
国内一体机后起之秀
背景介绍：我们看到国外的服务商通过一体机发力大数据领域，国内服务商也在加大对于大数据一体机的步伐，据了解，为了推动国内大数据的发展，浪潮也推出大数据一体机。大数据一体机采用的是新型的技术体系架构，涵盖数据存储、数据处理、数据展现等全环节并提供一体化的数据处理的产品方案。据相关资料显示，它具备以下特点：
新型技术体系架构：采用全分布式大数据处理架构，平台能够随着客户数据的增长和业务的扩张而不断增长，并且能够保持极高的线性度，解决了传统架构的扩展瓶颈，系统在扩展至120000核心时依旧保持0.8左右的扩展效率。
软硬一体化的系统：集成计算单元、存储单元、通讯单元、管理单元、等核心模块，是对数据存储、处理、展现的全环节的解决方案，由浪潮统一开发，能够统一交付，集中管理，用户可以轻松完成。
全局优化的系统：浪潮进行全局优化性能等技术指标大幅提升，在性能、可用性方面有了重大提升。通过优化系统任务调度策略，动态调整任务执行资源，减少慢任务数量，任务执行时间平均缩短16%以上;引入Reed-Solomon算法，优化分布式散列数据布局，满足文件高并发和高带宽双重需求同时平衡数据冗余度，浪潮采用两副本加编码的方式相对三副本最大可实现30%空间节省;采用多级高速缓存，固化特定算法到FPGA，实现硬件加速。经测试，1TB数据排序测试整体访问性能提高50%。
点评：对于大数据一体机我们可以看到浪潮或许是国内第一款大数据一体机，从长远来看，虽然面对着国外巨头以及技术的压力，但我们看到至少在大数据领域国内企业还是迈出了坚实的一步，相信未来加大对于产品的研发、技术的研发，必然能够缩短差距，让更多的企业受益于大数据，才能更好的提升竞争力。
小结
我们看到在2012年针对大数据领域，各大服务商都是主推的一体机，这正如某行业记者所认为的“软硬件垂直整合正在成为IT产业一种新趋势，甲骨文、IBM等都纷纷推出了各自的软硬一体机系列产品，而正是这几家企业的变化将深刻地影响全球企业级IT产业生态体系的构建。”
从大的环境来看，目前全球大数据技术的发展还处于起步阶段，针对大数据无论是软件技术还是硬件技术或是软硬一体的技术，国外企业的投入和重视都远比国内企业要多得多。因此，“国内IT企业要想在新一代信息技术的发展中抢到更多的话语权，未来则必须高度重视和投资大数据技术和应用。”
大数据来势汹涌
据相关统计机构指出，截止2011年底，全球的数据产生量达到了1.8万亿GB，未来十年还将增长50倍，迅速积累的海量数据蕴含着重大的商业价值和社会价值--通过挖掘海量数据，在未来2-5年中，45%的企业将投资于大数据，以确保在竞争日渐激烈的商业环境中获得生存。大数据成为全球IT产业增长最快的领域之一，作为大数据产业的重要组成，未来中国大数据潜在市场规模有望近2万亿元，而全球市场则更高。
正是看到这一市场良好，我们看到越来越多的服务商开始关注并且进军大数据市场。国内外的软硬件巨头强强联手，针对分食大数据这块“蛋糕”。在2012年针对于大数据市场，我们看到国内外巨头们纷纷推出了针对大数据处理的解决方案或者产品来满足大数据的需求，在这些解决方案或者产品中，备受关注的当属一体机，一体机同时也将成为2012大数据领域的亮点。让我们来了解一下大数据领域国内外服务商一体机的现状以及特性。
国外一体机呈现“三国鼎立”
1、Oracle Exadata 一体机
背景介绍：2012年10月，甲骨文公司首席执行官Larry Ellison在2012甲骨文全球大会宣布推出OracleExadataX3DatabaseIn-MemoryMachine。该产品是OracleExadata数据库云服务器(OracleExadataDatabaseMachines)的最新升级产品。Larry表示，ExadataX3将与ExadataX2卖一样的价钱，。Exadata3完全突破了Exadata2的限制,现在可以把数据库全部跑在内存里。
Exadata3数据库软硬件整合一体化设备同时采用了多项技术，如智能高速缓存(Exadata Smart Flash Cache)、混合列式压缩(Exadata Hybrid Columnar Compression)等。智能高速缓存技术会自动将读写活跃的数据存放在性能更好的闪存中，提升数据查询速度及吞吐量，甲骨文表示，数据库的写入能力(Capacity for Writes)增加了20倍，而当数据库执行SQL语法时读取数据时的速度每秒可达到100GB。
Exadata3系统提供全机架、半机架、1/4机架和新的低成本1/8机架配置，以满足最为广泛的应用需求。Oracle Exadata X3-8 Database In-Memory Machine采用全机架配置。两种X3系统均能提供多机架配置，提供了几乎无限的可扩展性。
Oracle Exadata X3-2和X3-8 Database In-Memory Machine与前几代Exadata完全兼容，而且现有系统还可用Oracle Exadata X3-2服务器进行升级。此外，在价格方面，新的Exadata X3将保持和Exadata X2一样的价格，
点评：在大数据一体机领域，Oracle堪称为鼻祖，从底层硬件到数据库到应用软件，Oracle提供了全面的产品线，从Oracle的一系列的收购战略中我们就可以看到，Oracle对于未来一体机的战略宏图，对于一体机的销售市场，据了解，Exadata是甲骨文历史上成长最快的产品，这也难怪Oracle会认为，Exadata是Oracle 30年最重要的产品之一。
在性能方面， Exadata推出了最新产品Exadata X3，其性能非常卓越，对于大数据处理方面具有非常快的速度，但美中不足的是，目前对于Exadata更加适合大型企业。
2、SAP HANA 一体机
背景介绍：在2006年SAP最初开发HANA的时候，它就是可以作为单一的数据源来进行交易和分析系统的处理。
而SAP的HANA首次正式面市是大约是在2011年，它是作为SAP进军数据分析市场的一次尝试，对于之前一直专注在ERP等应用软件领域的SAP而言这是一次大胆尝试。HANA大胆地采用了内存计算技术和列式存储等技术，以“实时的数据分析能力”作为其最大的卖点之一，这在同类产品中并不多见，从而引发了业界对此广泛关注。
“SAP HANA 这一突破性的创新技术能够帮助用户以快10万倍的高速访问和发布信息。同时，它还帮助用户以一种全新方式驾驭大数据，助力企业运营。”SAP 全球执行副总裁、数据库及技术部总经理 Steve Lucas 表示， “SAP 的实时数据平台构建出一条信息价值链，能够适时找出并利用正确信息，使其在 SAP HANA、SAP Sybase IQ 服务器和 Hadoop 文件系统之间传输。”
点评：SAP HANA被推向市场后，客户对于HANA认可程度非常高，相关数据显示，仅仅一年，就有600家客户，在亚太区就有100家客户，这对普通软件商来说是不可想象的。除了大数据以外，在云计算方面，SAP HANA也表现出了强大的能力，SAP组建出了250TB内存的庞大HANA云，有不同的服务器组成的Cluster，HANA能够处理大数据运行速度每秒达77万条。
3、IBM Netezza 一体机
背景介绍：IBM在2010年收购Netezza后，同时融合了IBM在硬件、企业中间件和咨询服务领域的传统优势以及在数据管理、业务分析优化、云计算等方面的实力，更好地解决客户需求，同时推出了IBM Netezza 一体机。
据了解，IBM Netezza数据分析一体机是以IBM BladeCenter技术为基础的优化系统。与市面上其他的一体机产品不同，Netezza只需几分钟便可运行使用，而无需耗费数日乃至数周之久。它能以超越竞争产品百倍的速度分析拍字节数据，且总拥有成本也远远低于竞争产品。借助这款新工具，零售企业还可以利用SPSS预测分析软件和IBM全球企业咨询服务来更深入地划分客户群体并开展业务分析，从而拓展自身的预测分析能力。
点评：据IBM相关人员透露，一系列一体机的推出，将会影响原有一部分IBM合作伙伴的生意，因为用户所面临的挑战在变、需求在变，以IBM为代表的厂商也必须进行改变，合作伙伴也必须进行更多的转型。在新的一体机平台上，那些能够创造更多附加值的合作伙伴将拥有更多的商业机会。除一体机以外，针对大数据，IBM还在在中国发布针对大数据处理专家系统PureData，PureData能够将系统安装和配置时间从数天减至数小时，将复杂的分析操作时长从数小时降至数分钟，并且能够实现在单个系统上管理超过100个数据库。据相关资料显示，通过PureData，企业得以在传统IT环境或云环境中为业务用户提供高性能的数据服务，能够在不到10天的时间里完成Web应用的部署。
4、微软计划发布2013年推并行数据库一体机
背景介绍：微软计划于2013年上半年发布基于SQL Server 2012的并行数据库一体机(SQL Server 2012 Parallel Data Warehouse Appliance)以下简称PDW，用以布局未来大数据市场。
基于SQL Server的微软并行数据仓库一体机是现代的数据管理平台，可实现对于任何大小数据、随时随地的处理，简单而且更加容易部署。微软并行数据仓库一体机是针对企业数据仓库、高度可扩展的设备，使用Microsoft SQL Server中的“并行数据仓库”及其“大规模并行处理”体系结构，获得可伸缩的性能和灵活性。
点评：大数据的应用涉及到方方面面，微软提供了一系列的产品来支持大数据的落地，来满足客户对于大数据的支持，据了解为了帮助客户快速部署大数据，微软并行数据仓库一体机兼容当前最为流行的非结构化数据体系Hadoop。对于大数据的投资，微软未来可是要下了“血本”。
国内一体机后起之秀
背景介绍：我们看到国外的服务商通过一体机发力大数据领域，国内服务商也在加大对于大数据一体机的步伐，据了解，为了推动国内大数据的发展，浪潮也推出大数据一体机。大数据一体机采用的是新型的技术体系架构，涵盖数据存储、数据处理、数据展现等全环节并提供一体化的数据处理的产品方案。据相关资料显示，它具备以下特点：
新型技术体系架构：采用全分布式大数据处理架构，平台能够随着客户数据的增长和业务的扩张而不断增长，并且能够保持极高的线性度，解决了传统架构的扩展瓶颈，系统在扩展至120000核心时依旧保持0.8左右的扩展效率。
软硬一体化的系统：集成计算单元、存储单元、通讯单元、管理单元、等核心模块，是对数据存储、处理、展现的全环节的解决方案，由浪潮统一开发，能够统一交付，集中管理，用户可以轻松完成。
全局优化的系统：浪潮进行全局优化性能等技术指标大幅提升，在性能、可用性方面有了重大提升。通过优化系统任务调度策略，动态调整任务执行资源，减少慢任务数量，任务执行时间平均缩短16%以上;引入Reed-Solomon算法，优化分布式散列数据布局，满足文件高并发和高带宽双重需求同时平衡数据冗余度，浪潮采用两副本加编码的方式相对三副本最大可实现30%空间节省;采用多级高速缓存，固化特定算法到FPGA，实现硬件加速。经测试，1TB数据排序测试整体访问性能提高50%。
点评：对于大数据一体机我们可以看到浪潮或许是国内第一款大数据一体机，从长远来看，虽然面对着国外巨头以及技术的压力，但我们看到至少在大数据领域国内企业还是迈出了坚实的一步，相信未来加大对于产品的研发、技术的研发，必然能够缩短差距，让更多的企业受益于大数据，才能更好的提升竞争力。
小结
我们看到在2012年针对大数据领域，各大服务商都是主推的一体机，这正如某行业记者所认为的“软硬件垂直整合正在成为IT产业一种新趋势，甲骨文、IBM等都纷纷推出了各自的软硬一体机系列产品，而正是这几家企业的变化将深刻地影响全球企业级IT产业生态体系的构建。”
从大的环境来看，目前全球大数据技术的发展还处于起步阶段，针对大数据无论是软件技术还是硬件技术或是软硬一体的技术，国外企业的投入和重视都远比国内企业要多得多。因此，“国内IT企业要想在新一代信息技术的发展中抢到更多的话语权，未来则必须高度重视和投资大数据技术和应用。”
上一篇： iPad mini 5外观99％无变化：仅内部硬件升级
下一篇： 中型企业如何应对大数据困境
推荐阅读