融入“芯” 英特尔Hadoop应对大数据应用
程序员文章站
2022-04-21 09:24:39
随着大数据时代到来,特别是Hadoop成为市场应用的焦点,从Hortonworks提供Hadoop大数据平台Windows测试版,EMC针对Cloudera发布名为“Pivotal HD&...
随着大数据时代到来,特别是Hadoop成为市场应用的焦点,从Hortonworks提供Hadoop大数据平台Windows测试版,EMC针对Cloudera发布名为“Pivotal HD”的Hadoop发行版,以及HP加入Hadoop并提供安全插件ArcSight。英特尔周三也发布其Apache Hadoop相关的方案变化。
从国外ZDNET网站获悉,围绕大数据这一点,EMC和HP本周都有所动作。而Intel大数据方面更是针对创新的应用方面,将Hadoop直接固化到芯片中,目的是海量大数据实现更好的业务决策,同时更迅速地识别潜在的安全威胁。
Apache Hadoop Distribution(来源intel.com)
英特尔加强为数据中心提供了一个框架,可以连接和管理设备并实现一个可扩展的方式,Hadoop架构具有巨大的潜力,可以做为硬件基础层存在,并在此之上构建可以实现水平分布的各式各样的堆栈。网络和I/0方面的优化(来源intel.com)
另外,针对的芯片就是指Xeon产品,并在网络和I/0方面针对数据分析“新应用层”有特别的优化。英特尔至强处理器平台对网络和I/O技术所做的优化,有助于实现更高的分析性能:以往分析1TB的数据需要4个多小时到如今7分钟。此外,除了使用AES-NI指令集有20倍的提升加密速度以外,Intel Hadoop分布式框架还将通过SSD缓存加速来实现优化,查询速度将比Hive快8.5倍,通过AVX和SSE 4.2进行硬件增强压缩以及Active Tunner对集群进行自动调优。
而在安全方面上,英特尔提供一个“完整加密”的Xeon处理器方案,从而使得企业用户不牺牲性能即可实现数据的高安全性。
Intel将与24个合作伙伴携手,通过Hadoop融入到Xeon的解决方案推广到公有云和私有云中,同时,英特尔投资也一直投资于从事突破性大数据分析技术研发的公司,包括开发MongoDB的10gen 和大数据分析解决方案提供商Guavus Analytics。