欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  互联网

思科的大数据实践

程序员文章站 2023-01-30 19:50:48
    在此次的SPF大会上,思科大中华区数据中心首席架构师谢军针对大数据解决之道发表了演讲,SP特此将精彩内容摘要如下。    大数据从...

    在此次的SPF大会上,思科大中华区数据中心首席架构师谢军针对大数据解决之道发表了演讲,SP特此将精彩内容摘要如下。

   大数据从IT角度将带来商务驱动,会带来增值业务,这是大家的共识。然而,大数据架构和传统数据中心数据管理方式有很大差异。这些差异在IT行业产生了很多新的变革和挑战,面对这些挑战应该怎么办?思科哪些技术可以帮助克服这些挑战呢?

   事实上,挑战主要集中在三个方面。首先,传统的HADOOP方式会有一个非常关键的节点,这相当于工作引擎,所有数据管理要通过这个引擎操作。这个节点出现故障则会使整个大数据系统不可用,业务彻底瘫痪。因此要求其具有高可用性。

   第二: HADOOP通常有多份数据复本保存数据,当一个数据复本出现故障系统会帮助做复制,这个复制通过网络实现。这就可能导致在一些特定情况下产生大量数据复制,特别是当分布式系统做得比较大的时候。

   第三,过去数据存放是集中式存储与服务器相连。整个数据管理层面只需管理几个节点。比如一个传统的数据库有两个节点或者三四个节点,而在HADOOP环境下会出现几十个甚至上千个,而且是上千个有可能跨不同数据中心的超大集群。这意味着管理点非常多,管理成本大幅上升。以上都是大数据可能面临的挑战。

   针对以上的挑战,思科做了统一计算系统。今后数据中心发展,计算一定是往横向扩展。这意味着虚拟化、云计算以及大数据,其实都有个共同特点是分布式发展。分布式系统必然需要和网络关联,因此思科希望做一个产品把计算和网络融为一体,这就是思科的UCS服务器系统。

   思科的服务器系统核心取决于一对万兆矩阵,该矩阵是计算域的管理点,所有挂在计算域上面的服务器只是一个计算单元,它挂在哪个应用上全由网络层决定。思科的系统本身实现了硬件虚拟化,把服务器的属性上升到网络,由网络去定义这个服务器。

   其二,思科的系统将会使得管理域变大,只要客户连接到交换群,就可以控制所有的节点,这会极大的缩短管理点。

   第三,思科的系统集成了两个自愈的能力,怎样实现高可用性,有两种方式,思科提供的是硬件解决方案。由于思科的系统是AB两个矩阵环路,因此一旦A环路出现问题,B环路就能马上解决,其次,思科的系统实现了硬件漂移的能力,比如服务器的CPU坏了,客户不需要重装一台服务器,思科的系统可以将其硬件属性“写”到另外一台机器上,就可以直接使用。这帮助客户节约了很多软件的维护成本。

   大数据的发展现在基本呈现两个趋势,一个是坚持独立自主开源方式。另外一个是会提供自己的解决方案,在原先大数据架构里面提供自己的产品。这两种方式思科都会提供很好支撑。

   总结一下,思科的统一计算系统,针对关键节点,思科可以提供具有硬件漂移能力的技术,出席故障可以快速修复。

   其次,它解决了大范围管理的问题,假设160个服务器,它可以做一个非常大的大数据集群,这意味着有一百六十个管理点,使用思科的系统,管理者只需要对其中一个点进行管理,就能对所有的管理点进行监控。

   最后,思科的系统可以保证它的高可用性和提高性能。高可用性是思科有两个自愈能力。它对于节点快速大量数据复制带来的好处是不言而喻的。

   不妨关注一下大数据的另外一个趋势,既很多厂商根据自身的技术特点推出了一些新型的解决方案,最近一年最热的就是SAP的HADOOP,它实际上是通过内存的方式来解决快速数据处理的问题。SAP的HANA可以通过一些方式做到节点的扩张,它采取的方式是通过将数据都放在内存里面。它在思科的解决方案里都有体现,主要分为两部分,第一是单一节点,一般是些小规模的节点。还有一种是可扩张的节点。

   思科可扩展节点的解决方案,需要本地磁盘的支撑,在存储方面思科有两个合作伙伴,一个是EMC,一个是NetApp 。我们的解决方案里融合了网络。因此在扩展时不需要考虑扩展时的连接模块,更不需要重新布线。

   今天主要介绍了思科计算产品,思科计算不是单纯计算,是以网络发展计算。相信在今后,特别是越来越多强调的分布式系统里,思科计算会给大家带来很多惊喜。