英国工程技术学会：大数据处理需分门别类

毫无疑问，2012年以来，大数据成为了炙手可热的词语。大数据伴随着移动互联网、云计算和物联网等的应用而出现，普遍被认为具有巨大的潜在应用价值。然而，由于大数据容量较大，因此如何降低存储成本以及提升应用价值就成为了大数据所面临的关键问题。

近日，记者就上述问题采访了IET（英国工程技术学会）理事长Andy Hopper先生，Andy Hopper同时也担任着剑桥大学计算机技术教授兼计算机实验室主任。

大数据可归为两大类

在Andy Hopper看来，对数据进行分类是降低存储成本的首要条件。“以我自己为例，我经常会收集到很多数据，我经常问自己两个问题：这些数据是什么，应该怎样处理？”

Andy Hopper认为，数据基本可以分为两类：一是很好但没有特别之处的数据，二是可靠准确的数据。前一种数据可以应用在非关键领域，第二种数据可以运用在关键领域。

他举例说明，手机游戏中的定位数据属于第一类，用手机健康软件监测到的心跳数据则属于第二种：第一种游戏定位数据至多给人提供娱乐和便利，第二种数据可以帮助大夫进行诊断，甚至有可能挽救生命。此外，如果在高铁的铁轨上安装传感器，那么通过传感器搜集到的数据也是关键数据，因为这些数据能够帮助铁路部门做出决策，进而保证高铁安全运行。

而要识别哪些数据是关键数据，则离不开相关从业人员的经验。此外，也有一些规律可循。Andy Hopper认为，医药生产线上的传感器搜集到的数据，有助于提高医药领域生产效率，提升人们的健康水平，就属于关键性数据；工厂车间安装的传感器搜集到的数据，能够提高其运营质量和效率，也属于关键性数据。

当然，在这些传统领域推广大数据技术还有很长的路要走。首先，让人们从理念上接受大数据需要一个过程；此外，传统的数据大多为非结构化数据，缺乏整合与统一，很难产生预期的效益。

平台系统需重新设计

大数据的出现对传统的网络硬件资源提出了较高要求。从数据产生的角度看，要想产生有价值的数据，就需要有针对性、有目的地进行监测，因此部署大量的高质量传感器非常有必要，而且传感器的标准还需要统一，以保证搜集到的数据格式统一，简单易用。

除此之外，Andy Hopper认为大数据的出现还需要平台和系统更加可靠。“打个比方，通常我们按一下按钮灯就会亮，但是计算机平台，尤其是大数据平台，在很多情况下都不是那么可靠的。”

所以Andy Hopper认为，为了满足大数据的需求，需要对平台运营系统或者协议进行设计，以提高它们的可靠性，确保其不会崩溃。此外，这些系统还应该可命令，所做的事情可追踪。“这样大数据会应用得更加有效，并且能够带来切实的效益。”