大数据存储易出问题 平台发展需＂弹性＂

大数据推动存储市场发展

大数据已经成为安防行业不能不提的话题，它涵盖了4V面向，分别是处理时效、数据格式、数据量与真实性，通过快速的采集、发现和分析，从大量化、多类别的数据中提取价值。安防大数据时代最显著的特征就是数据共享，提高数据处理能力。安防行业也不例外，天网工程就是最具代表性的案例，近年来天网工程已经在全国多个城市推广。

大数据推动存储市场发展

近日，美国市场研究公司IDC发布报告称，大数据技术和服务的不断升级，拉动全球存储市场将在2011至2016年间实现53%的复合年增长率。在可预见的未来，多数组织产生、处理、存储的数据都将继续保持快速增长。“在可预见的未来，存储是大数据和分析领域最大的基础设施开支之一。”IDC存储系统研究总监阿西什·纳卡尼说，“大数据和分析领域所产生的存储开支将从2011年的3.799亿美元，激增至2016年的60亿美元。”

在受访企业中，有68.6%在选择存储架构时主要看重性能，有59.5%更加看重成本。接近31%的受访企业表示，虽然尚未针对数据分析基础架构部署企业存储系统，但准备在今后6个月内部署。

在实际应用方面，63.7%的受访企业主要借此分析运营数据，还有53.3%主要分析交易数据。IT是数据分析基础架构的最大影响因素，远高于排名第二的运营。有超过61%的受访企业，将提升客户满意度作为数据分析方案所应解决的最大商业挑战。

大数据存储容易出现问题

在大数据时代来临之际，我们面临的挑战还有存储问题。大数据中的大容量通常可达到PB级的数据规模，那么对于海量数据存储系统扩展能力的要求也会很高。以国内某省为例，公共视频监控已经超过100多万个摄像头，总保有量近400万，以此估计，全国摄像头数量不少于4000万，某投行的报告称行业每年还在以20%加速增长，行业龙头海康威视12年的年报披露的销售量就达570万套(含前后端)，增长37%。而另一个数据也很惊人，英国的摄像头数量与人口数量之比已经达到1：15。

粗略计世界至少有1亿个摄像头在角落静静的看着，这样的视频监控将是数据的大生成器。从摄像前端的海量数据和到有效数据之间的也存在矛盾，摄像头不停歇的工作，如实记录镜头覆盖范围发生的一切，但对于客户来讲大部分信息是无效，有效信息可能只分布在一个较短的时间段内，大量的数据存储给数据库带来不小的压力，而无效的数据更是对于资源的浪费。

与此同时，存储系统的扩展一定要简便，尽量能通过增加模块或磁盘柜来增加容量，甚至不需要停机。基于这样的需求，客户现在越来越青睐Scale-out架构的存储。Scale-out集群结构的特点是每个节点除了具有一定的存储容量之外，内部还具备数据处理能力以及互联设备，与传统存储系统的烟囱式架构完全不同，Scale-out架构可以实现无缝平滑的扩展，避免存储孤岛。

大数据存储平台必须具有弹性

大数据存储平台必须具有弹性

1.大数据之“大”

“大”是相对而言的概念。例如，对于像SAPHANA那样的“内存数据库”来说，2TB可能就已经是大容量了；而对于像谷歌这样的搜索引擎，EB的数据量才能称得上是大数据。

“大”也是一个迅速变化的概念。HDS在2004年发布的USP存储虚拟化平台具备管理32PB内外部附加存储的能力。当时，大多数人认为，USP的存储容量大得有些离谱。但是现在，大多数企业都已经拥有PB级的数据量，一些搜索引擎公司的数据存储量甚至达到了EB级。由于许多家庭都保存了TB级的数据量，一些云计算公司正在推广其文件共享或家庭数据备份服务。

2.有容乃“大”

由此看来，大数据存储的首要需求存储容量可扩展。大数据对存储容量的需求已经超出目前用户现有的存储能力。我们现在正处于PB级时代，而EB级时代即将到来。过去，许多企业通常以五年作为IT系统规划的一个周期。在这五年中，企业的存储容量可能会增加一倍。现在，企业则需要制定存储数据量级(比如从PB级到EB级)的增长计划，只有这样才能确保业务不受干扰地持续增长。这就要求实现存储虚拟化。存储虚拟化是目前为止提高存储效率最重要、最有效的技术手段。它为现有存储系统提供了自动分层和精简配置等提高存储效率的工具。

拥有了虚拟化存储，用户可以将来自内部和外部存储系统中的结构化和非结构化数据全部整合到一个单一的存储平台上。当所有存储资产变成一个单一的存储资源池时，自动分层和精简配置功能就可以扩展到整个存储基础设施层面。在这种情况下，用户可以轻松实现容量回收和容量利用率的最大化，并延长现有存储系统的寿命，显著提高IT系统的灵活性和效率，以满足非结构化数据增长的需求。

中型企业可以在不影响性能的情况下将HUS的容量扩展到近3PB，并可通过动态虚拟控制器实现系统的快速预配置。此外，通过HDSVSP的虚拟化功能，大型企业可以创建0.25EB容量的存储池。随着非结构化数据的快速增长，未来，文件与内容数据又该如何进行扩展呢？

3.不断“生长”的大数据

与结构化数据不同，很多非结构化数据需要通过互联网协议来访问，并且存储在文件或内容平台之中。大多数文件与内容平台的存储容量过去只能达到TB级，现在则需要扩展到PB级，而未来将扩展到EB级。这些非结构化的数据必须以文件或对象的形式来访问。基于Unix和Linux的传统文件系统通常将文件、目录或与其他文件系统对象有关的信息存储在一个索引节点中。

索引节点不是数据本身，而是描述数据所有权、访问模式、文件大孝时间戳、文件指针和文件类型等信息的元数据。传统文件系统中的索引节点数量有限，导致文件系统可以容纳的文件、目录或对象的数量受到限制。HNAS和HCP使用基于对象的文件系统，使得其容量能够扩展到PB级，可以容纳数十亿个文件或对象。

位于VSP或HUS之上的HNAS和HCP网关不仅可以充分利用模块存储的可扩展性，而且可以享受到通用管理平台HitachiCommandSuite带来的好处。HNAS和HCP为大数据的存储提供了一个优良的架构。大数据存储平台必须能够不受干扰地持续扩展，并具有跨越不同时代技术的能力。数据迁移必须在最小范围内进行，而且要在后台完成。大数据只要复制一次，就能具有很好的可恢复性。

大数据存储平台可以通过版本控制来跟踪数据的变更，而不会因为大数据发生一次变更，就重新备份一次所有的数据。HDS的所有产品均可以实现后台的数据移动和分层，并可以增加VSP、HUS数据池、HNAS文件系统、HCP的容量，还能自动调整数据的布局。传统文件系统与块数据存储设备不支持动态扩展。

大数据存储平台还必须具有弹性，不允许出现任何可能需要重建大数据的单点故障。HDS可以实现VSP和HUS的冗余配置，并能为HNAS和HCP节点提供相同的弹性。大数据存储平台需要将文件、块数据和内容集成到一个统一的HitachiCommandSuite管理平台之上，以满足大数据处理和应用的需求。