IPFS变革数据未来！西部数据展示四层架构、三大优势

程序员文章站 2022-05-06 16:57:27

信息时代，最丰富的是什么？当然是数据，海量的数据，而如何高效管理、有效利用这无穷无尽的数据，是摆在整个行业面前的难题。据权威市调机构idc的报告，预计到2024年，全球以hdd为代表的大数据存储量将达...

信息时代，最丰富的是什么？当然是数据，海量的数据，而如何高效管理、有效利用这无穷无尽的数据，是摆在整个行业面前的难题。

据权威市调机构idc的报告，预计到2024年，全球以hdd为代表的大数据存储量将达1.62zb(16.2亿tb)，年复合增长率30％左右。

而在快数据方面，以ssd为衡量标志，2024年将达333eb(3.33亿tb)，年复合增长率更是高达50％左右。

但即便如此，这些也不到实际数据生成量的1.5％，仍有海量的数据得不到有效利用，被白白浪费掉。

西部数据副总裁兼中国区业务总经理刘钢

为什么会出现这种情况？数据该如何有效挖掘、处理？

近日，西部数据副总裁兼中国区业务总经理刘钢在深圳国际大数据与存储峰会上发表了题为“创新存储架构，突破ipfs算力瓶颈”的演讲，畅谈了ipfs的亮点、痛点，以及西部数据的存储技术、优势。

所谓ipfs，也就是星际文件系统，这是一种对标http的新型互联网协议，从传统的中心化存储，变为分布式存储，通过内容和身份寻址，支持创建完全分布式的应用程序，可以使数据传输更快、更安全。

ifps弱化了中心化存储的极端需求，尤其是大大节省了数据存储、管理与服务提供成本，相比于目前集中化的云存储，被普遍视为一种更有前途的存储和传输协议。

事实上，分布式存储的概念并不新鲜，也曾经出现过一些类似的技术和架构，比如早期的storj，但是ipfs在去中心化方面，做得更进一步。

由于去中心化、区块链的特性，ipfs也被很多人完全和虚拟货币、挖矿联系在一起，甚至认为是个泡沫。

其实这是很大的误解，ipfs的用处远不止于此，而任何技术只要使用得当都能发挥其积极作用，ipfs对于存储的不同需求，更是在倒逼推动存储技术不断革新。

在传统云服务商面前，ipfs服务商对于大数据、大容量存储的苛求更加极致，脚步也更快。

头部云服务商部署的硬盘，容量从8tb计划到18tb，花了足足4年时间，ipfs服务商则在2020-2021年间，只用了短短4个季度，就普及了18tb，而且预计在2022年，20tb就会快速推广，22tb甚至是26tb也将崭露头角。

就西部数据而言，目前大量的业务还是在云服务方面，但是也能看到ipfs服务商的快速增长，尤其是对容量的需求在快速演进。

西部数据副总裁兼中国区业务总经理刘钢

刘钢在演讲中提出，在数字经济时代，数据就是石油，就是发展的动力，而大量数据被浪费，很重要的一个原因是存储架构、技术没有及时地跟上，无法及时保存、管理、利用数据，因此迫切需要创新存储架构，为更多的数据提供海量的存储、快速的访问。

刘钢认为，在海量数据面前，目前的企业级存储架构，面临四个方面的挑战，包括数据增长迅速、存储性能需求倍增、tco成本负担增加、更绿色的能效体系标准。

直白地说，就是要大容量、快速访问、低成本、低功耗。

当然，没有任何一种存储介质或者架构能够满足以上所有需求。事实上，无论数据还是存储，都是分层的，或者说可分为不同的应用场景，能够一一对应。

数据方面，可分为极热数据、热数据、温数据、冷数据、极冷数据，而存储架构也相应的分别是极热存储、热存储、温存储、冷存储、极冷存储，从高到低大致按照访问频率、延迟而划分。

比如，极热存储对应内存，保存随时需要低延迟读写的数据，而极冷存储是少次、大块写入的持久保存数据，比如金融、医疗、广电、监控等行业的长期归档。

对于不停层级的数据和存储，西部数据都有着对应的技术、产品，有针对性地满足应用需求。

比如极冷存储，smr叠瓦式机械硬盘就是最佳方案之一。虽然它在频繁写入方面存在一些天然缺陷，但是极冷数据恰恰不需要频繁写入，smr又具备高存储密度(单碟已达2.2tb)、低成本、低功耗的优势。

包括dropbox在内的许多客户都已经批量部署smr硬盘，用的就是西部数据ultrastar dc hc650，容量达20tb，九碟封装，而且在近期无需太大变革就能做到30tb。

冷存储可以选择cmr传统磁记录硬盘，以及epmr能量辅助磁记录等新技术产品，这方面的典型代表就是西部数据ultrastar dc hc550 hdd，容量可高达18tb，应用了tsa三级磁臂、能量辅助磁记录（eamr）技术以提高性能。

温存储自然首选主流ssd，比如西部数据ultrastar dc sn640，非常适合读写均衡的混合型负载。

而热存储当然对应着高性能ssd，比如西部数据ultrastar dc sn840，适用于密集型工作负载。

在这样的分层存储创新架构之下，西部数据的企业级硬盘产品线，可以同时满足从热存储到极冷存储的不同场景需求，从不同角度，针对性地分别解决大容量、快速访问、低成本、低功耗各方面的挑战。

值得注意的是，西部数据提出的存储架构，同时包含了hdd、ssd，各有自己的定位，这就涉及到了ssd、hdd演进关系的问题。

刘钢表示，2014年之前，大家普遍认为ssd会逐步淘汰hdd，但是随着云服务商云存储的大规模部署和扩张，大容量硬盘的需求在迅猛增加，而综合考虑容量、成本等各方面因素，企业级hdd依然是大数据存储的主力。

同时由于存储技术的天然属性，hdd更有利于持久保存数据，尤其是变动较少甚至访问较少的冷数据、极冷数据，ssd则容易出现断电几个月后数据丢失的问题，同时对断电等意外也更敏感，备灾方面更为棘手。

至于hdd机械存储的未来技术路线，西部数据有多个方向在并行推进，cmr、smr、epmr、mamr等等，有多种选择也是一种好事儿，西部数据也对机械存储密度、容量的增长充满信心。

另外，刘钢还透露，pcie 4.0存储方面，去年已经发布了消费级的wd_black sn850，服务器方面也在做规划和准备，平台大规模部署后就会跟进，因为目前很多产品还在过渡阶段。

特别是在nand闪存方面，曾经作为机械存储巨头的西部数据，也早就实现了华丽转型，并握有三大突出优势。

一是产能。

西部数据如今已是领导的nand闪存厂商，联合铠侠(原东芝存储)目前拥有全球最大的nand闪存产能，容量供应占据足足三分之一，同时也承诺坚持固定的技术投资。

西部数据旗下的晟碟半导体(上海)有限公司，其上海工厂三期厂房扩建项目也已在去年开工，同时西部数据还在上海建立了实验室，都是为了扩充西部数据的制造设施、技术研发，以支持潜在的产能扩张。

二是技术优势。

西部数据和铠侠已经持续投资合作长达20年，已经将3d闪存技术推进到第六代bics 6，堆叠层数高达162层。

这虽然不是业界最多的，但也从另一个侧面显示，西部数据其实不需要堆叠过多层数，通过将芯片面积减少多达40％，加之侧面单元密度大大提升，在单位面积内提供了更大的存储密度和容量，这反而有利于降低技术难度、成本，也有利于保证产能。

同时，存储密度的提升，不仅取决于堆叠层数，也要看存储类型，西部数据正计划后续在企业级中投入密度更高的qlc。

另外，西部数据第六代闪存架构还应用了阵列下电路技术的cmos，以及四平面运行技术，相比前代性能提升2倍以上，读取延时降低10％，输入输出性能提升66％。

三是纵向集成优势。

一块完整的ssd，包含闪存、主控、固件三大部分，只有三位一体才能发挥最佳性能和稳定性，而西部数据在这方面就体现了自己的纵向集成优势，技术领先的nand闪存、先进的主控、高性能的自主固件，都在掌握之中。

西部数据还介绍了一个经典案例：某大型电商客户的要求是ssd性能一致性波动范围不超过10％，ultrastar sn640 nvme ssd则展现了高平稳的i/o一致性，实测波动率仅为0.11％。

换言之，在生命周期的任何时候，在不同负载下，它都有几乎完全相同的表现。

正是有了层级分明的创新存储架构、层次完善的丰富存储产品，西部数据在ipfs快速兴起的当下，已经赢得了众多客户的青睐。

比如与星辰天合、浪潮携手的解决方案部署了ultrastar dc hc550 18tb hdd，与杉岩数据合作的海量对象存储系统应用了ultrastar dc sn840/sn640 nvme ssd以及大容量硬盘ultrastar dc hc550 18tb hdd，与长城超云打造的异构产品组合集群采纳了ultrastar dc hc550 18tb hdd 和ultrastar dc sn640 7.68tb nvme ssd，与灵动联手的存储方案配备了ultrastar dc hc550 18tbhdd和ultrastar dc sn640 nvme ssd。