RAID、VMware兼容4KB扇区硬盘么?

4kb扇区硬盘开始在市场上广泛使用，那么企业存储的情况如何呢?物理4kb扇区还需要模拟成512byte吗?

围绕4kb扇区硬盘，由于大家在这方面了解的基础不同。可能会有如下的疑问：

1、为什么会有4kb扇区硬盘?好处在哪里?2、原生4kb扇区和模拟512byte，兼容性有什么差别?3、4kb扇区对性能的影响4、软硬件生态系统，需要做哪些配合?5、ssd目前主要还是仿真磁盘块设备来使用，它是512byte还是4kb设备呢?6、在raid阵列和虚拟机环境，硬件与guest os之间多了一个抽象层，这是否也会影响到4kb兼容?

以上6点相互关联，因此在本文中都会有所涉及。首先引起我们注意的是，近日有一份来自戴尔的资料，其中提到了2.5” 2tb 7.2k nlsas(近线sas)hdd的引入，这款硬盘采用的是512byte仿真扇区大小。

上表列出了3种硬盘扇区格式类型。512n——物理格式化和向主机呈现的逻辑扇区字节数均为512byte，早期的硬盘都是这样;512e——物理扇区大小为4096字节，逻辑上仿真为(8个)512字节扇区，为了兼容性的一种过渡;4kn——即原生4kb，物理和逻辑扇区字节数都是4kb。

4kb扇区硬盘与生态系统概述

由于it栈中的组件默认针对512b扇区大小已经30年了，下面我们来看看针对4kb扇区硬盘，整个生态系统需要分析/升级的地方。

服务器bios/uefi – 支持4k可能需要uefi – 传统bios需要修改来增加针对4kb原生驱动器的支持。

存储控制器(hba)– 驱动和firmware需要改变。

raid stack(位于raid卡和阵列控制器)–驱动和firmware需要改变。

os stack – 操作系统必须是4k感知才能使用4k原生驱动器;512e驱动器对于许多组件都支持，但是扇区对齐决定了获得最好性能。

文件系统 – 基于不同os版本，这里可能有一些问题。微软对ntfs 做了一些改动，针对在windows 7/2008 r2中支持512e。

应用 – 需要理解那些进行unbuffered(未缓冲)写入的应用。

hypervisors – 512e可以被用于当前的微软/vmware hypervisors(性能可能变差)，但 vhd 1.0是硬性编码到512 byte并且没有当前的hypervisor支持4k原生 – 必须支持vhd 2.0规范来获得4k原生支持。

开发工具 – 分区对齐对于在512e 驱动器上达到最好性能是个关键。4k原生– 还没有数据来理解开发方面的问题。

什么是4kb高级格式化、路线图

如上图，原生512n每个扇区都有50bytes的ecc纠错码;4kb扇区将这个ecc区域合并、扩大(但没有50bytes的8倍那么大)，并省去了间隔、地址标记等空间，因此格式化效率提升到大约97%，并且能否检测和纠正更大的介质错误。

也就是说，在磁记录密度不变的情况下，“高级格式化”能够提供更大的实际可用容量。随着硬盘上的记录单元——磁极尺寸不断缩小，容量增速放缓，4kb扇区是未来大容量硬盘的趋势。

参考上图，512byte原生扇区硬盘的生命周期将在2017年终止(部分企业级产品和老型号可能例外)。按照这个之前的预计，以3.5” 7200转为例最大是4tb，超出该容量物理扇区只有4kb了?实际上我们看到有硬盘厂商推出6tb 512byte物理扇区的型号，包括密封充氦7碟片和非充氦普通6碟片，但继续增大容量还是需要4kb扇区。

4kb扇区仿真512byte已经广泛应用于客户端，毕竟即使出现写放大或者未对齐写入产生更多i/o，pc用户对磁盘性能也没有那么敏感，但企业级应用则要保守多了。除了4kb扇区仿真512byte，原生4kb扇区硬盘直到2014年晚期才发布针对企业级市场的版本，它无法工作在windows server 8(2012)之前的操作系统，并且与上文中我们介绍的生态系统密切相关。

物理、vmware虚拟机环境的“对齐/非对齐”写入

这一段的几张截图来自ibm的一份文档，其中“misaligned”和“aligned”分别表示在使用512e硬盘时非对齐和对齐的4kb i/o块操作。由于4kb块(比如对应文件系统的页面)操作需要先以8个512bytes逻辑扇区写入到硬盘，再合并记录到4kb物理扇区，在非对齐的情况下，一个4kb逻辑写i/o对应到2个物理磁盘扇区，如果是新写入就会产生2次i/o;若是改写之前物理扇区中的数据，则需要读-更改-写的操作，这种非原子写入(non-atomic)最多可能产生4次i/o。

而对齐的情况则简单多了，尽管中间要经过硬盘模拟512bytes扇区的过程，但每个4kb的i/o操作都是对应到一个物理扇区。属于比较理想的情况。

我们参考下这个表格里不同操作系统对高级格式化的感知情况。其中，windows从server 2008开始能够感知512e硬盘并自动对齐分区;server 2012进一步加入了对原生4kn设备的支持。rhel 6可以感知512e和4kn硬盘并能自动对齐;sles 11能感知512e和4kn硬盘却无法自动对齐?vmware esxi 4.x和5.x都无法感知512e和4kn硬盘，但支持自动分区对齐。这里有必要进一步解释下。

首先对于windows server 2003、rhel 5和sles 10来说，512e硬盘首先是可以用的，只是操作系统“意识不到”而当成512n来用了。微软如今已经停止了对server 2003的支持(戴尔等厂商为用户提供迁移方案和服务)，如果我们在这些较早的操作系统上使用第三方分区工具，或者手动指定开始扇区建立对齐的分区，应该可以规避一部分性能影响。

对于4kn来说，这三款操作系统应该就没有办法兼容了，同样的还有vmware esxi 4.x和5.x。尽管，vmware hypervisor支持自动分区对齐(vmfs-3和vmfs-5分别以第128和2048为起始扇区)，但目前的esxi 6.0和vsan版本还是无法感知512e和4kn，其中512e硬盘由于潜在性能问题而不被vmware官方支持。

上图截自vmware网站，供大家参考

这张图演示了在虚拟化环境下对齐和非对齐分区的情况。当“aligned”对齐时，在hypervisor层vmfs-5的文件块大小统一为1mb，子块(sub-blocks)大小8kb正好对应2个物理扇区上的16个逻辑扇区。此时如果虚拟机的os block正好与vmfs子块对齐的话，等于就是与物理磁盘扇区对齐了，这样还算好一些的情况。

而对于“misaligned”未对齐配置，如果要写入到虚拟机中的os block 1，有2个vmfs子块被写入，并且每个子块需要2次读-修改-写周期(指改写而不是写入空白块，因为每半个vmfs block在“错位”情况下也会对应到2个物理扇区)。这样就有可能在底层产生8次i/o?

我们在vmware网站查询了更多关于4kb扇区兼容的情况，这方面应该还在遥远一些的roadmap中。毕竟对于hypervisor而言广泛的向后兼容性相当重要，512e我觉得将来会支持，而如果上层虚拟机就是要在4kn硬盘上进行512byte的磁盘i/o，软件厂商没义务去做这个转换啊。

既然vmware如此，估计kvm和xen的情况也不会好多少，对此我了解有限就不班门弄斧了。而hyper-v可能是个特例吧，因为微软虚拟化平台上跑windows虚拟机比较多，那么用vhd 2.0规范的4k原生磁盘格式运行server 2012虚拟机应该不会出问题。

“对齐”并不代表性能就完全达到512n的水平，如果是小于4kb的随机写入512e硬盘还是会产生写放大或者惩罚。上面的软件兼容情况也适用于raid卡和磁盘阵列的lun，因为操作系统和虚拟机hypervisor对它们是与本地磁盘同样的方式来看待。下面我们再来谈一下磁盘控制器对4kb扇区的兼容支持情况。

perc卡和md控制器的4kb扇区支持

如上图，左边是比较早的戴尔服务器sas raid卡、hba、主板集成软raid和md家族阵列控制器。它们能够支持512e仿真扇区的硬盘，对于较早的操作系统可能需要补丁、对齐工具(比如让ntfs文件系统的簇与物理扇区对齐)和驱动更新。

对于这些传统磁盘控制器，对上层主机呈现的lun(逻辑盘)都是512byte扇区。

到了新一代的perc 9、md38xx阵列控制器，以及未来的服务器软件raid，已经能够支持原生4k扇区硬盘，并提供给主机4k格式的lun。有同行朋友说这样做在一些场景下有性能的改善，也听到有专家说微乎其微。而我们想提醒大家的是：在选择这种“前卫”的配置之前，部分存储产品已经做好了准备，但上层软件兼容性需要用户自己注意，参考包括本文在内的资料，征询工程师/技术顾问的建议，必要情况下进行测试。

如上图，这台戴尔服务器配置了perc 9系列raid卡中的h730p mini，它识别到当前选定sas硬盘的物理和逻辑扇区大小都是512byte。

组建raid之后的虚拟逻辑盘(lun)，自然也是512byte扇区格式。当您阅读本文到这里，在此机器上如果换成512e或者4kn的硬盘，会产生什么样的结果、有哪些注意事项就比较清楚了吧?

ssd的“扇区”是多大?

这里也要提一句ssd，据我们了解目前大多数的sas/sata ssd，在raid卡和磁盘控制器管理程序中显示的物理和逻辑扇区大小都是512byte，同样是兼容性考虑。其实闪存的最小写入单元——页面大小目前一般为4kb或者8kb，那么“扇区”也都是模拟出来的。测试反映这种模拟对性能的影响不大，因为ftl的存在，数据在ssd上的逻辑地址与物理闪存位置的对应关系都是可变的，来自主机小于4kb的写入也可能会合并到一个闪存页面上。

pcie ssd(闪存卡)的情况不太一样，有些厂商在出货时“格式化”为4kb扇区，如果遇到软件应用不兼容的情况(比如oracle数据库等)，可以使用专门的工具转换格式为512byte扇区大小。

当存储虚拟化网关遇上“4kb lun”

从前端到后端都呈现4kb也许会在未来某个时候流行。而对于存储控制器而言，使用原生4kb扇区硬盘，却向上给主机呈现512byte的lun单从技术实现上看却也可行，只要您不在乎性能打折扣——小于4kb的io都会被放大至一个硬盘扇区，一次下发8个512byte写请求也可能会落到2个4kb扇区上(如果文件系统/应用层未对齐的话)。

这就是在控制器层面的“欺骗”，之前讲的512e是在硬盘层面上“欺骗”。

欺骗一词，用在这里并不是贬义。raid技术本身就是将一组硬盘“虚拟化”为一块盘呈现给主机。由此我们还联想到被戏称为“上骗主机，下骗阵列”的存储虚拟化设备，它们与raid控制器最大的不同就是其后端管理的存储单元由磁盘/ssd变成了阵列的lun。

存储虚拟化对于后端阵列表现为“主机”，而在前端主机看来它又是一台“阵列”，基本原理可以简单解释为用initiator导入lun，再将其用target导出给主机，中间可选加入数据服务。目前我们还没留意到有存储虚拟化产品宣称兼容4kb扇区格式的lun?这一点在技术上实现估计并不是太难，关键取决于兼容性测试的工作量，以及实际的需求。

举例来说，一些存储虚拟化产品根据设置会在后端设备的lun上再做一次条带化，以前都是按照512byte扇区来考虑，数据切块大小可以直接按一定数量扇区来计算就行。而如果扇区大小变成4kb，要是继续保持原有扇区数的话就意味着“条带”增大了8倍。对于导出给前端主机的lun容量，也会存在类似的问题。

总结硬盘厂商对4kb扇区支持的动力毋庸置疑，但在逻辑上是否继续模拟512byte则取决于生态系统的进展。

对于企业存储而言，由于一些传统应用(如：oracle数据库)的i/o操作最小单位仍小于4kb，使用原生512byte扇区硬盘可以保证最好的性能;模拟512byte能够兼容，但容易产生性能影响;至于原生4kb硬盘，则要求文件系统、卷管理器具备相应的支持，否则会报错。

目前一些比较新的服务器、磁盘阵列上的存储控制器，已经能够兼容原生4kb硬盘。想了解更多精彩教程请继续关注网站！