关于AIX挂载NFS写入效率低效的解决方法

nfs提供的服务

mount: 通过在服务端启用/usr/sbin/rpc.mountd伺服进程，在客户端使用mount命令，mounted伺服进程是一个rpc来回应客户端的请求

remote file access:通过在服务端启用/usr/sbin/nfsd和在客户端启用/usr/sbin/biod，来出来客户端对文件的请求。但客户端一个用户要来读或写一个在服务器端的文件时，biod伺服进程发送这个请求到服务端。

boot parameters: 通过在服务端启用/usr/sbin/rpc.bootparamd伺服进程来提供无盘sunos客户端的启动参数。

pc authentication: 通过在服务端启动/usr/sbin/rpc.pcnfsd来提供pc-nfs的用户认证服务

一个nfs服务是无状态的(stateless)，也就是说，nfs的传输是原子级的，一个单一的nfs传输对应了一个单一完整的文件操作。

背景：

linux是nfs的server端，aix是nfs的client端（此外，有一个linux也作为client端对比测试）。

1.nfs对应的底层设备是闪存卡，本地测试i/o写性能可达2gb/s;

2.服务器是千兆网卡，ftp测试传输可达到100mb/s;

3.aix成功挂载nfs，dd测试写入速度只有10mb/s;

4.linux成功挂载nfs，同样dd测试写入速度可达到100mb/s;

说明：以上速度主要是体现数量级的差异，实际测试会有少许偏差。

具体环境：

• nfs server：rhel 6.8
• nfs client：aix 6.1、rhel 6.8

挂载参数均依据mos文档配置：

mount options for oracle files for rac databases and clusterware when used with nfs on nas devices (文档 id 359515.1)

根据本次实际需求，提炼一下需要配置的参数：

--mos建议(aix):
cio,rw,bg,hard,nointr,rsize=32768,
wsize=32768,proto=tcp,noac,
vers=3,timeo=600

--mos建议(linux):
rw,bg,hard,nointr,rsize=32768,
wsize=32768,tcp,actimeo=0,
vers=3,timeo=600

aix nfs的挂载参数：

mount -o cio,rw,bg,hard,nointr,rsize=32768,wsize=32768,proto=tcp,noac,vers=3,timeo=600 10.xx.xx.212:/xtts /xtts

直接挂载提示如下错误：

# mount -o cio,rw,bg,hard,nointr,rsize=32768,wsize=32768,proto=tcp,noac,vers=3,timeo=600 10.xx.xx.212:/xtts /xtts
mount: 1831-008 giving up on:
10.xx.xx.212:/xtts
vmount: operation not permitted.

查资料确认aix需要额外设置网络参数：

# nfso -p -o nfs_use_reserved_ports=1

再次尝试挂载成功：

mount -o cio,rw,bg,hard,nointr,rsize=32768,wsize=32768,proto=tcp,noac,vers=3,timeo=600 10.xx.xx.212:/xtts /xtts

可dd测试的速度非常不理想，只有10mb/s：

--test performance; aix nfs
# time dd if=/dev/zero of=/xtts/test-write bs=8192 count=102400
102400+0 records in.
102400+0 records out.

real 0m43.20s
user 0m0.79s
sys  0m5.28s
# time dd if=/xtts/test-write of=/dev/null bs=8192 count=102400
102400+0 records in.
102400+0 records out.

real 0m30.86s
user 0m0.84s
sys  0m5.88s

所有参数都是根据实际需求，按照mos的建议设置的。有什么问题吗？

• 尝试去掉cio参数测试，发现结果几乎没变化；
• 尝试去掉hard参数测试，发现结果几乎没变化；
• 尝试协议从tcp改为udp测试，发现结果几乎没变化；

几乎能试的参数都试了，结果都不理想，马上都准备协调资源找主机工程师定位了。

此时，灵感乍现，突然想到一个可能性。有没有可能aix上的nfs限制了单个进程的i/o吞吐能力？带着这个猜测，进行并行测试：

开5个窗口同时开始dd：

time dd if=/dev/zero of=/xtts/test-write1 bs=8192 count=102400
time dd if=/dev/zero of=/xtts/test-write2 bs=8192 count=102400
time dd if=/dev/zero of=/xtts/test-write3 bs=8192 count=102400
time dd if=/dev/zero of=/xtts/test-write4 bs=8192 count=102400
time dd if=/dev/zero of=/xtts/test-write5 bs=8192 count=102400

惊喜的发现5个窗口都在55s同时完成，这相当于800m*5=4000m，都在55s完成，每秒达到72mb/s，通过这种并行的方式已满足提升效率的需求。

而且看起来只要继续尝试多开窗口测试，基本也能达到网络上限100mb/s（千兆网卡限制）。

附：测试同样的nfs挂载到另一台linux服务器上，无需并行，dd写入速度就可达100mb/s，这也是之前影响自己思考的因素。
linux nfs的挂载参数：

# mount -o rw,bg,hard,nointr,rsize=32768,wsize=32768,tcp,actimeo=0,vers=3,timeo=600 10.xx.xx.212:/xtts /xtts

linux nfs的测试结果：

--test performance; linux nfs
# dd if=/dev/zero of=/xtts/test-write bs=8192 count=102400
102400+0 records in
102400+0 records out
838860800 bytes (839 mb) copied, 6.02451 s, 139 mb/s
# dd if=/xtts/test-write of=/dev/null bs=8192 count=102400
102400+0 records in
102400+0 records out
838860800 bytes (839 mb) copied, 8.55925 s, 98.0 mb/s

对aix不熟悉，没有进一步深究底层原理。开始解决问题过程中的主要困惑在于，为何linux作为client时，无需并行就可以dd测试达到100mb/s的速度，使自己陷入了固有思维中。从这件事情得到的思考是：有些时候，要跳出常规思维去思考方可有所突破。

最后把nfs server端本地测试的结果也贴出来，感叹下闪存卡的i/o能力：

# dd if=/dev/zero of=/dev/test-write2 bs=8192 count=1024000
1024000+0 records in
1024000+0 records out
8388608000 bytes (8.4 gb) copied, 4.19912 s, 2.0 gb/s

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对的支持。