Linux NFS服务器性能优化

Linux NFS服务器性能优化 - 操作系统 - 电脑教程网

Linux NFS服务器性能优化

日期:2006-03-13   荐:

NFS是网络文件系统(Network File System)的简称,是分布式计算系统的一个组成部分,可实现在异种网络上共享和装配远程文件系统。NFS由Sun公司开发,目前已经成为文件服务的一种标准(RFC1904,RFC1813)。其最大的功能就是可以通过网络,让不同操作系统的计算机可以共享数据,所以也可以将它看做是一个文件服务器。NFS文件服务器是Linux最常见网络的服务之一。尽管它的规则简单,却有着丰富的内涵。NFS 服务器可以看作是一个文件服务器,它可以让你的PC通过网络将远端的NFS 服务器共享出来的文件挂载到自己的系统中,在客户端看来使用NFS的远端文件就象是在使用本地文件一样。

一、硬件设备的选择

随着计算机技术的发展,以硬盘为首的I/O设备对计算机的整体性能影响越来越大,通讯服务器(messaging/E-mail/VOD):快速的I/O是这类应用的关键,硬盘的I/O吞吐能力是主要瓶颈;数据仓库:大型商业数据存储、编目、索引、数据分析,高速商业计算等,需要具有良好的网络和硬盘I/O吞吐能力;数据库(ERP/OLTP等)服务器,除了需要具有强大的CPU处理能力,同时需要有很好的磁盘I/O吞吐性能;

NFS网络文件系统性能的主要瓶颈是硬盘的I/O性能和网络带宽。SCSI(Small Computer System Interface,小型计算机系统接口)技术在需要高性能的网络服务器和工作站领域却得到了广泛应用,现在已经成为网络服务器的标准的接口选择。速度从SCSI-I最初的5MBps到2005年的320MBps。内部传输率的高低是评价一个硬盘整体性能的决定性因素,硬盘数据传输率分为内外部传输率。通常称外部传输率也为突发数据传输率或接口传输率,指从硬盘的缓存中向外输出数据的速度。由于硬盘的内部传输率要小于外部传输率,所以只有内部传输率才可以作为衡量硬盘性能的真正标准。SCSI硬盘技术在内部传输率要性能上有更大优势。通常在一个50个用户的NFS网络系统中使用10个基于RAID5级别10000rpm的SCSI硬盘可以达到较好的效果。

在服务器磁盘I/O性能之后,网络带宽是网络文件系统下一个瓶颈。通常应当使用单独的1000兆快速以太网连接NFS服务器和客户机发送报文信息。同时确保NFS服务器和客户机工作正常,交换机、路由器等网络设备工作正常。图-1是一个理想的NFS网络拓扑结构。

图-1 一个理想的NFS网络拓扑结构

二、软件环境优化

如果我们没有很高硬件环境,可以考虑从软件方面优化性能。

1、清理NFS服务器磁盘碎片:

不论Linux文件系统采用什么文件格式(ext3、JFS、XFS、ReiserFS )、何种类型的硬盘(IDE 、SCSI),随着时间的推移文件系统都会趋向于碎片化。ext3、JFS等高级文件系统可以减少文件系统的碎片化,但是并没有消除。在繁忙的数据库服务器中,随着时间的过去,文件碎片化将降低硬盘性能,硬盘性能从硬盘读出或写入数据时才能注意到。时间长了会发现每个磁盘上确实积累了非常多的垃圾文件,释放磁盘空间可以帮助系统更好地工作。Linux最好的整理磁盘碎片的方法是做一个完全的备份,重新格式化分区,然后从备份恢复文件。但是对于7×24小时工作关键任务服务器来说是比较困难的。Kleandisk是一个高效的磁盘清理工具,它能把磁盘上的文件分成不同的"组",比如把所有的"core"文件归成一组(Group),这样要删除所有core文件时只要删除这个组就行了。core文件是当软件运行出错时产生的文件,它对于软件开发人员比较有用,对于其他用户(比如电子邮件服务器)却没有任何意义。因此,如果没有软件开发的需要,见到core文件就可以将其删除。

51页 1 2 3 4 5


2、开启硬盘DMA

现在使用的IDE硬盘基本支持DMA66/100/133(直接内存读取)但是Linux发行版本安装后一般没有打开,可以/etc/rc.d/rc.local 最後面加上一行: /sbin/hdparm -d1 –x66 -c3 -m16 /dev/hda 这样以后每次开机,硬盘的 DMA 就会开启,不必每次手动设定。添加前后你可以使用命令:hdparm -Tt /dev/hda 来测试对比一下。

 3、调整缓冲区刷新参数

  Linux内核中,包含了一些对于系统运行态的可设置参数。缓冲刷新的参数可以通过调整 /proc/sys/vm/bdflush文件来完成,这个文件的格式是这样的:

# cat /proc/sys/vm/bdflush

30 64 64 256 500 3000 60 0 0

  每一栏是一个参数,其中最重要的是前面几个参数。第一个数字是在"dirty"缓冲区达到多少的时候强制唤醒bdflush进程刷新硬盘,第二个数字是每次让bdflush进程刷新多少个dirty块。所谓dirty块是必须写到磁盘中的缓存块。接下来的参数是每次允许bd flush将多少个内存块排入空闲的缓冲块列表。 以上值为RHEL 4.0中的缺省值。可以使用两种方法修改:

  (1)使用命令

# echo "100 128 128 512 5000 3000 60 0 0">/proc/sys/vm/bdflush

  并将这条命令加到/etc/rc.d/rc.local文件中去。

  (2)在/etc/sysctl.conf 文件中加入如下行:

vm.bdflush = 100 128 128 512 5000 3000 60 0 0

  以上的设置加大了缓冲区大小,降低了bdflush被启动的频度,VFS的缓冲刷新机制是Linux文件系统高效的原因之一。

  4、NFS版本的选择

  NFS协议从诞生到现在为止,已经有多个版本,如NFS V2(rfc1094),NFS V3(rfc1813)(最新的版本是V4(rfc3010)。最早,Sun公司曾将NFS v2设计成为只使用UDP协议,主要原因是当时机器的内存、网络速度和CPU的影响,不得不选择对机器负担较轻的方式。而到了NFS v3,Sun公司选择了TCP协议作为缺省的传输方式。

  V3相对V2的主要区别:

  1、文件尺寸

  V2版本最大只支持32BIT的文件大小(4G),而NFS V3版本新增加了支持64BIT文件大小的技术。

  2、文件传输尺寸

  V3版本没有限定传输尺寸,V2版本最多只能设定为8k,可以使用-rsize and -wsize 选项来进行设定。

  3、完整的信息返回

  V3版本增加和完善了许多错误和成功信息的返回,对于服务器的设置和管理能带来很大好处。

  4、增加了对TCP传输协议的支持

  V2版本只提供了对UDP协议的支持,在一些高要求的网络环境中有很大限制,V3增加了对TCP协议的支持。UDP有着传输速度快,非连接传输的便捷特性,但是UDP在传输上没有TCP来的稳定,当网络不稳定或者黑客入侵的时候很容易使NFS的 Performance 大幅降低甚至使网络瘫痪。所以对于不同情况的网络要有针对的选择传输协议。

52页 1 2 3 4 5


  5、异步写入特性。

  6、改进了服务器的mount性能。

  在Linux上,UDP协议是缺省使用的协议。作为服务器而言,别无选择。但作为客户端,可以使用TCP协议和其它使用TCP的NFS服务器互连。在局域网中使用UDP协议较好,因为局域网有比较稳定的网络保证,使用UDP可以带来更好的性能,RHEL 4.0默认使用V2版本。但是 Linux也可以通过mount option的nfsvers=n进行选择。

  5、优化输入输出

  I/O程序对Linux系统性能也是相当重要的,网络硬件I/O对服务器尤其重要。现在大多数Linux服务器使用10/100 Mb以太网。如果有较重的网络负载,则可以考虑千兆以太网卡。如果没有能力购买千兆网卡的话:可以使用多块网卡虚拟成为一块网卡,具有相同的IP地址。这项技术,在Linux中,这种技术称为Bonding。Bonding在Linux2.4以上内核中已经包含了,只需要在编译的时候把网络设备选项中的Bonding driver support选中见图2。当然利用Bonding技术配置双网卡绑定的前提条件是两块网卡芯片组型号相同,并且都具备独立的BIOS芯片。

图2 Linux内核的Bonding driver support选项

标签: