如何让linux服务器磁盘io性能翻倍

迟分配

当文件扩大，需要分配磁盘空间时，可以不立即进行分配，而是暂存在内存中，将多次分配磁盘空间的请求聚合在一起后，再进行一次性分配。

延迟分配的目的也是减少分配次数，从而减少文件不连续。

延迟分配的副作用有几个：

1 如果应用程序每次写数据后都通过fsync等接口进行强制刷新，延迟分配将不起作用

2 延迟分配有可能间歇性引入一个较大的磁盘IO延时(因为要一次性向磁盘写入较多数据)

只有少数新文件系统支持这个特性

如何针对性优化：

如果不是对安全性(是否允许丢失)要求极高的数据，可以直接在应用程序里缓存起来，积累到一定大小再写入，效果比文件系统的延迟分配更好。

如果对安全性要求极高，建议经常用fsync强制刷新。

在线磁盘碎片整理

Ext4提供了一款碎片整理工具，叫e4defrag，主要包含三个功能：

1 让每个文件连续存储

2 尽量让每个目录下的文件连续存储

3 通过整理空闲磁盘空间，让接下来的分配更不容易产生碎片

有兴趣的同学可以参考http://jsmylinux.no-ip.org/applications/using-e4defrag/

如何针对性优化：

“让每个目录下的文件连续存储”是一个极有价值的功能。

假设一个网页上有10张图片，这10张图片虽然存在10个文件中，但其实是几乎同时被用户访问的。

如果能让这10张图片存储在连续的磁盘空间中，就能把io性能提升10倍(一次寻道就可以读10个文件了)

传统的做法是通过拼接图片来将这10张图片合并到一张大图中，再由前端将大图切成10张小图。

有了e4defrag后，可以将需连续访问的文件放在同一个文件夹下，再定期使用e4defrag进行磁盘整理。

实现自己的文件系统

我们曾经写过一款专用文件系统，针对代理服务器，将磁盘io性能提升到3-5倍。

在大部分服务器上，不需要支持“修改文件”这个功能。一旦文件创建好，就不能再做修改操作，只支持读取和删除。在这个前提下，我们可以消灭所有文件碎片，把磁盘io效率提升到理论极限。

在我们服务器中，每个文件的缓冲区最大值设定为16MB

小于16MB的文件，在服务器准备好整个文件内容后，再创建文件。创建文件时服务器给出文件大小，文件系统保证为文件分配连续的空间。

读写文件时，服务器一次性读写整个文件。

大于16MB的文件，服务器创建文件时告诉文件系统分配16MB磁盘空间。后续每次扩大文件大小时，要么是16MB，要么就是文件终结。不允许在文件未终结的情况下分配非16MB的空间。

读写文件时，每次读写16MB或者直到文件末尾。

在我们的文件系统中，小文件完全无碎片，一次寻道就能搞定一个文件，达到了理论上最佳的性能。

大文件每次磁头定位读写16MB，性能没有达到100%，但已经相当好了。

有一个公式可以衡量磁盘io的效率：

磁盘利用率 = 传输时间/(平均寻道时间+传输时间)

对我们当时采用的磁盘来说(1T 7200转sata)，16MB连续读写已经可以达到98%以上的磁盘利用率。