融合NAS和SAN的存储网络设计

道和附网高速通道,对于元数据和小数据请求都经过服务器通道完成,对于大数据请求则经过附网高速通道完成,这样大大提高整个系统的I/O 速度,减少服务器瓶颈。整个USN 是用基于IP 的技术构建,可以兼容现有的存储系统,添加和删除存储设备都很方便。所以,整个系统的性能、扩展性都很好。USN 真正实现了NAS 和SAN 的统一,即同一存储网络中既有NAS 设备,又有SAN 结构;实现文件I/ O 和块I/O 的统一,即用户可以文件I/O 方式(文件为单位) 也可以块I/O方式(块为单位) 访问USN 中的设备;实现了文件协议和块协议在TCP/ IP 协议上的统一,用户可以NFS(Unix 用户) 和CIFS(Windows 用户) 访问USN ,也可以SCSI(iSCSI 用户) 访问USN。

图2 是USN 的软件结构图,其中GMPFS 是全局多协议文件系统,位于USN 系统中的各个应用服务器上,它支持使用CIFS 协议的Windows 用户对USN 的访问,支持使用NFS 协议的UNIX用户对USN 的访问,也支持使用iSCSI 协议的块协议用户对USN 的访问。GMPFS 通过对目前存储系统所使用的元 数据进行扩展,采用启发式的方法,收集用户应用信息,为用户提供统一、方便、快捷的存储访问接口以及合理的数据存储方案。ASA 是自主存储代理模块,它能够自动地发现海量存储系统中存储设备的种类和可利用的各种资源,自主地对这些存储设备和资源进行有效的统一管理和优化。ASA 根据应用的不同和应用的具体需求,安排与应用相适应的存储设备种类、性能以及可靠性和可用性等级等,并为I/ O 请求选择合适的数据通道,使应用得到最优的存储资源分配,从而使整个系统的性能达到最佳。

系统设计
　　

USN 是一个复杂的系统,涉及到许多复杂的技术,本文主要论述其核心技术的设计和实现,即GMPFS、ASA 和iSCSI 系统的设计与实现。 GMPFS 可以驻留在多种操作系统平台上(UNIX,Windows ,Linux) ,支持各种协议用户的访问(NFS ,CIFS ,iSCSI) ,为用户或应用程序提供对网络存储系统的数据访问服务。 ASA 将多种存储技术(这些存储技术各有所长,也各有所短) 整合为一个统一的海量存储系统,充分发挥各种存储技术的优势,使得该存储系统对特定的应用程序而言服务性能达到最优,有效地满足多方面的应用需求。iSCSI 真正的实现了块I/ O 和文件I/ O 在IP 网络上的统一,文件协议和块协议在IP 协议上的统一。

　全局多协议文件系统的设计
GMPFS 保留了分布式文件系统的灵活性和高性能的优点,而克服了其在不同I/ O 协议支持方面的缺陷,能同时支持NFS、CIFS 和iSCSI 协议用户的访问。 GMPFS 在提供文件存取的方法和文件目录结构的同时,还为每种存储卷提供特定的存储模式。 每种存储模式包含某种文件系统的元数据结构,操作接口(文件类型和数据块类型) ,功能函数集(格式化,检索等) ,优化方法(cache方法和预取等) 和存储空间分配回收方法及数据结构。对于文件卷而言,存储模式包含实现POSIX语义的操作函数和文件目录结构;对于分区卷而言,存储模式必须面向特定分区类型,如NTFS ,ext3。 所有的存储模式都必须在元数据服务器中的ASA 系统中注册,以便ASA 为用户的I/O 请求进行通道选择。

GMPFS的结构如图3 所示。其中协议转换接口主要通过NFS 的扩展程序模块和samba 模块的组合对NFS 协议和CIFS协议的支持,并通过iSCSI 目标器驱动程序的扩展对iSCSI 协议的支持。启发式数据管理接口主要是用启发式方法获得用户对存储数据的需要,如性能、使用率以及安全性等。GMPFS数据组织逻辑界面提供数据组织的逻辑视图,这一点正是针对传统文件系统文件目录结构对于海量数据难以管理的弱点,在增加元数据信息的前提下,通过查询和检索,按照用户需要提供各种类型文件视图,例如根据文件创建的用户和时间进行分类。扩展的文件或卷操作接口、数据组织与分配管理、元数据组织结构和I/ O 定向器等主要是保证与传统的文件系统操作语义兼容,实现程序级的数据访问。应用程序无需修改就可以使用USN 系统中的数据。提供与元数据服务器中的ASA 及存储资源的接口和通讯,能充分利用ASA 系统所掌握的存储资源,合理组织数据,满足用户或应用程序对数据存储的多方面、个性化要求。如通过同时提供服务器通道和附网高速通道,改善用户的I/ O 性能服务,减少服务器瓶颈。

iSCSI系统设计
iSCSI 协议定义的是SCSI 到TCP/ IP 的映射,即将主机的SCSI 命令封装成IP 数据包,在IP 网络上传输,到达目的节点后,再恢复成封装前的SCSI 命令,从而实现SCSI 命令在IP 网络上的直接、透明传输。它整合了现有的存储协议SCSI 和主流网络协议TCP/ IP 等两种主流协议,实现了存储和网络的无缝融合。从应用的角度看,iSCSI 一方面通过SCSI 命令的远程传送,实现了和远程存储设备的命令级交互,使用户访问远程的SCSI 设备像本地的SCSI 设备一样方便,而且具有高速度;另一方面也可用于改造传统的NAS、SAN 技术,实现NAS 和SAN 的融合。iSCSI 系统是USN 系统的核心部分之一,iSCSI 的设计实现了基于IP 的数据块访问机制。