存储基础网络的发展趋势和技术发展
时间:07-01
来源:中国IT实验室
点击:
存储基础网络的发展趋势
存储基础网络是用来在局域或广域的范围内将计算机主机、服务器和存储设备连接起来进行数据访问和通信的网络,它包括专用的 SAN 和通用的 IP 网络基础设施,用来为应用系统访问网络上分布的存储设备提供数据的传输通道和基本的网络服务。
存储基础网络不同于普通局域网络或广域网络。传统网络使用 TCP/IP 协议在计算机之间、计算机与服务器之间和服务器与服务器之间建立网络连接,进行基于应用的数据通信;存储基础网络主要使用 SCSI 、 FCP 等传输协议在计算机与存储之间、服务器与存储之间甚至存储与存储之间建立网络连接,进行基于块的数据传输,它使应用系统可以直接访问存储,并获得最大的数据传输能力,当存储网络需要向远程和分布式存储拓展时,它也会在低层使用 TCP/IP 协议来传输 SCSI 、 iSCSI 或 FCP 协议数据包来克服传统 SAN 网络在距离上的限制。
正因为存储基础网络在技术上有着自己的特点,因此它的发展趋势也有别于传统网络,但又与传统网络的技术发展息息相关。
随着存储网络的发展和市场对存储需求的不断增长,我们认为存储基础网络的发展趋势如下,其中许多是已经出现并变得越来越重要的技术:
支持多种协议。多协议支持是在存储网络之间进行连接的基础,通过软件升级将新的协议插件增加到已有的硬件环境中,使用户不需要购买新的设备就能将存储基础网络升级到新的协议集或版本。
在不同的存储网络之间互连互通。随着投入运行的存储孤岛网络的增加,以及正在建设或计划建设的大型存储系统的增多,企业需要充分利用现有的软硬件资源,将这些已经投入运行的存储孤岛连接起来,或整合到新建的存储系统中,纳入统一的管理和应用,同时在更广阔的范围考虑大型存储系统之间的远程互连,进行信息的交互和共享,这都需要存储基础网络为用户提供轻松互连、灵活管理的手段和能力。
模块化和刀片化。存储网络设备将按照一个统一的标准进行模块化生产,甚至不同厂家的模块也能互换,另外,这些模块能被集成到刀片式服务器中,使刀片服务器成为一种廉价的、功能强大的存储设备,为小型企业或特殊应用提供低成本的解决方案。
更高的安全性,和更易于管理、实施的存储网络安全策略。在今后将可以利用更多的网络安全技术,但网络安全的管理将变得更加简单和易于操作。
存储网络虚拟化技术臻于完善。存储系统将在存储网络设备一级提供更好更灵活的虚拟化技术,如 VSAN ,通道虚拟化、设备虚拟化,虚拟化技术将带来更好的安全性、更好的设备和通道利用率,并提高系统的扩展能力和故障恢复能力,同时也为实现更先进的管理提供方便。
更加智能的存储网络管理。存储系统的管理将采用更统一的、分层的管理平台来实现从硬件到软件的智能管理,实现设备的即插即用,复杂的人工配置、参数调整工作都将得到简化。
可靠且更加稳定。存储基础网络将从组件模块化、硬件冗余、故障在线检测、预测报警等多个方面提高网络系统的稳定性,且在一定程度上实现故障的自动恢复。
构建和管理存储基础网络时面临的问题
用户在构建和管理存储基础网络时将会面对这样一些主要问题:
当一个存储项目立项后,存储网络的设计者虽然明确了用户的需求,但是也为项目的投资和用户的某些特殊要求所限制,难点是:如何确定一个方案,既完全满足系统的各项技术指标,又能够不超出预算,还能为系统预留一定的扩展能力?使系统能够在未来轻松地扩展和升级,当业务发展时,满足用户对存储容量、带宽和系统互连的进一步需求。
当一个方案确定后,如何轻松地连接和配置存储网络设备,并验证所设计的方案是否达到了预期的目标?通过验证找出方案设计的不足或设计问题,使系统在投入运行前就能规避可能出现的设计问题。
在存储系统的关键领域或存储网络的关键环节,如何验证和仿真存储基础网络在故障检测、故障恢复和应急方面是否达到了设计目标,保证在出现故障的情况下存储系统能够不间断工作(或按要求迅速恢复工作)。
在系统运行过程中,如何更轻松地管理和配置存储基础网络,以实现基于用户或应用的变更管理,如用户权限的变更,通道带宽或 VSAN 带宽的动态分配等。
如何将一个现有的存储网络系统分步骤升级到新的核心和架构,而不必担心升级过程中应用的中断、设备的连通性和技术的兼容性,同时又能将旧设备充分地应用在新的系统中,无论是应用在局部还是边缘?
关于技术发展的一些思考
技术的发展除了要在技术本身(如先进性、可用性、稳定性和安全性)上面下工夫外,还要在用户友好、易用等多个方面下功夫。总而言之,技术的发展首先是解决在相应领域的应用问题,使产品能够满足用户的需求,其次是解决在实际使用中的问题,使产品好用、易用、便于扩展和充满灵活性。
随着存储系统在一些新的领域变得越来越举足轻重,如视音频处理、广播电视、音像资料库,这些应用更强烈地要求在块级( block level )对数据进行操作以提高存储性能,它们对存储网络在架构、性能和灵活性方面的要求越来越高,因此越来越多地采用一些新的技术来解决实际问题,如 iSCSI 、 DAFS 和 InfiniBand ,也就是说要求存储网络设备能支持大多数协议,并且能够灵活扩展。今后的存储网络设备将标准化协议支持接口,使设备增加一种协议就像安装一个软件插件一样方便,而且还可以在一个控制台上实现网络中所有设备的升级和启用。
存储系统是一个综合系统,包括存储基础网络的硬件和支撑软件,也包括存储设备、用于管理存储设备的服务器及存储管理软件等部分,因此今后的存储系统在整体上将变得更加统一、协调,但在体系结构上严格的分层隔离。这样,存储应用系统将只关注于应用层的逻辑实体,运行在由系统层和物理层提供的平台上,而不必关心底层物理设备的具体实现方式;同理,在虚拟化技术的支持下,系统层也只关注于相应的虚拟实体(系统对象模型),通过更低层的设备支撑管理软件对物理层的设备、网络进行监控和配置,管理设备的变更,收集系统运行信息并进行综合统计,实时调整和优化系统。而底层的物理设备与设备支撑管理软件也应该以一种"即插即用"的方式嵌入到系统层中来实现它的功能。
在分层的存储系统模型下,实现自顶至下的系统配置和动态参数调整,以简化系统的管理和优化系统的性能。例如在存储网络中,使用了多种网络安全技术来实现存储的安全,其中一些技术通过软件来实现,一些通过硬件来实现(例如硬件分区技术" hard zoning ", VSAN 技术),技术的发展将会把这些安全设置整合到一起,在存储系统一级进行统一管理,在线变更安全设置并应用到整个存储网络的硬件和软件系统中,使存储网络的管理就像管理一台计算机系统一样简单。
依于分层的模型,存储系统可以在线检测新增或移除的网络设备,设置参数,实时收集网络设备的运行状态、通道的数据流量,以及 VSAN 的状态、流量、数据通路的情况,进行综合统计分析,建立系统运行的动态模型,以动态图示或统计图表的方式为管理人员提供系统的实时动态信息,按一定的规则自动或手工对系统进行优化。例如,根据统计数据动态地调整设备参数,使设备工作在最佳状态;在不破坏安全性的前提下,根据各个 VSAN 的数据流量,动态地分配物理通道,保持网络系统的负载平衡。
以实时动态系统收集的数据和分析统计的结果为基础,依于专业的知识,建立存储基础网络专家系统,为方案设计、设备参数配置、性能调整提供最有效的帮助和参考。用户只需在向导中将用户需求、技术要求以选择、填空和表格的形式输入到专家系统中,系统将自动分析输入的信息,为用户生成一份或多份设计参考,用户可修改、调整生成的方案设计,或将方案引入到仿真系统中进行评估;专家系统提供图形用户界面帮助用户浏览和修改系统的网络拓扑结构、逻辑结构和设备参数信息。
存储基础网络是用来在局域或广域的范围内将计算机主机、服务器和存储设备连接起来进行数据访问和通信的网络,它包括专用的 SAN 和通用的 IP 网络基础设施,用来为应用系统访问网络上分布的存储设备提供数据的传输通道和基本的网络服务。
存储基础网络不同于普通局域网络或广域网络。传统网络使用 TCP/IP 协议在计算机之间、计算机与服务器之间和服务器与服务器之间建立网络连接,进行基于应用的数据通信;存储基础网络主要使用 SCSI 、 FCP 等传输协议在计算机与存储之间、服务器与存储之间甚至存储与存储之间建立网络连接,进行基于块的数据传输,它使应用系统可以直接访问存储,并获得最大的数据传输能力,当存储网络需要向远程和分布式存储拓展时,它也会在低层使用 TCP/IP 协议来传输 SCSI 、 iSCSI 或 FCP 协议数据包来克服传统 SAN 网络在距离上的限制。
正因为存储基础网络在技术上有着自己的特点,因此它的发展趋势也有别于传统网络,但又与传统网络的技术发展息息相关。
随着存储网络的发展和市场对存储需求的不断增长,我们认为存储基础网络的发展趋势如下,其中许多是已经出现并变得越来越重要的技术:
支持多种协议。多协议支持是在存储网络之间进行连接的基础,通过软件升级将新的协议插件增加到已有的硬件环境中,使用户不需要购买新的设备就能将存储基础网络升级到新的协议集或版本。
在不同的存储网络之间互连互通。随着投入运行的存储孤岛网络的增加,以及正在建设或计划建设的大型存储系统的增多,企业需要充分利用现有的软硬件资源,将这些已经投入运行的存储孤岛连接起来,或整合到新建的存储系统中,纳入统一的管理和应用,同时在更广阔的范围考虑大型存储系统之间的远程互连,进行信息的交互和共享,这都需要存储基础网络为用户提供轻松互连、灵活管理的手段和能力。
模块化和刀片化。存储网络设备将按照一个统一的标准进行模块化生产,甚至不同厂家的模块也能互换,另外,这些模块能被集成到刀片式服务器中,使刀片服务器成为一种廉价的、功能强大的存储设备,为小型企业或特殊应用提供低成本的解决方案。
更高的安全性,和更易于管理、实施的存储网络安全策略。在今后将可以利用更多的网络安全技术,但网络安全的管理将变得更加简单和易于操作。
存储网络虚拟化技术臻于完善。存储系统将在存储网络设备一级提供更好更灵活的虚拟化技术,如 VSAN ,通道虚拟化、设备虚拟化,虚拟化技术将带来更好的安全性、更好的设备和通道利用率,并提高系统的扩展能力和故障恢复能力,同时也为实现更先进的管理提供方便。
更加智能的存储网络管理。存储系统的管理将采用更统一的、分层的管理平台来实现从硬件到软件的智能管理,实现设备的即插即用,复杂的人工配置、参数调整工作都将得到简化。
可靠且更加稳定。存储基础网络将从组件模块化、硬件冗余、故障在线检测、预测报警等多个方面提高网络系统的稳定性,且在一定程度上实现故障的自动恢复。
构建和管理存储基础网络时面临的问题
用户在构建和管理存储基础网络时将会面对这样一些主要问题:
当一个存储项目立项后,存储网络的设计者虽然明确了用户的需求,但是也为项目的投资和用户的某些特殊要求所限制,难点是:如何确定一个方案,既完全满足系统的各项技术指标,又能够不超出预算,还能为系统预留一定的扩展能力?使系统能够在未来轻松地扩展和升级,当业务发展时,满足用户对存储容量、带宽和系统互连的进一步需求。
当一个方案确定后,如何轻松地连接和配置存储网络设备,并验证所设计的方案是否达到了预期的目标?通过验证找出方案设计的不足或设计问题,使系统在投入运行前就能规避可能出现的设计问题。
在存储系统的关键领域或存储网络的关键环节,如何验证和仿真存储基础网络在故障检测、故障恢复和应急方面是否达到了设计目标,保证在出现故障的情况下存储系统能够不间断工作(或按要求迅速恢复工作)。
在系统运行过程中,如何更轻松地管理和配置存储基础网络,以实现基于用户或应用的变更管理,如用户权限的变更,通道带宽或 VSAN 带宽的动态分配等。
如何将一个现有的存储网络系统分步骤升级到新的核心和架构,而不必担心升级过程中应用的中断、设备的连通性和技术的兼容性,同时又能将旧设备充分地应用在新的系统中,无论是应用在局部还是边缘?
关于技术发展的一些思考
技术的发展除了要在技术本身(如先进性、可用性、稳定性和安全性)上面下工夫外,还要在用户友好、易用等多个方面下功夫。总而言之,技术的发展首先是解决在相应领域的应用问题,使产品能够满足用户的需求,其次是解决在实际使用中的问题,使产品好用、易用、便于扩展和充满灵活性。
随着存储系统在一些新的领域变得越来越举足轻重,如视音频处理、广播电视、音像资料库,这些应用更强烈地要求在块级( block level )对数据进行操作以提高存储性能,它们对存储网络在架构、性能和灵活性方面的要求越来越高,因此越来越多地采用一些新的技术来解决实际问题,如 iSCSI 、 DAFS 和 InfiniBand ,也就是说要求存储网络设备能支持大多数协议,并且能够灵活扩展。今后的存储网络设备将标准化协议支持接口,使设备增加一种协议就像安装一个软件插件一样方便,而且还可以在一个控制台上实现网络中所有设备的升级和启用。
存储系统是一个综合系统,包括存储基础网络的硬件和支撑软件,也包括存储设备、用于管理存储设备的服务器及存储管理软件等部分,因此今后的存储系统在整体上将变得更加统一、协调,但在体系结构上严格的分层隔离。这样,存储应用系统将只关注于应用层的逻辑实体,运行在由系统层和物理层提供的平台上,而不必关心底层物理设备的具体实现方式;同理,在虚拟化技术的支持下,系统层也只关注于相应的虚拟实体(系统对象模型),通过更低层的设备支撑管理软件对物理层的设备、网络进行监控和配置,管理设备的变更,收集系统运行信息并进行综合统计,实时调整和优化系统。而底层的物理设备与设备支撑管理软件也应该以一种"即插即用"的方式嵌入到系统层中来实现它的功能。
在分层的存储系统模型下,实现自顶至下的系统配置和动态参数调整,以简化系统的管理和优化系统的性能。例如在存储网络中,使用了多种网络安全技术来实现存储的安全,其中一些技术通过软件来实现,一些通过硬件来实现(例如硬件分区技术" hard zoning ", VSAN 技术),技术的发展将会把这些安全设置整合到一起,在存储系统一级进行统一管理,在线变更安全设置并应用到整个存储网络的硬件和软件系统中,使存储网络的管理就像管理一台计算机系统一样简单。
依于分层的模型,存储系统可以在线检测新增或移除的网络设备,设置参数,实时收集网络设备的运行状态、通道的数据流量,以及 VSAN 的状态、流量、数据通路的情况,进行综合统计分析,建立系统运行的动态模型,以动态图示或统计图表的方式为管理人员提供系统的实时动态信息,按一定的规则自动或手工对系统进行优化。例如,根据统计数据动态地调整设备参数,使设备工作在最佳状态;在不破坏安全性的前提下,根据各个 VSAN 的数据流量,动态地分配物理通道,保持网络系统的负载平衡。
以实时动态系统收集的数据和分析统计的结果为基础,依于专业的知识,建立存储基础网络专家系统,为方案设计、设备参数配置、性能调整提供最有效的帮助和参考。用户只需在向导中将用户需求、技术要求以选择、填空和表格的形式输入到专家系统中,系统将自动分析输入的信息,为用户生成一份或多份设计参考,用户可修改、调整生成的方案设计,或将方案引入到仿真系统中进行评估;专家系统提供图形用户界面帮助用户浏览和修改系统的网络拓扑结构、逻辑结构和设备参数信息。