深度分析:自动精简配置所面临的三大挑战
时间:10-21
来源:比特网
点击:
利用自动精简配置技术来提高存储资源利用率是大家的共识,并且它确实是一个很实用的绿色存储解决方案。而且这也正在逐渐成为各种存储解决方案的必备模块。显而易见,自动精简配置措施其未来发展的前途是无限的。不过从目前的技术来看,其还有一定的缺陷。具体的来说,在实际工作中主要会碰上以下三大挑战。
挑战一:实际容量与虚拟容量之间的冲突
自动精简配置技术的核心原理是"欺骗操作系统",让操作系统认为存储设备中有很大的存储空间,而实际上无力存储空间远远没有操作系统想的那么大。也就是说,操作系统认为的存储空间其实有实际存储空间与虚拟存储空间两部分组成。此时应用服务器可能会以为还有很多的存储容量可以使用,但是实际上可能物理存储空间已经用完,剩余的是虚拟存储空间。此时如果管理员没有及时发现这个问题,那么当实际存储空间用完而新存储设备没有增加之前,卷访问就会被锁定。应用服务器无法向存储设备中存储任何资料。这就是精简配置技术所面临的第一个挑战,采用了自动精简配置技术之后可能出现实际容量与虚拟容量之间的冲突。
那么为什么自动精简配置技术要采取这个手段呢?这主要是以为自动精简配置技术通过"欺骗"的手段,将判断存储空间是否已满的工作从应用服务器转移到存储上。所以对于应用服务器角色来说,这是一个利好消息。此时这些应用服务器不用再担心存储空间的问题。不过有利必有弊。在这种情况下,存储管理员必须要承担起这个责任。也就是说,存储管理员必须要时时的追踪存储容量的使用情况。在实际存储容量快被耗尽的情况下,存储管理员应该及时添加新的硬盘以增加实际存储空间的容量。为此在部署自动精简配置方案时,应该设计一些警报系统,当实际存储容量使用到一定百分比的时候,如80%,就向管理员发出警报。同时存储管理员也需要随时对其进行追踪,最好能够分析出存储容量增长的趋势,从而判断出实际存储容量的生命周期。这些工作说起来比较简单,但是实际做的话,还是要求管理员有扎实的技术基础与丰富的工作经验,才能够应对这个挑战。
挑战二:从块级别来管理数据资源
传统的资源管理器(如Windows系统的资源管理器)在使用的过程中有很大的局限性。最大的局限性可能就是应用服务器和文件系统级别的已使用空间测量问题。这主要是由于传统的资源管理器在块级别文件上不具有可视性。这是什么意思呢?假设现在某个文件系统需要使用100GB的存储空间。不过由于某种原因,这个文件系统被错误的复制了多次。此时对于传统的资源管理器来说被认为是正常的,不能够准确的高速存储管理员这个文件系统到底占用了多少存储空间。
自动精简配置采用块为管理单位,很好的解决了这个可视性的问题。自动精简配置允许将存储资源管理从应用和文件级别移动到存储系统合块级别。也就是说,可以让存储系统实现在块级别文件上具备可视性。此时数据分配的空间会在块级别上进行测量。这个直接带来的好处就是所有分配的容量可以在一个中心控制台进行测量,而不受应用服务器的类型和数量限制约束。为此如果企业有多个独立的应用服务器,就可以通过这个自动精简配置技术来进行集成。同时还可以在块级别上观测文件的复制情况,以判断是否有大文件错误复制的现象存在。
那么这第二个挑战到底是什么呢?这第二个挑战就是在传统的资源管理器与自动精简配置块级别管理技术上的冲突。虽然绝大部分存储工程师坚信,随着自动精简配置技术的成熟与普及,传统的存储管理器将会继承块级别的管理技术,进行升级换代。但是可惜的是,到目前为止存储资源管理还是无法实现在块级别上的可视性。也就是说,块级别上的可视性还只是自动精简配置技术的一个特性,无法跟存储资源管理器很好的集成。这就增加了自动精简配置方案管理的复杂性。不过笔者相信,这种情况不会延续很久。现在很多存储专家已经在往这方面努力。
挑战三:并不是所有的文件系统都能够收回已经删除了的存储空间
如果企业的存储系统会频繁的删除文件,那么现在采用自动精简配置方案可能会遇到一定的问题。因为根据测试,在自动精简配置方案下,一些文件系统总是喜欢分配新的空间给应用服务器用,而不是使用删除文件后释放的空间。如此当频繁的删除和建立文件的时候,就会遇到一个很大的挑战:自动精简配置系统将会持续要求更多的物理空间。而那些因为文件删除而被释放的空间自动精简配置系统则会视而不见。此时如果文件频繁删除,特别是容量比较大的文件,难么这个物理存储空间很快就会被用完。这是在部署自动精简配置方案中所必须要注意的文件。在实际工作中,我们还是可以采取一些必要的措施来避免这个问题的发生。
如存储管理员在将这个方案付诸于实施之前,可以先在自动精简配置系统下对相关的应用做一个测试。以评估各种应用对于实际存储的利用率有多少。以判断这个应用是否合适采取自动精简配置方案。另外值得一提的是,如果存储管理员不想自己做测试,那么也可以向这个方案的供应商要求相关的数据。因为这个问题是自动精简配置方案的共性问题。为此各个供应商在测试他们方案的时候,会对一些典型的应用进行测试,或者有一些测量实际存储资源利用率的工具。存储管理员可以凭借这些现成的资料来作出合理的判断。
如可以凭借一些有用的工具来恢复已删除的空间。在实际工作中,笔者喜欢采用一些程序来阶段性的恢复已经删除的空间。如每隔12个小时或者24个小时,让这个程序运行一次,让自动精简配置系统可以重新使用已删除的空间。不过这个程序不一定所有供应商都回提供。所以在选购产品之前,存储管理员还需要先对市场上的产品作一番了解,看看供应商是否提供类似的工具。
最后如同跟其他一些存储和服务器技术结合使用,也可以减少这个不能够使用删除文件所释放的空间带来的负面影响。如在使用自动精简配置的情况下,同时在服务器上实现虚拟化,可以让管理员轻松面对这个挑战。这主要是因为如果服务器实现虚拟化的话,每个虚拟机都有自己的启动卷很数据卷。而启动卷的容量是由操作系统和启动软件来共同决定的。在没有配置自动精简策略的情况下,实际启动的数据容量会小于1GB,管理员可能会为启动分配4GB到8GB的容量。而如果采用了自动精简配置方案之后,操作系统表面上可以分配到8GB的容量,而实际上只占用了1GB的物理存储空间。如此就可以无形中提高存储空间的使用率,减少删除文件释放空间不能够被使用带来的负面影响。不过这毕竟不能够解决根本问题,管理员还是需要周期性的恢复删除所释放出来的存储空间。只是这个周期可以适当的延长。
从这三个挑战中我们也可以看出,并不是所有的应用都适合采用自动精简配置方案。或者说不是所有的应由都会从这个方案中获得收益。如对于那些需要频繁删除大文件的应用系统来说,反而采用了这个方案会得到适得其反的效果。不过笔者相信,这些问题会在自动精简配置方案的发展过程中逐渐的完善,扩大其应用的领域。
挑战一:实际容量与虚拟容量之间的冲突
自动精简配置技术的核心原理是"欺骗操作系统",让操作系统认为存储设备中有很大的存储空间,而实际上无力存储空间远远没有操作系统想的那么大。也就是说,操作系统认为的存储空间其实有实际存储空间与虚拟存储空间两部分组成。此时应用服务器可能会以为还有很多的存储容量可以使用,但是实际上可能物理存储空间已经用完,剩余的是虚拟存储空间。此时如果管理员没有及时发现这个问题,那么当实际存储空间用完而新存储设备没有增加之前,卷访问就会被锁定。应用服务器无法向存储设备中存储任何资料。这就是精简配置技术所面临的第一个挑战,采用了自动精简配置技术之后可能出现实际容量与虚拟容量之间的冲突。
那么为什么自动精简配置技术要采取这个手段呢?这主要是以为自动精简配置技术通过"欺骗"的手段,将判断存储空间是否已满的工作从应用服务器转移到存储上。所以对于应用服务器角色来说,这是一个利好消息。此时这些应用服务器不用再担心存储空间的问题。不过有利必有弊。在这种情况下,存储管理员必须要承担起这个责任。也就是说,存储管理员必须要时时的追踪存储容量的使用情况。在实际存储容量快被耗尽的情况下,存储管理员应该及时添加新的硬盘以增加实际存储空间的容量。为此在部署自动精简配置方案时,应该设计一些警报系统,当实际存储容量使用到一定百分比的时候,如80%,就向管理员发出警报。同时存储管理员也需要随时对其进行追踪,最好能够分析出存储容量增长的趋势,从而判断出实际存储容量的生命周期。这些工作说起来比较简单,但是实际做的话,还是要求管理员有扎实的技术基础与丰富的工作经验,才能够应对这个挑战。
挑战二:从块级别来管理数据资源
传统的资源管理器(如Windows系统的资源管理器)在使用的过程中有很大的局限性。最大的局限性可能就是应用服务器和文件系统级别的已使用空间测量问题。这主要是由于传统的资源管理器在块级别文件上不具有可视性。这是什么意思呢?假设现在某个文件系统需要使用100GB的存储空间。不过由于某种原因,这个文件系统被错误的复制了多次。此时对于传统的资源管理器来说被认为是正常的,不能够准确的高速存储管理员这个文件系统到底占用了多少存储空间。
自动精简配置采用块为管理单位,很好的解决了这个可视性的问题。自动精简配置允许将存储资源管理从应用和文件级别移动到存储系统合块级别。也就是说,可以让存储系统实现在块级别文件上具备可视性。此时数据分配的空间会在块级别上进行测量。这个直接带来的好处就是所有分配的容量可以在一个中心控制台进行测量,而不受应用服务器的类型和数量限制约束。为此如果企业有多个独立的应用服务器,就可以通过这个自动精简配置技术来进行集成。同时还可以在块级别上观测文件的复制情况,以判断是否有大文件错误复制的现象存在。
那么这第二个挑战到底是什么呢?这第二个挑战就是在传统的资源管理器与自动精简配置块级别管理技术上的冲突。虽然绝大部分存储工程师坚信,随着自动精简配置技术的成熟与普及,传统的存储管理器将会继承块级别的管理技术,进行升级换代。但是可惜的是,到目前为止存储资源管理还是无法实现在块级别上的可视性。也就是说,块级别上的可视性还只是自动精简配置技术的一个特性,无法跟存储资源管理器很好的集成。这就增加了自动精简配置方案管理的复杂性。不过笔者相信,这种情况不会延续很久。现在很多存储专家已经在往这方面努力。
挑战三:并不是所有的文件系统都能够收回已经删除了的存储空间
如果企业的存储系统会频繁的删除文件,那么现在采用自动精简配置方案可能会遇到一定的问题。因为根据测试,在自动精简配置方案下,一些文件系统总是喜欢分配新的空间给应用服务器用,而不是使用删除文件后释放的空间。如此当频繁的删除和建立文件的时候,就会遇到一个很大的挑战:自动精简配置系统将会持续要求更多的物理空间。而那些因为文件删除而被释放的空间自动精简配置系统则会视而不见。此时如果文件频繁删除,特别是容量比较大的文件,难么这个物理存储空间很快就会被用完。这是在部署自动精简配置方案中所必须要注意的文件。在实际工作中,我们还是可以采取一些必要的措施来避免这个问题的发生。
如存储管理员在将这个方案付诸于实施之前,可以先在自动精简配置系统下对相关的应用做一个测试。以评估各种应用对于实际存储的利用率有多少。以判断这个应用是否合适采取自动精简配置方案。另外值得一提的是,如果存储管理员不想自己做测试,那么也可以向这个方案的供应商要求相关的数据。因为这个问题是自动精简配置方案的共性问题。为此各个供应商在测试他们方案的时候,会对一些典型的应用进行测试,或者有一些测量实际存储资源利用率的工具。存储管理员可以凭借这些现成的资料来作出合理的判断。
如可以凭借一些有用的工具来恢复已删除的空间。在实际工作中,笔者喜欢采用一些程序来阶段性的恢复已经删除的空间。如每隔12个小时或者24个小时,让这个程序运行一次,让自动精简配置系统可以重新使用已删除的空间。不过这个程序不一定所有供应商都回提供。所以在选购产品之前,存储管理员还需要先对市场上的产品作一番了解,看看供应商是否提供类似的工具。
最后如同跟其他一些存储和服务器技术结合使用,也可以减少这个不能够使用删除文件所释放的空间带来的负面影响。如在使用自动精简配置的情况下,同时在服务器上实现虚拟化,可以让管理员轻松面对这个挑战。这主要是因为如果服务器实现虚拟化的话,每个虚拟机都有自己的启动卷很数据卷。而启动卷的容量是由操作系统和启动软件来共同决定的。在没有配置自动精简策略的情况下,实际启动的数据容量会小于1GB,管理员可能会为启动分配4GB到8GB的容量。而如果采用了自动精简配置方案之后,操作系统表面上可以分配到8GB的容量,而实际上只占用了1GB的物理存储空间。如此就可以无形中提高存储空间的使用率,减少删除文件释放空间不能够被使用带来的负面影响。不过这毕竟不能够解决根本问题,管理员还是需要周期性的恢复删除所释放出来的存储空间。只是这个周期可以适当的延长。
从这三个挑战中我们也可以看出,并不是所有的应用都适合采用自动精简配置方案。或者说不是所有的应由都会从这个方案中获得收益。如对于那些需要频繁删除大文件的应用系统来说,反而采用了这个方案会得到适得其反的效果。不过笔者相信,这些问题会在自动精简配置方案的发展过程中逐渐的完善,扩大其应用的领域。
- 实现XML网络最优效能,设备网络管理软件不可或缺 (01-09)
- 如何解决存储I/O性能瓶颈(06-03)
- HPC应用指南:让系统和应用实现最优化(01-09)
- Android 3.0部分系统细节曝光(06-02)
- 蓝牙技术联盟在运动及健身市场全新配置文件(08-05)
- 混合云之弹性激励IT创新(06-13)