微波EDA网,见证研发工程师的成长!
首页 > 硬件设计 > 嵌入式设计 > 全面解析云存储的网格架构

全面解析云存储的网格架构

时间:12-19 来源:互联网 点击:

纯的服务器,只是存储节点的硬盘多一些,存储节点服务器不需要具备 RAID 的功能,只要能安装 Linux 即可,控制节点为了保护数据,需要有简单的 RAID level 01的功能。每个存储节点与控制节点至少有2片网卡(千兆、万兆卡都可以,有些也支持 infiniband),一片网卡 internal 负责内部存储节点与控制节点的沟通、数据迁移,一片 external 负责对外应用端的数据读写,一片千兆卡,读可以达到100MB,写可以达到70MB,如果你觉得对外一片网卡不够,也可以多装几片。

上面灰色的方块(NFS、HTTP、FTP、WebDav)是应用端,左上角的灰色方块(mgmt console)是一台PC,负责云存储中存储节点的管理。对应用端看来,云存储只是个文件系统,而且一般来说支持标准的协议,例如 NFS、HTTP、FTP、WebDav等等,所以很容易把旧有的系统与云存储结合,应用端不需要作什么改变。

云存储不是要取代现有的盘阵,而是为了应付高速成长的数据量与带宽而产生的新形态存储系统,因此云存储在设计时通常会考虑以下三点

1. 容量、带宽的扩容是否简便

扩容是不能停机,会自动将新的存储节点容量纳入原来的存储池,不需要做繁复的设定

2. 带宽是否线形增长

使用云存储的客户,很多是考虑未来带宽的增长,因此云存储产品设计的好坏会产生很大的差异,有些十几个节点便达到饱和,这样对未来带宽的扩容就有不利的影响,这一点要事先弄清楚,否则等到发现不符合需求时,已经买了几百TB,后悔就来不及了

3. 管理是否容易

不说 google 有五万台存储服务器,即使国内也有很多客户有超过500台存储的,若不使用云存储来统一管理,管理500台存储是一个巨大的工作,一不小心就可能导致某些应用的崩溃,因此云存储的应用是一个必然的趋势,当用户把应用迁移到云存储,他管理的就是一台存储,而不是 500台甚至五万台存储。管理一台存储不容易出错,分别管理五万台要不出错就很难了

上面我介绍的是一个纯软件的云存储解决方案,有的产品是硬件的解决方案,他们把橘色的存储节点和蓝色的控制节点,放在一台设备上,这样做的缺点是成本比较高,客户也不能够按照自己的需求,任意选择适合自己规格的硬件,例如读写性能、网卡、硬盘容量等等,因此我个人观点觉得软件的解决方案会成为最后的赢家,因为以云存储使用者的角度来看,他们对成本的要求很高、也不希望放弃他们原有的硬件投入,这些都是硬件的解决方案无法满足的。

云存储的结构模型

与传统的存储设备相比,云存储不仅仅是一个硬件,而是一个网络设备、存储设备、服务器、应用软件、公用访问接口、接入网、和客户端程序等多个部分组成的复杂系统。各部分以存储设备为核心,通过应用软件来对外提供数据存储和业务访问服务。

云存储系统的结构模型由 4层组成。

一、存储层

存储层是云存储最基础的部分。存储设备可以是FC光纤通道存储设备,可以是NAS和 iSCSI等IP存储设备,也可以是 SCSI或SAS等 DAS存储设备。云存储中的存储设备往往数量庞大且分布多不同地域,彼此之间通过广域网、互联网或者 FC光纤通道网络连接在一起。

存储设备之上是一个统一存储设备管理系统,可以实现存储设备的逻辑虚拟化管理、多链路冗余管理,以及硬件设备的状态监控和故障维护。

二、基础管理层:

基础管理层是云存储最核心的部分,也是云存储中最难以实现的部分。基础管理层通过集群、分布式文件系统和网格计算等技术,实现云存储中多个存储设备之间的协同工作,使多个的存储设备可以对外提供同一种服务,并提供更大更强更好的数据访问性能。

CDN内容分发系统、数据加密技术保证云存储中的数据不会被未授权的用户所访问,同时,通过各种数据备份和容灾技术和措施可以保证云存储中的数据不会丢失,保证云存储自身的安全和稳定。

三、应用接口层:

应用接口层是云存储最灵活多变的部分。不同的云存储运营单位可以根据实际业务类型,开发不同的应用服务接口,提供不同的应用服务。比如视频监控应用平台、IPTV和视频点播应用平台、网络硬盘引用平台,远程数据备份应用平台等。

四、访问层:

任何一个授权用户都可以通过标准的公用应用接口来登录云存储系统,享受云存储服务。云存储运营单位不同,云存储提供的访问类型和访问手段也不同。

Copyright © 2017-2020 微波EDA网 版权所有

网站地图

Top