如何为大数据部署下一代存储基础设施

都是无用的，这使得其具有私密性和安全性。与RAID需要多份拷贝不同，信息分散技术仅使用一个单个实例数据，并且为了确保数据的完整性和可用性只进行了最低限制的扩展，因此公司可能节省90%的存储成本。

Cleversafe 公司产品策略、营销和客户解决方案副总裁Russ Kennedy称：“在重新将数据块拼凑在一起时，你不必拥有每一个数据块。所生成的全部数据块的数量我们称之为广度，恢复数据所需要的最低限度的数据块，我们称之为阈值。这两者之间的差异决定了数据的可靠性。当你同时丢失了节点和硬盘后，你仍然能够恢复原始的数据。在RAID中你能够获得的最高的可靠性是双奇偶校验，你可以丢失两块硬盘。但是在我们的解决方案中，你可以丢失最多六块硬盘。”

纠删码是一项以软件为基础的技术，这意味着该技术可以使用商用硬件，进一步压缩扩展成本。

创建下一代存储基础设施

Day称：“在找到了合适的技术后，我们将关注提供这种技术解决方案的厂商。同时，我们还关注如何创建它们。我们认为，如果能够找到一家能够满足我们需求的公司，并且他们的系统已经经过了实践检验，那么对于我们来说是再好不过的了。”

Shutterfly让四家厂商为他们评估和创建其数据中心所需要的存储设备原型。Day称，他们关注的重点是性能、可用性、容错性和可管理性。

他解释称：“我们有专门的人员管理照片存档。我们在2010年最大的一个顾虑是照片存档越来越大。随着存档的日益增长，我们不得不增加管理人员的数量。这让我们感到很头疼。”

Day称，Cleversafe的出现让Shutterfly遇到了救星，该公司也希望与Shutterfly合作，为Shutterfly量身订做解决方案。他们对这一新概念进行了仔细验证，包括在Shutterfly实验室中进行上传和性能测试。在Shutterfly对运行和性能感到满意后，Cleversafe推出了一款平行存储基础设施，同时公司将Shutterfly所有流量的一份拷贝引导至这一基础设施上。

Day 称：“每一份上传的照片都被同时存储在我们的老式基础设施上和Cleversafe的基础设施上。当时我们运行了六个月的时间，包括节假日。”节假日对于Shutterfly来说是使用高峰期，许多用户都会创建相册，并上传大量的照片。

在2011年，Shutterfly将Cleversafe的解决方案全面应用于照片存档中，并将其作为主要的照片存储仓库。

纠删码存储的总拥有成本

Day 称：“总体上，纠删码存储是一个软件解决方案，允许我们部署费效比更好的硬件。对于我们来说，它改变了总拥有成本。我们与硬件厂商打交道时拥有了更高的灵活性，我们可以确保在硬盘和基础设施方面获得最优惠的价格。”

Day表示存储池的管理也得到了极大的简化。他称：“现在我们基本上只需要增加存储空间即可，随后它们会自动的添加到我们所指定的存储池中。以前，只有我们增加了额外的存储，那么我们就不得不进折腾一翻。”

现在，如果一块硬盘发生故障或是掉线了，Shutterfly的存储基础设施能够将其标记为不可用状态，并引导数据绕开这块硬盘，同时迅速恢复这块硬盘上的数据。以往当一块硬盘或是多块硬盘发生了故障，团队会召集所有的人一起排除故障，现在他们的团队只需注明故障，在计划维护方案中替换掉受影响的基础设施即可。

他称：“这样一来，我们不必再像以前一样尽可能快的增加人手了。现在，我们的人手仍然在增长，但是速度比以前慢多了。日常维护工作的工作量已经下降了不少。管理员可以在他们感兴趣的前瞻性项目中花上更多的时间。他们的工作重点已经转移至我们以往称为附加工作的工作上去了。在增加员工人数和工作内容方面，这一技术都产生了不错的效果。”

数据存储将让公司具备敏锐的洞察力

尽管Shutterfly是一家需要处理海量数据的互联网公司，但是如今大多数公司也都不得不面对大量数据，全球的公司正在存储越来越多的数据。

他称：“我们的存档规模在五年内将变得非常庞大，与比平均水平相比，要大几个数量级。我们希望在四年或五年后能够看到大量应用和技术投入市场，让处理超大型数据集成为可能。让人感到兴奋的是，它们将允许公司观察细微的数据，从而使得公司具有更加敏锐的业务洞察力。”

Day称：“这是一个发展趋势。目前我们还仅仅处于初级阶段。随着业务的互联性、移动性以及与客户实时互动程度的不断提升，数据量将越来越大。对这些数据的分析可能将会对业务洞察力产生深远影响。但是这些工作的首要条件是要能够可靠地存储这些海量数据。”

更多资讯请关注：21ic模拟频道