为了驾驭大数据处理,中外互联网巨头做了同样的选择
数据,数据,我要大数据
在今天这个大数据的时代,数据已经成为了许多企业发展的命脉。
有些企业需要数据来形成用户洞察,有的企业需要数据来优化业务流程;甚至对于部分企业来说,数据就是他们最珍贵的资产。
在这个卖煎饼都需要依据大数据来分析客户的时代,企业没有自己的大数据,都不知道怎么跟人聊天了。。。
但是,但是!但是!!
会不会有一天大数据大过了头,超过了企业的驾驭能力呢?
(呵呵哒,能别逗吗?还能有这种事?!你一个大数据能有多大?都不好意思反驳你。)
数据的真相--再这样下去,数据真的装不下,也算不完了
好,既然有人诚心诚意的问了,那我们就来看看真相是怎样的:
与Web1.0的时代最大的不同是,Web2.0、移动互联网等等先进的技术和平台,把人与内容的关系深化为人与人的关系,人人都可以是内容的制造与传播者,简单来说,在偌大的网络空间里,人人都能成为"话唠"(就像小编这样的,平时话不多,网上话不停)!比如说:
失恋的小伙儿很伤心,那不得发一条伤心欲绝、催人泪下的朋友圈吗? 小姑娘去趟韩国玩高兴了,那不得在微博发一套自拍九连张吗? 自己爱的明星又出新歌了,那歌迷们不得把新歌老歌分享个七八九十首的,表达自己的爱意吗? 爸爸妈妈们又学会新的广场舞了,那还不得拍它三五段视频放在网上,等候点赞吗?随着生产、保存和呈现数据的技术和手段变得越来越易用和多元化,源源不断的海量数据就像北京春天的杨絮一样,漫天飞舞的呈现在我们面前。
俗话说的好,再大的硬盘也有装满的时候,再快的手机也有卡机的一天。如果说全球整体的数据量,那就更为惊人了!
预计到2020年全球数据总量将超过40ZB(相当于4万亿GB),是2011年的22倍。 在过去几年,全球的数据量以每年58%的速度增长,未来这个速度会更快。 如果按照现在存储容量每年40%的增长速度计算,到2017年需要存储的数据量甚至会大于存储设备的总容量。 几年前3000台服务器容量的数据中心就可以完成的处理工作,几年后服务器数量至少需要乘以10! 你说多不多?多不多!多不多?!
"这是问题吗?"有人会想,只要有钱,我们就狂刷服务器,还怕处理不了大数据?(是的,处理不了:冷静脸)
服务器CPU的主频、内存的容量和I/O带宽,都会影响到运算速度。另外,更重要的是,根据摩尔定律,目前最新款计算机芯片已经突破7纳米尺度,向更小型化发展越来越难,而新的工作负载还在不断涌现,支撑单位硬件计算能力提升的摩尔定律越来越接近极限,数据中心的空间和电力供应也已经无法跟上服务器数量的疯狂增长。(对,服务器是有了,就是没电)
那么,企业在数据处理方面面临巨大的挑战,什么才是应对之良策呢?
互联网巨头的秘密-- OpenPOWER: 超大型数据中心的能力者
让我们来看看国内外的互联网巨头,Google和腾讯都是如何应对大数据挑战的吧:
中美两国的互联网巨头,为何不约而同地选择了OpenPOWER?
那是因为,新一代应用迫切需要通用处理器计算和特定目的的协处理器计算(加速器,如FPGA)混合异构工作,而OpenPOWER分布式计算就在软件和硬件架构上提供了这种全新的能力:
利用OpenPOWER处理器先进的CAPI技术,FPGA能实现与处理器的高效连接,从而充分利用FPGA可编程硬件强大的硬件加速能力,实现软硬结合的异构计算,将不同类型的应用负载加载在两种甚至多种类型的处理器件上,以获得超过十倍甚至百倍的性能增速,同时能够相应减少服务器的数量,降低功耗和服务器占用空间。
如此一来,也就不难理解,身为互联网巨无霸的Google和腾讯,为何会选择OpenPOWER了。毕竟,对互联网公司而言,开放的架构、强大的计算能力以及灵活的定制化解决方案、都将为其带来货真价实的价值。
Web 2.0时代的大数据狂潮,以及紧接着的Web 3.0智能时代,会持续对数据处理和认知能力提出更高更新的要求。Watson战胜综艺节目危险边缘(Jeopardy)两名总冠军的例子,恰恰预示着Web 3.0 未来的走向--一个更加依赖于数据和认知计算,比你更懂你的时代。OpenPOWER,正
- 中移动将推自有手机操作系统(11-17)
- 2009年世界互联网项目报告出炉(01-01)
- 下一代iPhone将支持高速互联网(02-22)
- 博通加速冲击可穿戴设备市场,嵌入式设备互联网无线连接(WICED)产品首先试水(08-02)
- 极域:为中小学课堂引入专有“教室云”(10-30)
- 诺基亚公司副总裁兼核心网业务首席技术官林仰孟主题演讲 (01-07)