中兴拿什么填补了我国在大数据核心技术上的空白？

大数据是未来的"新石油"。《人类简史：从动物到上帝》的作者说：大数据将是人类自由意志的终结，数据主义将取代以往的宗教和人文主义，成为未来的信仰。

人人都在谈大数据，谈DT时代，但是，人们对于大数据，如同盲人摸象，每个人都有自己的看法，甚至有人认为不过是哗众取宠的buzzword，看起来很新颖，但只是把传统重新包装。

大数据是什么？wikipedia上的有句话说得好："大数据"概念本身强调的是处理大数据的能力和技术，大数据的应用价值不只是在于它"大"，而在于其细粒度信息的价值。

任何新兴技术都必然经历从技术萌芽、过热、低谷、复苏、成熟、应用兴起，再到重生与再创新这一过程。大数据也是如此，经历了从平台--应用--平台的螺旋式发展过程，从早期运用分布式存储HDFS、分布式计算框架MapReduce等软件系统搭建大数据平台，到转移向应用，让数据变现，再随着各类应用和创新的涌现，进而对大数据平台又提出新的要求。

大数据正处于第二次平台兴起的阶段，它将如何重生与再创新？今天让我们走进一家专业从事创新大数据核心技术引擎研发和服务的技术驱动型公司，一探大数据的未来趋势。

中兴飞流是由中兴通讯股份有限公司投资控股的子公司，推出了国内首个基于数据流的Yita大数据计算引擎，实现了数据流思想在中国落地，也填补了国内在大数据核心技术上的自主知识产权的空白。

1 Yita计算引擎

Yita计算引擎系统基于数据流基础理论思想，具备了海量实时、流批混合和数据智能三大能力特性。

1）海量实时

当今时代，数据并不昂贵，昂贵的是如何从海量数据中及时获取价值。

传统的个性化推荐系统采用定期对数据分析的方式来更新模型，无法保持实时性，对用户当前的行为推荐结果可能不会非常精准。如何从数据中快速挖掘用户兴趣偏好并作出精准推荐？快或慢一秒钟，往往就意味着财富的得与失。

公安系统实时视频分析追踪黑名单人员，银行实时监测防止信用卡盗刷欺诈等，都需要有能力处理实时的并发数据，以便实时地制定决策。

单纯的离线分析已经无法满足各类高数据压力的实时应用需求，企业和组织将不会局限于处理分析历史数据，实时处理成为许多机构需要面对的首要挑战。

实时事件、交易、交互数量每秒以百万计，由此产生的数据兼具海量与实时的特性，自然会给大数据处理系统造成巨大的压力，需要具备强大的并行计算能力，需要同时满足高吞吐、低时延的特点。

Yita通过数据流细粒度调度和流水线并行处理方式，动态的按需分配计算资源，最大化计算资源的利用率，从而能够轻松应对TB级至PB海量高并发数据的实时处理，如电信运营商DPI数据实时分析场景。据中兴飞流测试结果显示，Yita计算引擎批处理的处理速度是传统组件的10倍以上，流处理的吞吐量是传统组件的12倍以上。

2）流批混合

传统大数据分析处理系统主要有两个方向：一种是以Hadoop和MapReduce为代表的批处理系统，另一种是流处理系统。简单的讲，批处理是先存储后处理，而流处理是直接处理。

批处理的核心思想是将问题分而治之，不是把数据推给计算，而是把计算推给数据。

流处理的基本理念是数据的价值会随着时间的流逝而不断减少。流处理的处理模式将数据视为流，源源不断的数据组成了数据流，当新的数据到来时就立刻处理并返回所需的结果。

随着大数据的不断发展，单一的计算模式已难以满足需求，因此后来考虑了不同计算模式的混合使用。比如，Spark就是作为混合式计算模式的典型代表应运而生。

但是，新的时代到来，实时业务处理的需求激增，大数据系统的流计算和批处理业务割裂处理成为限制业务发展的关键原因之一。当前的流批混合系统其实是一种割裂式的处理方式，这种割裂体现在往往先用批处理训练数据、再用流处理进行识别，实际上是一个静态分配优先级的系统。

以目前市场上流行的Spark Streaming和Storm为例。Spark Streaming是当前热点，但其是将数据流分割成小的时间片断进行处理，实则也是批处理，计算时延仍然无法保障。而Storm虽然处理时延相对较低，可以达到毫秒级，但是却无法满足较多高吞吐量场景的需求。同时这种割裂式的流批混合处理会造成系统的架构复杂、编程接口不统一以及资源调度低效等缺点。

中兴飞流以Yita计算引擎为核心的JDH大数据平台采用了基于Lambda架构的统一流批混合处理平台，实现了真正的流批混合，可以动态感知批处理或流处理的优先级，从而实现了资源高效调度，同时统一了编程接口，使得整体处理架构简单化。

Lambda架构整合离线计算和实时计算，融合不可变性（