微波EDA网,见证研发工程师的成长!
首页 > 通信和网络 > 通信网络业界新闻 > 中兴拿什么填补了我国在大数据核心技术上的空白?

中兴拿什么填补了我国在大数据核心技术上的空白?

时间:11-14 来源:网优雇佣军 点击:

Immunability),读写分离和复杂性隔离等一系列架构原则,是一个能满足实时大数据系统关键特性(如高容错、低延时和可扩展等)的架构。Lambda架构作为一个通用的大数据处理框架,可以很方便的集成Hadoop,Kafka,Storm,Spark,Hbase等各类大数据组件。基于Lambda架构的统一流批混合处理平台,可以动态感知批处理或流处理的优先级,使得资源高效调度成为可能,从而实现了真正的流批混合。同时统一了编程接口,使得整体处理架构简单化。

3)数据智能

2016年3月9日到15日,阿尔法围棋程序挑战世界围棋冠军李世石的围棋人机大战五番棋在韩国首尔举行,最终阿尔法围棋以4比1的总比分取得了胜利。AlphaGo的胜利是大数据+深度学习的胜利,AlphaGo背后使用的正是基于数据流思想的TensorFlow。

Google今年开源了TensorFlow,这个基于DistBelief进行研发的第二代人工智能学习系统,可被用于语音识别或图像识别等多项机器深度学习领域,其命名来源于本身的运行原理。Tensor(张量)意味着N维数组,Flow(流)意味着基于数据流图的计算,TensorFlow为张量从图象的一端流动到另一端计算过程。TensorFlow是将复杂的数据结构传输至人工智能神经网中进行分析和处理过程的系统。

▲Google图说生成系统背后的TensorFlow

数据流起源于上世纪七十年代,由 IEEE冯诺依曼奖章获得者、美国科学院院士、MIT 教授 Jack Dennis 提出,并由以 ACM、IEEE Fellow高光荣教授为代表的众多学者推进发展至今,是对冯诺依曼模型的一个突破,并在大规模并行领域有着独特优势的技术理论。在Google表明其深度学习框架TensorFlow基于数据流理论之后,学术界及工业界更是掀起了研究数据流的高潮。Yita计算引擎正是基于高光荣教授三十余年的理论工作,面向大数据场景开发的一套支持海量实时智能计算的大数据引擎。可以说,目前数据流思想在中国的落地正是Yita计算引擎。

中兴飞流正是通过将机器学习能力、图计算能力和深度学习能力与自身大数据平台的有机结合来实现JDH大数据平台的智能化,以满足复杂度逐步提升、计算的复杂度不断变高、执行的模型也愈发多样化的各类应用场景。

除此之外,中兴飞流大数据解决方案中集成了丰富的机器学习算法,包括协同过滤算法、多类逻辑回归和随机森林等分类算法、线性回归等回归算法、以及话题模型等聚类算法;还提供了具备卓越性能的快速用户画像、实时视频分析和海量日志分析等业务能力。基于这些业务能力,帮助客户开展精准营销、客户维挽、智能投顾、车牌识别等各类应用的研发和落地。

2 Yita的应用实例

1)电信运营商实时信令分析

电信运营商信令分析以客户为出发点,对网络端到端信令进行全面采集和分析,找到感知差的区域和客户,精确定位问题,快速分析并解决问题,形成闭环流程,提升网络客户感知。信令分析的功能主要分为5个方面:客户感知、网络优化、实时管理、客户投诉、市场营销。

然而,随着实时性业务需求猛增、流量急剧的增加,运营商越来越重视对信令数据的实时处理分析,原始基于Hadoop大数据处理技术的信令分析平台,本质是批处理方式,因为它需要将实时信令数据采集需要积累到一定量或时间后再统一处理,已远远无法支撑运营商的实时信令分析需求。

当前,市场上的大数据平台方案里也有流式处理系统Spark Streaming和Storm。Spark Streaming也是当前热点,但其原理是将数据流分成小的时间片断方式处理数据,实则也是批处理,计算时延仍然较大。而Storm虽然处理时延相对较低,可以达到毫秒级,但是却无法满足很多高吞吐量场景的需求。例如某电信运营商原本采用了基于Storm框架的大数据方案进行实施信令分析,但是很快发现在网络数据高峰时期,基于Storm的方案并不能够完全信令数据,数据丢失率在30%-70%之间,如下图所示,并且不给系统丢失反馈,无法满足甚至严重影响了业务处理需求。

▲基于Storm的实时信令分析系统存在数据丢失

采用Yita计算引擎替代Storm流式解决方案后,结果验证,Yita以更细粒度的形式并行计算,充分利用集群的整体计算能力,从而保障在数据高峰时期也能够数据不丢失,同时保障了整个大数据分析平台的实时性和准确性。

2)智能视频分析

在大数据时代,面对海量的视频数据,智能视频分析技术在数据挖掘方面被赋予厚望。视频分析指的是通过算法高效地处理海量非结构化的视频图像数据,实现对数据的快速检索、智能识别和理解。近年来,视频数据的价值愈发得到大家重视,目前视频大数据分析技术逐渐在

Copyright © 2017-2020 微波EDA网 版权所有

网站地图

Top