通过基于云的数据管理技术实现分布式设备的态势感知

作者：Real-Time Innovations公司首席应用工程师 Sumeet Shendrikar

在利用基于MCU的传感器和移动设备构建新的连接互联网的云时，很少有人会考虑如何管理这些传感器云。在本文中，RTI公司的Sumeet Shendrikar介绍了如何通过具有态势感知功能的分布式数据管理来做到这一点。在Michael Lewis的《点球成金(Moneyball)》一书中，他记录了使用Sabermetrics指导管理棒球队的策略。虽然重点在于组建棒球队的分析方面，但其基本理念是利用历史信息(先前的统计数据)改变当前的策略(上场击球、防御态势或阵容决定)。

《点球成金》讨论的重点是由统计分析得出的意外决策，经常有悖于长期棒球专家的“第六感”。但这本书也表明，成功地使用Sabermetrics有3点要求：(1)了解过去发生了什么；(2)认识当前态势；(3)应用历史知识驱动当前策略。

这种统计趋势可以在许多其它领域见到。例如，经济贸易应用所依据的模型需要使用历史数据进行校准。很像棒球世界那样，模型的成功取决于能够多快地根据当前市场活动发掘机会。如果实时市场数据由于任何理由被推迟了，那么机会将减少，甚至丢失。

最近在斯坦福大学商学院举行的Big Data会议上，与会者讨论了所有产业中Big Data的增长趋势，包括工业、汽车、消费、医疗，不仅只是棒球或经济产业。或者更准确地讲，Big Data已经是下一件世界大事，商业伙伴分析他们的系统中产生的庞大信息是明智的。

然而，经常被人忽略的是如何真实地收集这些庞大的数据，或更准确地说，如何将数据从产生地移动到需要它的其它不同地方。

这种关联实时数据与历史数据实现态势感知，并将原始数据转换成信息的能力正在快速变成许多大规模分布式系统的必备能力。

Big Data的兴起表明，传统的RDBMS数据库已经无法跟上这些大型分布式系统所展现的数据速率，也不足以应对获得重要信息所需的各种咨询。最近虚拟化技术和基于云的数据管理系统的爆发式增长使得我们能够以创新的方式解决这些问题。

本文余下部分将简要介绍如何使用所谓的NoSQL数据库方法将联网设备与系统组成的分布式网络连接到基于云的数据管理工具，从而实现态势感知。同时使用了多个领域的不同例子说明如何通过整合实时数据与历史数据给分析师提供完整的新生态势描述以及后事件分析。

保留实时数据

无论何时将永久数据管理增加到实时分布式系统，主要考虑因素都是保持运营技术(OT)的关键性能特征。面向物理设备的技术是由工程部门实现和支持的，一般有许多设备与嵌入式系统设计。

在任何大型企业中，OT一般独立于涉及数据管理的信息技术(IT)部门完成，包括在生产线上或已部署系统中的嵌入式设备产生的数据，OT和IT之间很少有实时交互。

在这种分布式系统中，永久存储器性能低于易失性存储器，虽然有迹象表明这两种存储器可能会统一(也就是固态硬盘)。

实时数据管理由多个同时进行的活动组成：

1. 存储(写入)

2. 查询、关联和获取

3. 发布

OT(实时)数据管理与传统IT领域的区别在于，所有这些活动都是同时发生的。数据的产生、存储、关联、获取和重新发布是根据实时要求进行的。

在实时系统中，数据以各种速率产生，并以不同的优先级发布。因此，数据管理系统最好也能划分数据优先级，并能够灵活处理任意存储负荷。

来自传感器的信息就是在典型实时分布式系统中一个非常好的数据产生例子。传感器数据一般是以一致并且已知的速率产生的。虽然通常以低优先级发布，但同一数据能够很快变成最高优先级——数据紧急性是动态的。

比如考虑汽车发动机中的温度传感器。大多数时候温度在正常工作范围内，这个信息可以设置为低优先级。但当温度达到规定阈值时，立即向系统报警就非常重要。

存储性能可以分成截然不同的两大类——完整的和部分的。如果数据管理系统能够以分布式系统的峰值吞吐速率存储数据，那就能实现完整存储。对于部分存储而言，系统设计师有两种选择：

1. 减慢数据发生速率

2. 有选择的丢弃数据

值得注意的是，简单的缓冲处理是不够的，因为任何缓冲器容量都是有限的。缓冲只是简单地推迟了不可避免的问题，在实时系统中是不合适的。

由于是分布式实现，NoSQL数据库写入性能会受复制策略以及基础硬件的影响。对系统设计师来说，理解数据库实现方法并选择一种最适合应用的方法很重要。举例来说，Apache Cassandra的主要强项之一是良好的写入性能，这种性能得益于非常高效的复制策略。

存档服务

存档服务可以给实时数据保证适当的服务质量(QoS)，因此可以提供最好的数据存储。在基本实现中，存档服务使用NoSQL数据库API向云中的任意节点发出写命令。NoSQL数据库实现从那里保留和复制数据。根据一致性配置，在达到设定的一致性时，数据库将通知存档服务。

更加先进的存档服务实现能以负载均衡的方式写入云的不同段，从而实现最佳写入吞吐量。存档服务在不能提供完整数据存储时可以检测出来，并相应调整云资源。

在不破坏实时系统条件下的签约能力是存档服务的基本特征。OT系统对时间特别敏感。数据发送的任何延时都可能导致系统故障。虽然订阅数据看起来价值不高，而且是非侵入式的，但传统公司IT系统经常是牺牲反应时间来确保接收到所有数据。

这种平衡措施是将运营技术与存储及其它常用IT系统集成在一起时的常见挑战。为了确保非侵入式订阅，数据的发布必须激活被动观察，并且不能降低数据产生器或任何其它数据传输的速度。