非结构化海量网络数据处理技术研究

时间矩阵同步分析算法是一种高效的同步分析算法，是最快最逼近真实数据的一种的算法。将原始数据时间以1 s为单位，以实际需要的每秒采样率PerCyc为等分值，即将时间轴分PerCyc等分，如图3所示。

假设PerCyc为6，则在1 s内，平均提取6个时间点。以第二个时间点10为例，从图中可以看到，某个实际的网络数据包时间在10附近有08 s，09 s，12 s三点，那么在提取该网络数据包的时候，比较后选择09 s点数值为同步分析的结果数值。以此类推，对需要提取的网络数据包在10 s点的数值都可以比较逼近获得。
2．3 分布式应用中间件网络数据处理
以中间件形式(Active控件等)将网络数据包接口软件发布在分布式网络数据处理系统中。该系统在数据管理、海量数据并发处理和数据分发等方面满足海量飞行试验数据处理需求，通过基于Web的飞行试验数据处理子系统实现对所需数据信息的访问。如图4所示。
(1)客户端ActiveX根据调度服务器列表中的IP及端口号循环尝试建立Socket通信，发出计算请求；
(2)客户端ActiveX与调度服务器建立连接后，调度服务器经过负载均衡计算，返回给客户端ActiveX一个计算服务器的IP及端口号；
(3)客户端ActiveX与计算服务器建立Socket连接；
(4)客户端ActiveX发出执行计算命令；
(5)计算服务器接收到计算命令后，启动确定的分布式中间件执行分布式计算任务，并将状态信息输出到控制台，计算服务器中的状态监控程序用管道技术将分布式中间件的输出作为自己的输入，并通过Socket方式返回给客户端ActiveX；
(6)客户端ActiveX接收任务执行的状态信息，显示给用户；
(7)当分布式中间件执行完毕，计算服务器中的状态监控程序将最后的结果文件通过Socket传给客户端ActiveX；
(8)客户端ActiveX控件将文件保存至客户端，分布式计算结束。

3 结语
本文由面及点地对网络化测试系统中采集记录的网络数据进行了深层次的理解和多视角的剖析。同时为实现对非结构化海量网络数据进行快速分析处理，对数据处理算法和数据处理软件集成进行了研究，从接口软件关键算法设计到数据系统集成提出了解决方法。并且这些方法已经在飞行试验海量网络数据处理软件的设计过程中应用，通过对飞行试验中采集的网络数据进行分析处理，使用这些算法的飞行试验海量网络数据处理软件的处理效率满足飞行试验海量网络数据处理需求，解决了在飞行试验中的非结构海量网络数据快速分析处理问题，为新一代机载网络化测试系统应用于飞行试验提供了技术保障。国外许多航空公司已经在飞行试验中应用网络化测试系统，对非结构海量网络数据分析处理技术也在进行研究。