分布式测试系统中数据存储管理技术研究

摘要：在一些大海域进行的分布式测试系统实验中，对大量、多种类测试数据的有效存储管理是必要的。NAND Flash存储器具有非易失、大容量、可擦除与重复性编程等优点，并可基于其构建文件系统实现文件的有效存储管理。无线实时回传处理大量数据是系统的瓶颈，因此存储数据时可提取数据特征并存储特征，为实现基于特征提取的高效数据传输提供可能，提高系统的实时性。

关键词：分布式测试;NAND Flash;特征提取;文件系统

引言

本课题研究的数据存储与管理技术可应用于在大型海域进行的水中爆炸效能参数测试的分布式测试系统中，整个系统中基站与主站通过无线传输。由于在海域中的测试环境比较恶劣，对于测试设备的布置比较困难，因此有时需要在短时间内做多次重复性实验。重复性实验就要求将每次所采集的数据实时回传处理或存储管理，为下次实验作准备。本系统所采用的无线传输方式决定不可能在短时间内把大量数据回传。NAND Flash存储器作为一种非易失、大容量、可擦除与重复性编程等优点，在其内部构建文件系统，把多次重复性采集的多种数据以文件格式存储，可为系统由无线传输引起的瓶颈提供另一种解决方案。在存储冲击波数据时，冲击波信号有其典型的特征(最大值特征)，可提取其最大值特征作为该文件的信息一同存储。事后数据快速分析处理时，最关心的是冲击波压力峰值(即最大值)，因此可通过传输特征值少量数据快速分析提高系统实时性。

1 系统组成

本课题研究的数据存储管理系统是分布式测试系统基站的重要组成部分。该模块实现了对冲击波数据、水声定位信号、环境温度等多种数据的存储管理，为事后数据分析处理提供可靠保证，并通过与基站中的无线收发模块通信，实现与主站的通信。图1为系统结构框图。数据存储管理系统主要由单片机与CPLD组成，本系统通过在CPLD内部扩展SPI接口电路，完成冲击波、水声定位等信号的存储;并在NAND Flash存储器中构建文件系统，实现对多种大量数据的存储管理。

2 数据传输接口电路设计

本数据存储管理系统以单片机和CPLD作为核心控制器。由于单片机的端口、内部串口等资源数目有限，需在CPLD内部扩展SPI接口电路，不仅简化了接口和控制，提高了系统的整体性能及工作灵活性，还使系统扩展变得可行。CPLD扩展SPI接口框图如图2所示。

在CPLD内部编写双向I/O总线、译码电路、时钟发生器、移位寄存器等电路完成SPI接口电路设计。READY为从机(冲击波模块)与主机(数据存储管理系统)通信时状态标志位，供主机与从机通信时查询使用。READY为1时，主从机可通信。

图3为CPLD扩展SPI接口电路读取冲击波模块数据时的波形。bit8为READY信号，从机高电平时主机读取数据;bit9为SCK时钟信号，主机查询READY为高时主机产生8个SCK时钟，启动SPI传输;bit10为MOSI，主机输出端口;bit11为MISO，主机输入端口，SCK上升沿读取数据。图3连续两个周期读取的数据为0x07(00000111)、0xb0(10110000)，两周期时间间隔为20.400μs，传输速度可达4×105bps。
3 数据存储管理

3.1 存储管理数据特征

在本分布式测试系统实验时，所要存储管理的冲击波、水声信号等数据的大小、存储顺序都一定，是其典型特征。因此存储数据时可以按顺序方式存储，把每一类数据分别以一个文件的形式存储，用文件名把冲击波与水声信号等进行区别，并且每一文件有其唯一的编号ID。采集参数信息(如时间、通道、频率、点数、触发延时信息等)作为每个文件的头信息保存，事后数据分析处理时可先读取文件存储状态(包括所有存储文件的头信息)，然后可为事后分析处理数据提供便利。

3.2 文件系统的设计

文件系统的具体设计是根据系统资源环境和应用需求而定的，因此在具体的应用系统中文件系统会有不同的实现形式。

结合本课题的存储器特征：NAND Flash(Samsung K9F1208)是以页为单位存储、以块为单位擦除，写入速度快(典型200μs)、擦除速度慢(典型2 ms)。存储数据特征：文件大小是确定的，存储过程是顺序存储，且存储之后不会对数据进行再写入和随机读取与修改。NAND Flash构建一种基于块设备存储的文件系统，适合对本课题多次重复性实验数据进行有效存储与管理。基于块设备存储的文件系统是磁盘存储器常用的文件系统，典型的是FAT文件系统。FAT文件系统技术成熟、结构简单、系统资源开销小，结合本系统使用的NAND Flash特性，易于在本系统硬件平台(Atmel ATmega162单片机与Xilinx XC2C256-7 CPLD为核心控制)上实现。

由于NAND Flash不同于一般的磁盘存储器，在出厂时允许有一定数量的坏块，需对通用