基于M25P32 SPI Flash的TFFS设计与实现
时间:06-17
来源:互联网
点击:
0 引言
在VxWorks的应用系统中,基于flash的文件系统通常都采用DOS+FAT+FTL的结构。
一般情况下,磁盘文件系统大多是基于sector的文件系统,磁盘按照物理上分为柱面、磁盘、扇区,扇区是基于块的文件系统操作的基本存储单位,磁盘的容量都是根据这些数据计算出来的,每个扇区大小通常都是512bytes。
VxWorks文件系统中的DOSFS是MS-DOS兼容的文件系统,可基于块对物理介质进行操作。由于Fish的物理特性,对Flash作基于块(不同于Flash的擦除块)的操作必须由软件作封装实现,这就是TFFS所起的作用。
1 VxWorks文件系统的总体结构
VxWorks文件系统的总体结构以及TFFS在整个文件系统的位置如图l所示。
Tomado下的TFFS文件系统是Tornado的一个可选组件,它可为种类繁多的Flash设备提供一个统一的块设备接口。在Tornado2.2版本中自带的TFFS版本为2.0,在文件系统中,TFFS的功能相当于磁盘驱动,通过TFFS可使上层的DOSFS或RTll文件系统像操作普通的标准磁盘一样来操作Flash。
2 TFFS文件系统的分层
图2所示为TFFS文件系统的分层图。图中的Core Layer内核层可将其他层连接起来协同工作;翻译层主要实现DOS和TFFS之间的交互、管理文件系统和Flash各个物理块的关系,同时支持TFFS的各种功能,如磨损均衡、错误恢复等;MTD层执行底层的程序驱动(map、read、write、erase等);socket层的名称来源于可以插拔的socket存储卡,主要提供与具体的硬件板相关的驱动。
3 FTL层分析
FTL是TFFS文件系统的核心,它是PCMCIS的一项标准,意思是Flash Translation Laycr Specification,这种类型的文件系统是目前嵌入式系统中最流行的,很多公司都提供这种文件系统的相关解决方案。
PTL为DOS BPB/FAT与Flash之间的中间层,FTL利用现成的基于块的文件系统(例如DOSFS)来实现应用层的操作,实质上就是在Flash设备上模拟磁盘块设备的实现,为基于块的文件系统提供统一的接口。FTL通过以下几步来模拟磁盘驱动:首先是在Flash擦除块之外定义小的读写块(相当于磁盘扇区);其次是逻辑扇区(对块文件系统如DOSFS呈现的地址)和物理地址(Flash的实际地址)之间的转换;然后管理Flash,使得能在空闲的地方写入数据。其核心就是将DOS上的扇区映射到Flash上去。
为了实现DOS层从逻辑上看扇区是连续的,可随时对任意bit读写操作,FTL必须提供对Flash芯片的管理,包括向上层(DOS层)提供可以任意读写的操作接口,向下对Flash的擦除、写入、读取统一管理,同时还必须提供磨损均衡,以防止一个擦除块提前损坏。
3.1 FTL的启动过程分析
在我们调用函数tffsDevCreate创建TFFS文件系统时,会以参数FL_MOUNT_VOLUME调用函数flcall→mountvolume→flmount→mountFTL,函数mountFTL是FTL层的加载函数人口,处理过程首先是初始化FTL,然后就可按下列步骤进行:
(1)查找第一个合法的unit头信息
合法性的判断依据是unit header头上的标志CISF..FTL100和部分头部的flag信息,由于bsp已把FS的相关信息注册到FTL的数据结构中,所以,FTL层可以找到第一块unit,并可以向后查,直到找到合法的unit为止。
(2)检验信息合法性
将所有有用的信息都读出到内部数据结构中后,即可检验信息合法性。由于unit header中的Unit ID和擦除次数都相同,所以整个文件系统的共用信息都可以从首先找到的头中读出来。
(3)给Mount每一个unit建立page表
这是mount最重要的过程,对每个unit调用mountunit()函数,并在mountunit()函数中首先判断,如果是非法unit,则作为交换unit,然后对每个BAM选项进行处理,并对垃圾BAM、空闲BAM进行统计,如果是缓冲的BAM数据和交换page的VBM,则将此page的逻辑扇区信息记录到内存的page表中,以便后续映射访问查询使用,而对于非缓冲的BAM数据,则不作处理,另外,对于交换page的VBM,则进行记录。考虑到上述过程,可见其系统中的page VBM和缓冲的数据BAM分布在各个unit的各个角落,需要将所有的VBM和缓冲数据BAM收集起来建立整个交换page表,这是FTL标准层设计时就要决定的。
(4)检验逻辑unit的完整性
当所有的unit都mount完成后,每个逻辑unit都应存在,否则mount失败。
(5)判断并关闭交换page
如果系统中已存在交换page,则对系统中存在的交换page进行关闭操作,以便后面检查page的完整性。
(6)检查page的完整性
系统中的page表必须是完整的,这个表中包含有缓冲的数据BAM映射信息和更重要的page映射信息,因此,缺少任何一个,都将导致DOS的虚拟扇区无法映射到相应的逻辑扇区。
从上述过程可见,整个mount过程是将文件系统信息读入内存数据结构并检验的过程,这个Mount PTL过程完成后,mountvolume ()函数即将隐蔽的0扇区和DOS的启动扇区信息读入内存数据结构,这样,DOS就可以访问FTL底层扇区了。
3.2 TFFS的块映射
图3中,FTL层将DOS上连续的扇区映射到Flash上某个R/W block块中,同时在某个位置记录一个映射表(称为MAP表),该表中记录了DOS的扇区映射到Flash中的哪个block,当DOS要进行读操作时,FTL首先查询这个MAP,以获得映射信息,然后读取相应的block信息并返回给DOS,从而实现读映射。当DOS需要写入操作时,可能存在将bit0修改为1的情况,于是FTL层将申请一个新的block块,并将新信息写入,然后修改map信息,记录这个DOS扇区已经重新映射了,从而实现写映射。所以,从逻辑上看,FTL层就实现了DOS扇区的映射和FLASH的写入管理。
3.3 垃圾收集过程
FTL格式化后,可用扇区将被不断申请使用,原有扇区被不断的废弃,系统中可用的free扇区越来越少,但这并不是由于上层DOS真的使用了这么多扇区,而是FTL为了方便管理、为了不需要每次擦除一块而付出的管理代价。所以,当系统中的可用扇区少于用户要申请写入的扇区时,FTL层就必须解决这些垃圾问题,这个过程在FTL中称为垃圾回收(garbage collect)。
当FTL中的可用sector小于用户要申请的扇区时,系统将启动垃圾收集,但系统中有很多个unit,到底收集哪个unit呢?FTL会考虑磨损均衡,它将采用一个伪随机的算法来决定收集策略:即用4/256的几率选择磨损情况少的块来收集;252/256的几率则根据垃圾最多为第一条件,当垃圾一样时,判断磨损次数小的优先选择。
3.4 FFL创建的DOS
TFFS的格式化函数需要调用tffsDevFormat来格式化,而不需要调用dosFsVolFormat来格式化;另外,在tffsDevFormat格式化参数中,需要传人的参数含有FAT个数参数,其原因是DOS是FTL层创建的,而不是在FTL基础上创建的,下面是TFFS的整个格式化过程:
tffsDevFormat→flcall(FL_FORMAT_VOLUME)→formatVolume→Format→formatFTL;
其中,函数formatFTL是执行FTL层格式化的操作函数,操作时,首先根据格式化参数和BSP参数对内部数据结构初始化;然后再对每个unit进行格式化,在擦除后,即可写入unitheader信息和控制BAM值;之后写入unit No;最后申请每个page的空间;
上述formatFTL函数执行完以后,FTL就已经准备好,可以接受上层的扇区读写函数了(当然还没有内容可以读写)。
在函数formatVolume中,mount可进行卷操作,当内存的数据结构准备好后,FTL层即可调用函数flDosFormat来创建DOS。其中首先创建隐藏扇区,以用于记录该卷的部分信息,然后分别创建MBR、FAT和ROOT目录;这样,DOS创建完成后,再执行dosFsDevCreat函数,当然就无须格式化,找到0扇区自然就找到了MBR,因为DOS是FTL创建的。
从更深层次讲,FTL层之所以创建DOS层,是因为只有FTL层才知道有哪些扇区是可以供DOS使用的,哪些扇区是DOS不能使用的(作为FTL层管理使用),也正是因为DOS层不了解FTL层的运作情况,所有的扇区映射关系都被FTL层隐蔽,因而导致DOS层无法在上层作出有利于Flash擦写等优化动作,如大文件写入时的字节数更新,FAT表更新等操作,都会严重浪费FTL层的映射关系运算。
4 基于M25P32 SPI Flash的TFFS设计
对于TFFS的实现,涉及到config.h、sysTffs.c、tffsConifg.c、tffsMtd.c、Makefile几个文件的配置和修改,其中编译是通过建立一个downloadalbe的tomado工程,来把这几个.c源文件编译进去生成.pl文件提供给bsp工程,而后由bsp工程把.pl文件编译进去,从而生成bootable image。
4.1 Config.h的相关配置
要在vxworks映像中加入TFFS文件系统,需要加入相关的组件,虽然也可以在该文件中直接加入相应的配置宏,但很容易造成遗漏和有些需要依赖的宏没有定义或者冲突,本文采用的方法是建一个bootable的tornado工程,而后在这个工程中通过加入TFFS和DOSFS的相关组件来编译这个工程,从而生成一个prjParams.h文件,该文件里就包含了刚刚加入的组件对应的宏,因而,组件与组件之间依赖也是安全的,不会有任何冲突,最后再在Config.h中包含这个文件即可。
4.2 sysTffs.c文件的修改
该文件用于提供socket层的bsp实现代码。如果镜像文件包含TFFS相关组件,那么,系统启动时就会按照如下过程自动调用sysTffsInit()函数:
usrRoot()→tffsDrv()→flInit()→flRegisterComponent ()→sysTffslnit ()
sysTffsInit ()函数会依次调用socket注册函数simmRegisterOfsl (),注册函数数量视需要构建的文件系统数量而定,本文构建了1个文件系统ofsl,并在simmRegisterOfsl()函数中对文件系统的基地址进行了设置,同时对FLSocket()结构体中的毁掉处理函数进行了挂接,挂接函数也在该文件中实现,如卡上电、断电、写保护等。
对sysTffsFormaOfsl()函数的格式化参数可根据自己的需要进行修改。
4.3 tffsConfig.c和tffSMtd.c文件的修改
tffsConfig.c文件的修改就是在mtdTalbe []表中注册Flash识别函数iUnifiedIdentifyOfsl();而tffsConfig.c文件则用于实现iUnifiedldentifyOfsl()函数,iUnifiedIdentifyOfsl()函数对FLFlash结构体中的回调函数进行了挂接,如flash的读、写、擦除等,挂接函数的具体实现可在Dry_MvSFlash.cpp文件中以一个类的方式提供针对M25P32 spi Flash操作的所有驱动接口。
4.4 TFFS文件系统的安装
通过上面的过程,socket层和mtd层就都准备好了,下面便可以安装tffs文件系统。安装时,首先用sysTffsFormatOfsl()函数按照上面设定的参数格式化TFFS文件系统,而后通过usrTffsConfig(0,0,”ofsl”)函数接口在已建好的TFFS上挂接DOS文件系统,成功后,即可通过open、read、write等来操作Flash上的文件系统,也可以通过FTP方式用IE访问该文件系统中的内容。
4.5 Makefile文件的修改
对于Makefile的修改非常简单,因为几个和TFFS相关的源文件都是以.pl的方式被链人bsp工程的,所以只需要在makefile文件中把这个文件加入即可,即在makefile中加了如下的宏定义:
MACH_EXTRA+=../ArmPri/ARMARCH5gnu/ArmBspPrj.pl
5 结束语
本文对VxWorks下TFFS文件系统的层次结构和FTL层的启动过程、块映射算法、垃圾回收算法以及用FTL创建DOSFS进行了分析,给出了在M25P32 SPI Flash上创建TFFS文件系统和将TFFS挂在DOSFS的实现方法。通过对TFFS核心层FIL的分析给出的TFFS实现方法,可以从更基础的层面来认识VxWorks中的TFFS文件系统,从而给TFFS文件系统的问题定位和实现带来新的方法。
在VxWorks的应用系统中,基于flash的文件系统通常都采用DOS+FAT+FTL的结构。
一般情况下,磁盘文件系统大多是基于sector的文件系统,磁盘按照物理上分为柱面、磁盘、扇区,扇区是基于块的文件系统操作的基本存储单位,磁盘的容量都是根据这些数据计算出来的,每个扇区大小通常都是512bytes。
VxWorks文件系统中的DOSFS是MS-DOS兼容的文件系统,可基于块对物理介质进行操作。由于Fish的物理特性,对Flash作基于块(不同于Flash的擦除块)的操作必须由软件作封装实现,这就是TFFS所起的作用。
1 VxWorks文件系统的总体结构
VxWorks文件系统的总体结构以及TFFS在整个文件系统的位置如图l所示。
Tomado下的TFFS文件系统是Tornado的一个可选组件,它可为种类繁多的Flash设备提供一个统一的块设备接口。在Tornado2.2版本中自带的TFFS版本为2.0,在文件系统中,TFFS的功能相当于磁盘驱动,通过TFFS可使上层的DOSFS或RTll文件系统像操作普通的标准磁盘一样来操作Flash。
2 TFFS文件系统的分层
图2所示为TFFS文件系统的分层图。图中的Core Layer内核层可将其他层连接起来协同工作;翻译层主要实现DOS和TFFS之间的交互、管理文件系统和Flash各个物理块的关系,同时支持TFFS的各种功能,如磨损均衡、错误恢复等;MTD层执行底层的程序驱动(map、read、write、erase等);socket层的名称来源于可以插拔的socket存储卡,主要提供与具体的硬件板相关的驱动。
3 FTL层分析
FTL是TFFS文件系统的核心,它是PCMCIS的一项标准,意思是Flash Translation Laycr Specification,这种类型的文件系统是目前嵌入式系统中最流行的,很多公司都提供这种文件系统的相关解决方案。
PTL为DOS BPB/FAT与Flash之间的中间层,FTL利用现成的基于块的文件系统(例如DOSFS)来实现应用层的操作,实质上就是在Flash设备上模拟磁盘块设备的实现,为基于块的文件系统提供统一的接口。FTL通过以下几步来模拟磁盘驱动:首先是在Flash擦除块之外定义小的读写块(相当于磁盘扇区);其次是逻辑扇区(对块文件系统如DOSFS呈现的地址)和物理地址(Flash的实际地址)之间的转换;然后管理Flash,使得能在空闲的地方写入数据。其核心就是将DOS上的扇区映射到Flash上去。
为了实现DOS层从逻辑上看扇区是连续的,可随时对任意bit读写操作,FTL必须提供对Flash芯片的管理,包括向上层(DOS层)提供可以任意读写的操作接口,向下对Flash的擦除、写入、读取统一管理,同时还必须提供磨损均衡,以防止一个擦除块提前损坏。
3.1 FTL的启动过程分析
在我们调用函数tffsDevCreate创建TFFS文件系统时,会以参数FL_MOUNT_VOLUME调用函数flcall→mountvolume→flmount→mountFTL,函数mountFTL是FTL层的加载函数人口,处理过程首先是初始化FTL,然后就可按下列步骤进行:
(1)查找第一个合法的unit头信息
合法性的判断依据是unit header头上的标志CISF..FTL100和部分头部的flag信息,由于bsp已把FS的相关信息注册到FTL的数据结构中,所以,FTL层可以找到第一块unit,并可以向后查,直到找到合法的unit为止。
(2)检验信息合法性
将所有有用的信息都读出到内部数据结构中后,即可检验信息合法性。由于unit header中的Unit ID和擦除次数都相同,所以整个文件系统的共用信息都可以从首先找到的头中读出来。
(3)给Mount每一个unit建立page表
这是mount最重要的过程,对每个unit调用mountunit()函数,并在mountunit()函数中首先判断,如果是非法unit,则作为交换unit,然后对每个BAM选项进行处理,并对垃圾BAM、空闲BAM进行统计,如果是缓冲的BAM数据和交换page的VBM,则将此page的逻辑扇区信息记录到内存的page表中,以便后续映射访问查询使用,而对于非缓冲的BAM数据,则不作处理,另外,对于交换page的VBM,则进行记录。考虑到上述过程,可见其系统中的page VBM和缓冲的数据BAM分布在各个unit的各个角落,需要将所有的VBM和缓冲数据BAM收集起来建立整个交换page表,这是FTL标准层设计时就要决定的。
(4)检验逻辑unit的完整性
当所有的unit都mount完成后,每个逻辑unit都应存在,否则mount失败。
(5)判断并关闭交换page
如果系统中已存在交换page,则对系统中存在的交换page进行关闭操作,以便后面检查page的完整性。
(6)检查page的完整性
系统中的page表必须是完整的,这个表中包含有缓冲的数据BAM映射信息和更重要的page映射信息,因此,缺少任何一个,都将导致DOS的虚拟扇区无法映射到相应的逻辑扇区。
从上述过程可见,整个mount过程是将文件系统信息读入内存数据结构并检验的过程,这个Mount PTL过程完成后,mountvolume ()函数即将隐蔽的0扇区和DOS的启动扇区信息读入内存数据结构,这样,DOS就可以访问FTL底层扇区了。
3.2 TFFS的块映射
图3中,FTL层将DOS上连续的扇区映射到Flash上某个R/W block块中,同时在某个位置记录一个映射表(称为MAP表),该表中记录了DOS的扇区映射到Flash中的哪个block,当DOS要进行读操作时,FTL首先查询这个MAP,以获得映射信息,然后读取相应的block信息并返回给DOS,从而实现读映射。当DOS需要写入操作时,可能存在将bit0修改为1的情况,于是FTL层将申请一个新的block块,并将新信息写入,然后修改map信息,记录这个DOS扇区已经重新映射了,从而实现写映射。所以,从逻辑上看,FTL层就实现了DOS扇区的映射和FLASH的写入管理。
3.3 垃圾收集过程
FTL格式化后,可用扇区将被不断申请使用,原有扇区被不断的废弃,系统中可用的free扇区越来越少,但这并不是由于上层DOS真的使用了这么多扇区,而是FTL为了方便管理、为了不需要每次擦除一块而付出的管理代价。所以,当系统中的可用扇区少于用户要申请写入的扇区时,FTL层就必须解决这些垃圾问题,这个过程在FTL中称为垃圾回收(garbage collect)。
当FTL中的可用sector小于用户要申请的扇区时,系统将启动垃圾收集,但系统中有很多个unit,到底收集哪个unit呢?FTL会考虑磨损均衡,它将采用一个伪随机的算法来决定收集策略:即用4/256的几率选择磨损情况少的块来收集;252/256的几率则根据垃圾最多为第一条件,当垃圾一样时,判断磨损次数小的优先选择。
3.4 FFL创建的DOS
TFFS的格式化函数需要调用tffsDevFormat来格式化,而不需要调用dosFsVolFormat来格式化;另外,在tffsDevFormat格式化参数中,需要传人的参数含有FAT个数参数,其原因是DOS是FTL层创建的,而不是在FTL基础上创建的,下面是TFFS的整个格式化过程:
tffsDevFormat→flcall(FL_FORMAT_VOLUME)→formatVolume→Format→formatFTL;
其中,函数formatFTL是执行FTL层格式化的操作函数,操作时,首先根据格式化参数和BSP参数对内部数据结构初始化;然后再对每个unit进行格式化,在擦除后,即可写入unitheader信息和控制BAM值;之后写入unit No;最后申请每个page的空间;
上述formatFTL函数执行完以后,FTL就已经准备好,可以接受上层的扇区读写函数了(当然还没有内容可以读写)。
在函数formatVolume中,mount可进行卷操作,当内存的数据结构准备好后,FTL层即可调用函数flDosFormat来创建DOS。其中首先创建隐藏扇区,以用于记录该卷的部分信息,然后分别创建MBR、FAT和ROOT目录;这样,DOS创建完成后,再执行dosFsDevCreat函数,当然就无须格式化,找到0扇区自然就找到了MBR,因为DOS是FTL创建的。
从更深层次讲,FTL层之所以创建DOS层,是因为只有FTL层才知道有哪些扇区是可以供DOS使用的,哪些扇区是DOS不能使用的(作为FTL层管理使用),也正是因为DOS层不了解FTL层的运作情况,所有的扇区映射关系都被FTL层隐蔽,因而导致DOS层无法在上层作出有利于Flash擦写等优化动作,如大文件写入时的字节数更新,FAT表更新等操作,都会严重浪费FTL层的映射关系运算。
4 基于M25P32 SPI Flash的TFFS设计
对于TFFS的实现,涉及到config.h、sysTffs.c、tffsConifg.c、tffsMtd.c、Makefile几个文件的配置和修改,其中编译是通过建立一个downloadalbe的tomado工程,来把这几个.c源文件编译进去生成.pl文件提供给bsp工程,而后由bsp工程把.pl文件编译进去,从而生成bootable image。
4.1 Config.h的相关配置
要在vxworks映像中加入TFFS文件系统,需要加入相关的组件,虽然也可以在该文件中直接加入相应的配置宏,但很容易造成遗漏和有些需要依赖的宏没有定义或者冲突,本文采用的方法是建一个bootable的tornado工程,而后在这个工程中通过加入TFFS和DOSFS的相关组件来编译这个工程,从而生成一个prjParams.h文件,该文件里就包含了刚刚加入的组件对应的宏,因而,组件与组件之间依赖也是安全的,不会有任何冲突,最后再在Config.h中包含这个文件即可。
4.2 sysTffs.c文件的修改
该文件用于提供socket层的bsp实现代码。如果镜像文件包含TFFS相关组件,那么,系统启动时就会按照如下过程自动调用sysTffsInit()函数:
usrRoot()→tffsDrv()→flInit()→flRegisterComponent ()→sysTffslnit ()
sysTffsInit ()函数会依次调用socket注册函数simmRegisterOfsl (),注册函数数量视需要构建的文件系统数量而定,本文构建了1个文件系统ofsl,并在simmRegisterOfsl()函数中对文件系统的基地址进行了设置,同时对FLSocket()结构体中的毁掉处理函数进行了挂接,挂接函数也在该文件中实现,如卡上电、断电、写保护等。
对sysTffsFormaOfsl()函数的格式化参数可根据自己的需要进行修改。
4.3 tffsConfig.c和tffSMtd.c文件的修改
tffsConfig.c文件的修改就是在mtdTalbe []表中注册Flash识别函数iUnifiedIdentifyOfsl();而tffsConfig.c文件则用于实现iUnifiedldentifyOfsl()函数,iUnifiedIdentifyOfsl()函数对FLFlash结构体中的回调函数进行了挂接,如flash的读、写、擦除等,挂接函数的具体实现可在Dry_MvSFlash.cpp文件中以一个类的方式提供针对M25P32 spi Flash操作的所有驱动接口。
4.4 TFFS文件系统的安装
通过上面的过程,socket层和mtd层就都准备好了,下面便可以安装tffs文件系统。安装时,首先用sysTffsFormatOfsl()函数按照上面设定的参数格式化TFFS文件系统,而后通过usrTffsConfig(0,0,”ofsl”)函数接口在已建好的TFFS上挂接DOS文件系统,成功后,即可通过open、read、write等来操作Flash上的文件系统,也可以通过FTP方式用IE访问该文件系统中的内容。
4.5 Makefile文件的修改
对于Makefile的修改非常简单,因为几个和TFFS相关的源文件都是以.pl的方式被链人bsp工程的,所以只需要在makefile文件中把这个文件加入即可,即在makefile中加了如下的宏定义:
MACH_EXTRA+=../ArmPri/ARMARCH5gnu/ArmBspPrj.pl
5 结束语
本文对VxWorks下TFFS文件系统的层次结构和FTL层的启动过程、块映射算法、垃圾回收算法以及用FTL创建DOSFS进行了分析,给出了在M25P32 SPI Flash上创建TFFS文件系统和将TFFS挂在DOSFS的实现方法。通过对TFFS核心层FIL的分析给出的TFFS实现方法,可以从更基础的层面来认识VxWorks中的TFFS文件系统,从而给TFFS文件系统的问题定位和实现带来新的方法。
- 低压闪光灯方案(06-23)
- flash接口电路的实现(07-18)
- 一种支持ISP的Flash在嵌入式设计中的应用(08-19)
- 基于多端口串行Flash的条形LED显示屏控制(08-05)
- 提高MSP430G 系列单片机的Flash 擦写寿命方法(08-28)
- 基于FLASH介质嵌入式存储方案的设计与实现(04-20)