数字视频拓展了嵌入技术的疆域
时间:03-28
来源:EDN
点击:
消费设备中的视频革命带来了更低的硬件成本,以及对高性能嵌入设计的期望。
要 点
大批量产品中的视频功能使嵌入系统设计者拥有了一组新的低成本开发工具和信号处理器硅片。
数字视频需要复杂的压缩策略,才能在嵌入设备的有限带宽和存储局限中生存。
处理与显示有版权的数字数据可能需要数字版权管理软件。
带数字视频的嵌入系统要32bit处理器、实时操作系统和数兆内存,提高了复杂性。
多年以来,视频一直是专用工业系统(如监督与工厂审查系统)中的一个组成部分。但它只在最近才成为一系列嵌入产品的可行添加物。尤其是大批消费电子产品(如手机)中图像捕捉与回放功能的扩张,产生了大量低成本硬件与软件工具,简化了数字视频的整合工作。数字视频在消费产品中的广泛普及亦提高了嵌入系统客户的胃口,他们不再满足于简单显示静态信息的用户界面。用户希望嵌入系统拥有台式机甚至低价便携视频播放器的同等性能。不幸的是,设计者必须为加入数字视频支付费用,他们可能需要扩充内置存储器、增加处理能力、重新确定网络带宽、重新评估显示特性,并且可能要升级潜在产品的实时性能。
尽管大多数消费产品的视频都只是用作娱乐,嵌入设备中的一个多媒体演示其实可以完成很多功能。例如,视频显示可以为一个平凡产品增添一些趣味,或简化一台过于复杂的设备。设计者可以用数字视频实现竞争中的产品差异化,为整个产品系列建立独特风格。视频或图形用户界面与网络连接相结合,就能实现远程软件升级和功能修改。内带的培训与纠错视频可以消除或减少初始安装成本和维修呼叫。在有大带宽流视频功能时,客户支持人员还可以与客户实时互动,解决运行问题或隔离故障。 数字视频有很多变型,正确选择要依赖于系统资源、网络能力,还有嵌入设备的工作模式。显然,一台高清晰电视所需要的数据量和带宽要比手机 128×160 像素屏幕高出多个数量级。多数数字视频设计都会对嵌入系统提出新的软、硬件要求。有实时能力、内置多媒体功能以及设备驱动程序的操作系统可以节约开发时间。多数情况下,必须对通过通信信道传输或本地存储的视频数据作压缩。要实现远程视频数据的实时流畅播放,与互联网或本地服务器的高速网络连接是必不可少的。
数据压缩
所有嵌入视频系统最初的一个设计考虑都是要为压缩、解压算法或编解码器的运行提供所需计算资源。例如,一个典型的未压缩电视视频流需要超过 20 MB/s的数据速率,存储半小时节目需要 36GB空间。根据使用的不同算法和图像内容,视频压缩可以减小带宽和存储需求,比率约为 30:1。典型的视频压缩算法是将图像划分为小块,然后将每块转换为一种频域表述。经过传输或存储后,再用反向余弦变换就可以将频率系数复原为 8×8 像素的图像块。与处理需求类似,正、反余弦变换都只需要一只典型 DSP 中的几百个指令周期就能完成。两家重要组织定义并维护着今天最常用的图像与视频压缩标准。ITU(国际电信联合会)专门针对电信应用,支持用于视频电话的 H.26x 标准。ISO(国际标准化组织)则注重消费应用,如用于视频的 MPEG标准。
除了编解码器以外,以媒体为中心的嵌入系统可能还要包括 DRM(数字版权管理)软件,处理有关版权的资料。DRM 方案试图支持版权或版权所有者主张的其它使用限制。例如,DRM 可以限制用户能复制资料的地点、时间或次数。编码器或解码器的数据压缩端在数据速率较低时采用 DRM。尽管细节内容一般是保密的,但多数 DRM 算法并不太复杂,也比编解码器更易于实现。微软公司的 Vista 操作系统包含了 PVP(受保护视频路径)系统,它可以在运行未签名软件时,阻止播放有 DRM 限制的内容。PVP 还可以对向显示器或图形卡传输的信息加密,使未授权的录制更加困难。
对任何嵌入视频系统来说,显示屏都是关注点,今天的大多数产品都采用有源阵列 LCD(液晶显示器)屏幕,或最新的 OLED(有机发光二极管)技术。LCD 屏现在最普及,因为它的功耗要求低、重量轻、有良好的图像质量、响应时间快及可靠性高。LCD 由很多单元组成,它是将一种光极化的液体夹在两块垂直极化的玻璃板中,玻璃板由有源 TFT(薄膜晶体管)驱动。电流改变了液体的极化特性,阻止光线通过该单元。OLED 显示器正在嵌入系统应用中获得普及,因为该技术有能力提供更高的亮度、更高对比度的图像,而且功耗和制造成本更低。这些显示器采用有机混合物,用多层印刷工艺在一个平面载体上按行和列沉积。与传统的 LCD 不同,LED 显示器不需要背光,它们有更快的响应速度。OLED 显示器的缺点是可能某些颜色的有机材料寿命短。索尼公司最近推出了一种柔性的全彩 OLED 显示器,它采用了有机 TFT 技术(图 1)。OLED 一般采用玻璃基板,但索尼开发的新技术能将有机 TFT 直接沉积到塑料基材上,生产出一种既轻又薄的柔性全彩显示器。原型显示器为 0.3 mm厚的 2.5 英寸显示器,120×160 像素分辨率,支持 1680 万种颜色。
智能相机、视频转换与捕捉设备
自动化检测应用(如部件定位、封装检查和装配验证)一般需要相当多的视频处理分析实时图像。为简化这个过程,National Instruments(NI)最近推出了 NI 1722 和 NI 1742 智能相机,它带有工业控制器、图像传感器和视觉分析软件,返回的是检查结果而不是图像(图 2)。NI 随其芯片同时交付 Vision Builder 软件,这是一个菜单驱动的环境,无需编程就能完成机器视觉应用的配置和部署。对于更先进的应用,这些相机兼容 LabView 有关图像处理和机器视觉算法的全部库,如边缘检测、模式匹配和光学字符识别。NI 1722 采用一个 400 MHz 的 PowerPC 处理器,NI 1742 则是 533 MHz 版。两种相机都使用索尼公司的单色 640×480 像素电荷耦合图像传感器,有内置 I/O。该 I/O 包括两个光隔离的数字输入、两个光隔离的数字输出、一个 RS-232 串行端口,以及两个 GbE(千兆以太网)端口,支持各种工业协议,如 Modbus TCP(传输控制协议)。另外,NI 1742 带有对正交编码器的支持和内置 LED 发光驱动器,可提供高达 500 mA 的连续电流和 1A 的选通电流。NI 1722 和 NI 1742 智能相机的价格分别为 1999 美元和 2499 美元。
今天的移动阵营需要支持多达 70 种格式,内容供应商正在改用格式转换器完成各种视频结构之间的转换。这种转换是从一种编码格式到另一种编码格式(适应目标设备)的直接数字变换。它包括将原始数据解压为未经加工的中间格式,然后再将其编码为目标格式。德州仪器公司现在提供一款新的数字媒体处理器,用于媒体网关、多点控制设备和机顶盒的视频格式转换。基于 DSP 的新式 TMS320DM6467 DaVinci片上处理器系统提供实时的多格式视频格式转换。该系统集成了一个ARM926内核和600MHz C64x DSP内核,以及一个视频协处理器、一个转换引擎,以及目标视频端的接口,据称其性能比前代格式转换器提高了十倍。TMS320DM6467处理器价格为35.95美元(批量)。
很多需要大带宽的机器视觉、安全与视频监控应用的源头是使用模拟捕捉卡或帧捕捉器,从内容供应商的信号源直接采集的数据,这些应用包括定位、生物面部识别和汽车牌照识别等。Adlink 技术公司最新推出的 PCIe-RTV24 就面向这些应用,它是一块采用 PCI Express 技术的高速视频捕捉卡,支持四通道的实时图像捕捉,帧速率高达 30 帧/秒(图 3)。它接受标准的复合彩色或单色视频格式,有可编程分辨率,并能生成所有常见数字格式位图。例如,RGB24 是一种 24 bit/像素的 RGB 格式,其输出用一个 8 bit 的像素值代表每种红、绿和蓝颜色。该模块亦提供一个看门狗和四个数字 I/O 信号,可以将其用作选通光控制、触发器采集和警报信号。PCIe-RTV24 支持微软 Windows 或 Linux,价格为 195 美元。
远程视频
尽管视频特性对新产品设计有很多好处,但对某些深度嵌入的设备而言,所需要的开发预算加上继发的显示、信号处理资源,可能成本过高。这些项目可以采用一种可移动的用户界面而获得数字视频的好处,它可以是一种通用设备,如 PC、PDA 或手机。短距离的通信链接(如蓝牙、802.11、红外甚至直接连接)可以用很少的开发工作和最低的硬件成本实现图形化互动。如果嵌入设备内带互联网的网络连接,则也可以建立一个远程的视频用户界面,能用全世界任何浏览器进行访问。
数字视频现在是大批量消费电子与台式计算机中的常见功能,嵌入系统设计者感受到了来自客户的压力,要求仿效这种用户体验以保持竞争能力。视频指令与实时用户互动都能够代替更多各代新系统中的印刷文档。向视频的转换将可能首次出现在采用手机与视频播放器低成本技术的高度便携嵌入设备中。不断增加的市售软硬件产品使嵌入系统设计者拥有了在每个系统中集成复杂视频界面的工具。压缩算法的改进以及可用的大批量硅片都会继续降低成本,从而使每一代新产品都更容易下决心采用复杂的多媒体功能。
要 点
大批量产品中的视频功能使嵌入系统设计者拥有了一组新的低成本开发工具和信号处理器硅片。
数字视频需要复杂的压缩策略,才能在嵌入设备的有限带宽和存储局限中生存。
处理与显示有版权的数字数据可能需要数字版权管理软件。
带数字视频的嵌入系统要32bit处理器、实时操作系统和数兆内存,提高了复杂性。
多年以来,视频一直是专用工业系统(如监督与工厂审查系统)中的一个组成部分。但它只在最近才成为一系列嵌入产品的可行添加物。尤其是大批消费电子产品(如手机)中图像捕捉与回放功能的扩张,产生了大量低成本硬件与软件工具,简化了数字视频的整合工作。数字视频在消费产品中的广泛普及亦提高了嵌入系统客户的胃口,他们不再满足于简单显示静态信息的用户界面。用户希望嵌入系统拥有台式机甚至低价便携视频播放器的同等性能。不幸的是,设计者必须为加入数字视频支付费用,他们可能需要扩充内置存储器、增加处理能力、重新确定网络带宽、重新评估显示特性,并且可能要升级潜在产品的实时性能。
尽管大多数消费产品的视频都只是用作娱乐,嵌入设备中的一个多媒体演示其实可以完成很多功能。例如,视频显示可以为一个平凡产品增添一些趣味,或简化一台过于复杂的设备。设计者可以用数字视频实现竞争中的产品差异化,为整个产品系列建立独特风格。视频或图形用户界面与网络连接相结合,就能实现远程软件升级和功能修改。内带的培训与纠错视频可以消除或减少初始安装成本和维修呼叫。在有大带宽流视频功能时,客户支持人员还可以与客户实时互动,解决运行问题或隔离故障。 数字视频有很多变型,正确选择要依赖于系统资源、网络能力,还有嵌入设备的工作模式。显然,一台高清晰电视所需要的数据量和带宽要比手机 128×160 像素屏幕高出多个数量级。多数数字视频设计都会对嵌入系统提出新的软、硬件要求。有实时能力、内置多媒体功能以及设备驱动程序的操作系统可以节约开发时间。多数情况下,必须对通过通信信道传输或本地存储的视频数据作压缩。要实现远程视频数据的实时流畅播放,与互联网或本地服务器的高速网络连接是必不可少的。
数据压缩
所有嵌入视频系统最初的一个设计考虑都是要为压缩、解压算法或编解码器的运行提供所需计算资源。例如,一个典型的未压缩电视视频流需要超过 20 MB/s的数据速率,存储半小时节目需要 36GB空间。根据使用的不同算法和图像内容,视频压缩可以减小带宽和存储需求,比率约为 30:1。典型的视频压缩算法是将图像划分为小块,然后将每块转换为一种频域表述。经过传输或存储后,再用反向余弦变换就可以将频率系数复原为 8×8 像素的图像块。与处理需求类似,正、反余弦变换都只需要一只典型 DSP 中的几百个指令周期就能完成。两家重要组织定义并维护着今天最常用的图像与视频压缩标准。ITU(国际电信联合会)专门针对电信应用,支持用于视频电话的 H.26x 标准。ISO(国际标准化组织)则注重消费应用,如用于视频的 MPEG标准。
除了编解码器以外,以媒体为中心的嵌入系统可能还要包括 DRM(数字版权管理)软件,处理有关版权的资料。DRM 方案试图支持版权或版权所有者主张的其它使用限制。例如,DRM 可以限制用户能复制资料的地点、时间或次数。编码器或解码器的数据压缩端在数据速率较低时采用 DRM。尽管细节内容一般是保密的,但多数 DRM 算法并不太复杂,也比编解码器更易于实现。微软公司的 Vista 操作系统包含了 PVP(受保护视频路径)系统,它可以在运行未签名软件时,阻止播放有 DRM 限制的内容。PVP 还可以对向显示器或图形卡传输的信息加密,使未授权的录制更加困难。
对任何嵌入视频系统来说,显示屏都是关注点,今天的大多数产品都采用有源阵列 LCD(液晶显示器)屏幕,或最新的 OLED(有机发光二极管)技术。LCD 屏现在最普及,因为它的功耗要求低、重量轻、有良好的图像质量、响应时间快及可靠性高。LCD 由很多单元组成,它是将一种光极化的液体夹在两块垂直极化的玻璃板中,玻璃板由有源 TFT(薄膜晶体管)驱动。电流改变了液体的极化特性,阻止光线通过该单元。OLED 显示器正在嵌入系统应用中获得普及,因为该技术有能力提供更高的亮度、更高对比度的图像,而且功耗和制造成本更低。这些显示器采用有机混合物,用多层印刷工艺在一个平面载体上按行和列沉积。与传统的 LCD 不同,LED 显示器不需要背光,它们有更快的响应速度。OLED 显示器的缺点是可能某些颜色的有机材料寿命短。索尼公司最近推出了一种柔性的全彩 OLED 显示器,它采用了有机 TFT 技术(图 1)。OLED 一般采用玻璃基板,但索尼开发的新技术能将有机 TFT 直接沉积到塑料基材上,生产出一种既轻又薄的柔性全彩显示器。原型显示器为 0.3 mm厚的 2.5 英寸显示器,120×160 像素分辨率,支持 1680 万种颜色。
智能相机、视频转换与捕捉设备
自动化检测应用(如部件定位、封装检查和装配验证)一般需要相当多的视频处理分析实时图像。为简化这个过程,National Instruments(NI)最近推出了 NI 1722 和 NI 1742 智能相机,它带有工业控制器、图像传感器和视觉分析软件,返回的是检查结果而不是图像(图 2)。NI 随其芯片同时交付 Vision Builder 软件,这是一个菜单驱动的环境,无需编程就能完成机器视觉应用的配置和部署。对于更先进的应用,这些相机兼容 LabView 有关图像处理和机器视觉算法的全部库,如边缘检测、模式匹配和光学字符识别。NI 1722 采用一个 400 MHz 的 PowerPC 处理器,NI 1742 则是 533 MHz 版。两种相机都使用索尼公司的单色 640×480 像素电荷耦合图像传感器,有内置 I/O。该 I/O 包括两个光隔离的数字输入、两个光隔离的数字输出、一个 RS-232 串行端口,以及两个 GbE(千兆以太网)端口,支持各种工业协议,如 Modbus TCP(传输控制协议)。另外,NI 1742 带有对正交编码器的支持和内置 LED 发光驱动器,可提供高达 500 mA 的连续电流和 1A 的选通电流。NI 1722 和 NI 1742 智能相机的价格分别为 1999 美元和 2499 美元。
今天的移动阵营需要支持多达 70 种格式,内容供应商正在改用格式转换器完成各种视频结构之间的转换。这种转换是从一种编码格式到另一种编码格式(适应目标设备)的直接数字变换。它包括将原始数据解压为未经加工的中间格式,然后再将其编码为目标格式。德州仪器公司现在提供一款新的数字媒体处理器,用于媒体网关、多点控制设备和机顶盒的视频格式转换。基于 DSP 的新式 TMS320DM6467 DaVinci片上处理器系统提供实时的多格式视频格式转换。该系统集成了一个ARM926内核和600MHz C64x DSP内核,以及一个视频协处理器、一个转换引擎,以及目标视频端的接口,据称其性能比前代格式转换器提高了十倍。TMS320DM6467处理器价格为35.95美元(批量)。
很多需要大带宽的机器视觉、安全与视频监控应用的源头是使用模拟捕捉卡或帧捕捉器,从内容供应商的信号源直接采集的数据,这些应用包括定位、生物面部识别和汽车牌照识别等。Adlink 技术公司最新推出的 PCIe-RTV24 就面向这些应用,它是一块采用 PCI Express 技术的高速视频捕捉卡,支持四通道的实时图像捕捉,帧速率高达 30 帧/秒(图 3)。它接受标准的复合彩色或单色视频格式,有可编程分辨率,并能生成所有常见数字格式位图。例如,RGB24 是一种 24 bit/像素的 RGB 格式,其输出用一个 8 bit 的像素值代表每种红、绿和蓝颜色。该模块亦提供一个看门狗和四个数字 I/O 信号,可以将其用作选通光控制、触发器采集和警报信号。PCIe-RTV24 支持微软 Windows 或 Linux,价格为 195 美元。
远程视频
尽管视频特性对新产品设计有很多好处,但对某些深度嵌入的设备而言,所需要的开发预算加上继发的显示、信号处理资源,可能成本过高。这些项目可以采用一种可移动的用户界面而获得数字视频的好处,它可以是一种通用设备,如 PC、PDA 或手机。短距离的通信链接(如蓝牙、802.11、红外甚至直接连接)可以用很少的开发工作和最低的硬件成本实现图形化互动。如果嵌入设备内带互联网的网络连接,则也可以建立一个远程的视频用户界面,能用全世界任何浏览器进行访问。
数字视频现在是大批量消费电子与台式计算机中的常见功能,嵌入系统设计者感受到了来自客户的压力,要求仿效这种用户体验以保持竞争能力。视频指令与实时用户互动都能够代替更多各代新系统中的印刷文档。向视频的转换将可能首次出现在采用手机与视频播放器低成本技术的高度便携嵌入设备中。不断增加的市售软硬件产品使嵌入系统设计者拥有了在每个系统中集成复杂视频界面的工具。压缩算法的改进以及可用的大批量硅片都会继续降低成本,从而使每一代新产品都更容易下决心采用复杂的多媒体功能。
- 数字视频系统中的集成新概念(下)(09-12)
- 数字视频系统设计中的集成新概念(上)(09-12)
- 几种高带宽数字视频接口的发展及应用(01-16)
- 达芬奇技术简化数字视频设计(03-02)
- 智能家居:数字视频监控 门禁和灯光控制(05-01)
- 基于同轴视频传输技术原理与实际应用(07-02)