利用Zynq SoC简化4K电视开发
时间:01-12
来源:互联网
点击:
赛灵思All Programmable技术堪称4K视频系统设计人员的福音。相关工具、IP和参考设计将为FPGA设计新手助一臂之力。
作者:Roger Fawcett
OmniTek 总经理
roger.fawcett@omnitek.tv
超高清(UHD)电视因其分辨率等级同时也被称为4K电视。这种电视已经广泛推出,而且事实证明,4K技术比3D电视更受消费者青睐。但是,相关标 准却落后于4K电视的增长趋势。美国电影电视工程师协会(SMPTE)支持4K60视频的6 Gbps和12 Gbps SDI标准才刚刚发布;支持相同分辨率的HDMI™ 2.0和DisplayPort接口尚处于应用的早期阶段。由于4K UHD电视的消费需求巨大,许多专案标准已经蜂拥而来,势图填补这一空白。
事实上,有关4K UHD电视的很多部分正处于不断变化的状态,因此系统一定要有足够的灵活性来适应发展中的标准。确保这种灵活性的方法是将在此类设计中使用已久的传统芯片 组和ASSP替换为FPGA和All Programmable片上系统,例如赛灵思Zynq®-7000 All Programmable SoC。这种解决方案不仅可提供所需的灵活性,同时还能实现与ASIC相媲美的性能水平。
同时,最新FPGA和SoC的尺寸和性能也存在相当大的设计挑战,尤其对于不是特别擅长FPGA的工程师来说更为如此。硬件设计与FPGA实现方案之间虽有很多相似之处,但是基于FPGA的系统通常要涉及更多的组件。此外,固件设计中固有的灵活性也增加了更多复杂性。
幸运的是,赛灵思为4K电视设计人员提供了很多帮助,与从头开始设计系统相比能节省大量时间和金钱成本。不过在具体介绍如何在4K领域应用FPGA技术之前,我们首先看一看4K系统如何如此快速地变得如此受欢迎,以及任何4K系统都必须要解决的问题。
4K的优缺点
自电视问世以来,业界一直在通过增大分辨率、帧率或图像动态范围(即所能达到的亮度)持续改进画质,实现更大、更好、更快速的视频,让图像更逼真。当然,还包括实现真正的3D效果,至少更有一种身临其境的感觉。
增大分辨率可以使图像更精致,而且在更大屏幕上显示时不会让像素纹理变得明显。更大的屏幕有更强的沉浸式感受。这些改进很容易得到消费者认可,因此 也就愿意在这方面花钱。通过增大帧率(更流畅的动作)或动态范围(光线更亮,黑色更暗)实现的改善效果虽然很出色,但到目前为止在吸引消费者注意力方面所 起到的效果相比之下并不明显。
最新4K UHD电视像素是此前广受欢迎的高清标准的四倍。对消费者来说最重要的一点是利用4K技术升级到更大尺寸电视,可以享受更好的沉浸式效果,而且不会对图像质量产生任何明显影响。
然而,在开发支持4K视频的系统时面临着诸多固有技术挑战。首先,高达60Hz帧率下提供的3,840 x 2,160像素的帧尺寸相当于600MHz的像素率。因此,需要使用非常高性能的系统对其进行实时处理。其次,针对4K定义了不同传输配置,所有配置都涉 及多个数据流,有些在相同线缆上以多路复用方式传输,有些在不同线缆上传输,另外还出现很多不同传输技术,包括:4x3G;6G-SDI和12G- SDI;HDMI 1.4和2.0,DisplayPort 1.2,以及V-by-One HS。
设计人员面临的另一个问题是任何系统不仅需要处理4K标准,而且还要处理当前使用的很多或全部视频标准(包括SD)。此外,系统必须支持不同标准之 间的转换,会遇到很多相关问题:上/下/交叉转换、不匹配的色彩空间、颜色校正、隔行扫描与去隔行扫描以及Cadence 处理。另一个复杂问题是在完成上转换后通常需要紧接着使用所谓“超分辨率”增强技术来抵消不可避免的图像平滑问题。
其它处理还包括降噪、裁剪和调整大小,这些都需要实时完成。有些系统可能还需要处理高带宽数字内容保护 (HDCP)。
此外,如果想要确定广播传输的质量还需要生成适当的眼图和抖动显示图,但相应技术在高比特率下越来越难以实现。 第一层辅助:4K IP核
设计任何系统时的第一步都是找到可运用到设计中的现成模块。在FPGA领域,等同于构建块就是可内置到PCB设计中的各种芯片,即IP核。因此,第一步要确定您的4K UHD设计中可以使用什么IP核。
OmniTek对于各种类型的视频系统设计而言都是很好的IP核供货源。该公司是赛灵思联盟计划的认证成员,起初作为专门从事自主开发测试测量系统的开发商,具有丰富的视频处理经验。这些系统需要专用硬件,因此也就需要开发专用的固件模块。固件模块现在也以IP核的形式提供。OmniTek在推出最新测试测量系统(即新的Ultra 4K Tool Box)之后,就开发出多种支持4K技术的IP核,现已向第三方开发商供货。
有两种内核对4K系统设计人员来说尤其有用,它们就是OmniTek的OSVP v2可扩展视频处理器(OSVP v2 Scalable Video Processor)和多通道流媒体DMA控制器(Multi-Channel Streaming DMA Controller)。这两种内核均采用ARM® AMBA® AXI4系统互联标准,都可用于赛灵思7系列FPGA和Zynq SoC。
OSVP v2的功能包括:六轴色彩校正;运动及边缘自适应去隔行(包含3:2和2:2 Film Cadence检测与处理);可通过图像锐化和平滑调整大小和进行裁剪;以及降噪声等。图1给出了该内核的方框图。您可以在编译时间对所包含的处理功能的 选项进行配置,同时,由OSVP v2内核所执行的处理工作的更详细内容可在运行时间内或这从软件中设置。
图1- OmniTek的OSVP v2可扩展视频处理器内核的输入通道架构
OSVP v2内核是套件中的一部分。该套件还包含用来合并多个视频流的合并器;用来产生隔行格式输出的隔行扫描器;专用交叉点;以及用来在4:4:4、4:2:2 和4:2:0 YCbCr之间转换的色度重采样。(单个色度重采样能够从4:4:4转换至4:2:2,从4:2:2转换至4:2:0,从4:2:2转换至4:4:4,或 从4:2:0转换至4:2:2。)
单个OSVP v2内核能处理多个视频通道。但这会受到实现内核所用的FPGA或SoC能提供的资源,以及可用SDRAM带宽的限制。例如,您可对采用Kintex®- 7 XC7K325T FPGA实现的OSVP内核进行配置以支持八个输入,处理采用八种不同HD视频标准或八种色彩空间的视频。同时,您可对输出模块进行配置以提供16个渐进 HD输出。此外,您还可以让输出模块提供单个4K通道,或者四通道组,以便共同提供Square Division(“quad”) 或双像素采样交错格式组成的4K视频。
设计复杂4K系统时的另一个挑战是对处理视频时所需的众多高带宽存储器访问进行管理。有时候,所需的视频操作功能与视频处理模块一起提供。例如,OSVP v2内核包含一个多端口视频DMA模块,
该模块提供一个用来操作视频输入和输出的高效引擎。
然而通过PCI Express®采集和播放单通道或多通道4K60视频,需要一个DMA控制器,用于优化处理PCIe®接口传输的流式数据。OmniTek的多通道流式 DMA控制器有两项功能在这里很有用。首先是基于FIFO的DMA (FDMA),这样就无需将数据从存储器转入和转出。第二个是一系列的设计优化,使得控制器可以高效利用PCIe带宽,例如预取分散/聚集模式描述符,以 及背靠背TLP数据包打包。
OmniTek针对4K UHD视频处理开发了另一个IP核,可以将双采样交错格式组成的4K视频分解成不同数据流。另外,对基本MIG SDRAM控制器进行了替换,从而进一步提高了UHD电视视频应用的性能。
作者:Roger Fawcett
OmniTek 总经理
roger.fawcett@omnitek.tv
超高清(UHD)电视因其分辨率等级同时也被称为4K电视。这种电视已经广泛推出,而且事实证明,4K技术比3D电视更受消费者青睐。但是,相关标 准却落后于4K电视的增长趋势。美国电影电视工程师协会(SMPTE)支持4K60视频的6 Gbps和12 Gbps SDI标准才刚刚发布;支持相同分辨率的HDMI™ 2.0和DisplayPort接口尚处于应用的早期阶段。由于4K UHD电视的消费需求巨大,许多专案标准已经蜂拥而来,势图填补这一空白。
事实上,有关4K UHD电视的很多部分正处于不断变化的状态,因此系统一定要有足够的灵活性来适应发展中的标准。确保这种灵活性的方法是将在此类设计中使用已久的传统芯片 组和ASSP替换为FPGA和All Programmable片上系统,例如赛灵思Zynq®-7000 All Programmable SoC。这种解决方案不仅可提供所需的灵活性,同时还能实现与ASIC相媲美的性能水平。
同时,最新FPGA和SoC的尺寸和性能也存在相当大的设计挑战,尤其对于不是特别擅长FPGA的工程师来说更为如此。硬件设计与FPGA实现方案之间虽有很多相似之处,但是基于FPGA的系统通常要涉及更多的组件。此外,固件设计中固有的灵活性也增加了更多复杂性。
幸运的是,赛灵思为4K电视设计人员提供了很多帮助,与从头开始设计系统相比能节省大量时间和金钱成本。不过在具体介绍如何在4K领域应用FPGA技术之前,我们首先看一看4K系统如何如此快速地变得如此受欢迎,以及任何4K系统都必须要解决的问题。
4K的优缺点
自电视问世以来,业界一直在通过增大分辨率、帧率或图像动态范围(即所能达到的亮度)持续改进画质,实现更大、更好、更快速的视频,让图像更逼真。当然,还包括实现真正的3D效果,至少更有一种身临其境的感觉。
增大分辨率可以使图像更精致,而且在更大屏幕上显示时不会让像素纹理变得明显。更大的屏幕有更强的沉浸式感受。这些改进很容易得到消费者认可,因此 也就愿意在这方面花钱。通过增大帧率(更流畅的动作)或动态范围(光线更亮,黑色更暗)实现的改善效果虽然很出色,但到目前为止在吸引消费者注意力方面所 起到的效果相比之下并不明显。
最新4K UHD电视像素是此前广受欢迎的高清标准的四倍。对消费者来说最重要的一点是利用4K技术升级到更大尺寸电视,可以享受更好的沉浸式效果,而且不会对图像质量产生任何明显影响。
然而,在开发支持4K视频的系统时面临着诸多固有技术挑战。首先,高达60Hz帧率下提供的3,840 x 2,160像素的帧尺寸相当于600MHz的像素率。因此,需要使用非常高性能的系统对其进行实时处理。其次,针对4K定义了不同传输配置,所有配置都涉 及多个数据流,有些在相同线缆上以多路复用方式传输,有些在不同线缆上传输,另外还出现很多不同传输技术,包括:4x3G;6G-SDI和12G- SDI;HDMI 1.4和2.0,DisplayPort 1.2,以及V-by-One HS。
设计人员面临的另一个问题是任何系统不仅需要处理4K标准,而且还要处理当前使用的很多或全部视频标准(包括SD)。此外,系统必须支持不同标准之 间的转换,会遇到很多相关问题:上/下/交叉转换、不匹配的色彩空间、颜色校正、隔行扫描与去隔行扫描以及Cadence 处理。另一个复杂问题是在完成上转换后通常需要紧接着使用所谓“超分辨率”增强技术来抵消不可避免的图像平滑问题。
其它处理还包括降噪、裁剪和调整大小,这些都需要实时完成。有些系统可能还需要处理高带宽数字内容保护 (HDCP)。
此外,如果想要确定广播传输的质量还需要生成适当的眼图和抖动显示图,但相应技术在高比特率下越来越难以实现。 第一层辅助:4K IP核
设计任何系统时的第一步都是找到可运用到设计中的现成模块。在FPGA领域,等同于构建块就是可内置到PCB设计中的各种芯片,即IP核。因此,第一步要确定您的4K UHD设计中可以使用什么IP核。
OmniTek对于各种类型的视频系统设计而言都是很好的IP核供货源。该公司是赛灵思联盟计划的认证成员,起初作为专门从事自主开发测试测量系统的开发商,具有丰富的视频处理经验。这些系统需要专用硬件,因此也就需要开发专用的固件模块。固件模块现在也以IP核的形式提供。OmniTek在推出最新测试测量系统(即新的Ultra 4K Tool Box)之后,就开发出多种支持4K技术的IP核,现已向第三方开发商供货。
有两种内核对4K系统设计人员来说尤其有用,它们就是OmniTek的OSVP v2可扩展视频处理器(OSVP v2 Scalable Video Processor)和多通道流媒体DMA控制器(Multi-Channel Streaming DMA Controller)。这两种内核均采用ARM® AMBA® AXI4系统互联标准,都可用于赛灵思7系列FPGA和Zynq SoC。
OSVP v2的功能包括:六轴色彩校正;运动及边缘自适应去隔行(包含3:2和2:2 Film Cadence检测与处理);可通过图像锐化和平滑调整大小和进行裁剪;以及降噪声等。图1给出了该内核的方框图。您可以在编译时间对所包含的处理功能的 选项进行配置,同时,由OSVP v2内核所执行的处理工作的更详细内容可在运行时间内或这从软件中设置。
图1- OmniTek的OSVP v2可扩展视频处理器内核的输入通道架构
OSVP v2内核是套件中的一部分。该套件还包含用来合并多个视频流的合并器;用来产生隔行格式输出的隔行扫描器;专用交叉点;以及用来在4:4:4、4:2:2 和4:2:0 YCbCr之间转换的色度重采样。(单个色度重采样能够从4:4:4转换至4:2:2,从4:2:2转换至4:2:0,从4:2:2转换至4:4:4,或 从4:2:0转换至4:2:2。)
单个OSVP v2内核能处理多个视频通道。但这会受到实现内核所用的FPGA或SoC能提供的资源,以及可用SDRAM带宽的限制。例如,您可对采用Kintex®- 7 XC7K325T FPGA实现的OSVP内核进行配置以支持八个输入,处理采用八种不同HD视频标准或八种色彩空间的视频。同时,您可对输出模块进行配置以提供16个渐进 HD输出。此外,您还可以让输出模块提供单个4K通道,或者四通道组,以便共同提供Square Division(“quad”) 或双像素采样交错格式组成的4K视频。
设计复杂4K系统时的另一个挑战是对处理视频时所需的众多高带宽存储器访问进行管理。有时候,所需的视频操作功能与视频处理模块一起提供。例如,OSVP v2内核包含一个多端口视频DMA模块,
该模块提供一个用来操作视频输入和输出的高效引擎。
然而通过PCI Express®采集和播放单通道或多通道4K60视频,需要一个DMA控制器,用于优化处理PCIe®接口传输的流式数据。OmniTek的多通道流式 DMA控制器有两项功能在这里很有用。首先是基于FIFO的DMA (FDMA),这样就无需将数据从存储器转入和转出。第二个是一系列的设计优化,使得控制器可以高效利用PCIe带宽,例如预取分散/聚集模式描述符,以 及背靠背TLP数据包打包。
OmniTek针对4K UHD视频处理开发了另一个IP核,可以将双采样交错格式组成的4K视频分解成不同数据流。另外,对基本MIG SDRAM控制器进行了替换,从而进一步提高了UHD电视视频应用的性能。
赛灵思 FPGA HDMI SoC Cadence PCB ARM Cortex DSP 收发器 电路 相关文章:
- XA汽车电子控制单元开发套件(04-18)
- 全球首款异构3D FPGA(05-01)
- 利用FPGA和新技术,使LCD进入HDTV市场(08-27)
- 基于DSP和FPGA的电视观瞄系统设计(09-02)
- FPGA与SRAM相结合完成大容量数据存储(09-03)
- HDTV接收机中Viterbi译码器的FPGA实现(09-09)