基于内容的信息存取与MPEG-7

但MPEG-7描述子将不依赖于被描述内容的编码和存储方式。可以把MPEG-7的描述附加到模拟电影上去，或与印在纸上的图片相关。即使 MPEG-7描述不依赖于资料的编码表示，但是在某种程度上，该标准建立在MPEG-4之上。 MPEG-4提供对视听资料以对象方式编码的方法，这些对象具有一定的时间(同步)和空间 (空间位置和三维感受)关系。利用MPEG-4编码，将有可能把描述附加到场景中的元素(对象)上。

MPEG-7可以独立于其他MPEG标准使用，在MPEG-4 中定义的表示方式也非常适合MPEG-7标准的建立。

MPEG-7强调的是提供新的视听内容描述方案。因此，文本不是MPEG-7的描述目标，但视听内容可以包含或引用文本。因此，MPEG-7将考虑现有的其他标准组织开发的文本处理方案，并适当地支持这些标准。

四、 如何描述多媒体数据的内容
　
1．描述原则

在MPEG-7中，考虑了全面的描述原则。

(1) 多重和分层描述

由于描述特征在相应的应用中具有相应的含义，对于不同的用户领域和不同的应用，描述特征将是不同的。

这意味着相同的资料可以使用不同类型的特征进行描述，以适应具体的应用领域。这里涉及到多重描述和分层描述的问题。在描述上，MPEG-7 允许不同的颗粒度，提供不同的鉴别级别。

多重描述就是在多媒体数据生成处理的各阶段，支持对相同资料进行多重描述的能力，并可以把描述附加到相同资料的多份拷贝上。

分层描述基于多媒体资料的抽象级别。分层机制可以允许在不同的抽象级别上描述多媒体内容。抽象级别与特征抽取的方式有关，许多低级特征可以全自动地抽取，而高级特征则需要更多的人工交互。另外，还可以从不同的应用需求角度来描述媒体资料，例如从子对象的角度、运动分析的序列角度、视频的情节结构等角度描述多媒体内容。

描述模式支持不同描述子的分层表示，第N层描述是 N-1层描述的增强、精炼或补充，以便查询能有效地一层一层地处理，支持高效的查询。

(2) 关系描述

用描述模式来表达描述子之间的各种关系，允许描述子在多个描述模式中使用。

MPEG-7支持描述子与不同时间范围相关联，可以是层次型的，即描述子与整个数据和部分时间子集关联；或顺序型的，描述子与时间段顺序关联。

(3) 支持查询方面

支持音频、视觉或其他描述子在交叉模式下的查询，如允许基于视觉描述的查询去检索音频数据或相反的过程。

描述模式支持描述子的优先级，以便更有效地处理查询，同时优先级可以反映信任或可靠级。另外，还可以支持描述子作为句柄，直接引用数据，操纵多媒体资料。

2．多媒体特征类型

MPEG-7支持各种类型的多媒体特征，如:

N维时空特征 对于空间类型，从微观上看，是对象的纹理和形状，从宏观上看，是对象的空间关系和表现空间；时间类型，指对象随时间变化的轨迹，如音乐区段的持续时间等。
客观特征 反映视听数据本身具备的特性。如对象的颜色、形状、纹理、音频频率等。
主观特征 人对视听数据的主观感知。如对情绪(快乐、愤怒)和风格的描述。
产品特征 如记录作者、生产者、导演等信息。
合成信息 包括场景合成、编辑信息、用户的喜好等。
概念 用于描述事件和活动等概念。
在许多情况下，利用文本信息作为描述是可取的。但必须注意到，有用的描述尽可能独立于语言范畴，采用清楚的描述形式，如用作者、影片、地名的文本形式。
除了内容的描述，还需要包含其他类型有关多媒体数据的信息：
形式 如编码模式、数据大小。该信息帮助确定资料是否对用户是"可读"的。
存取资料的条件 可以包含版权、许可证和授权信息以及价格数据。
类别 可以包含父等级，用于归入预定的类。
到其他相关资料的链 支持其他信息与数据的关联。
上下文 资料记录的场合，如"1996年奥运会男子200 米障碍决赛" 中描述的时间和地点。

交互活动 支持交互活动工具，允许说明与描述相关的交互活动。如与广告相关的远程购物中的交互。

MPEG-7数据可以物理上与相关的AV资料在一起或在相同的数据流或在相同的存储系统中，但描述也可以放在全球的任何其他地方。当内容和它的描述不在一个地方时，需要链接AV资料和它们的MPEG-7描述的机制，这些链应该是双向的。

3. 视觉数据的描述

MPEG-7具体对视觉方面的描述子和描述模式有以下方面的要求：

(1) 特征类型

视觉描述允许以下特征(与查询中使用的信息类型有关)：颜色、视觉对象、纹理、轮廓(草图)、形状、静止和动态图像、体积、空间关系(相对于图像和图像序列中的对象空间和拓扑关系，这个关系是空间合成关系)、运动(如视频镜头中的运动，用于利用时间合成信息来检索等方面)、变形(如对象的弯曲)、视觉对象的源和它的特性(如源对象、源事件、源属性、事件、事件属性等)、模型(如MPEG-4 SNHC)。

(2) 利用描述进行数据可视化

MPEG-7数据描述应该容许被索引数据或多或少地粗略可视化。

(3) 可视数据的格式

支持以下可视数据格式：数字视频和电影(例如MPEG- 1/2/4)、模拟视频和电影、电子形式的静态图像(如JPEG)或纸上的图像、图形、3D模型以及与视频关联的编辑数据。

(4) 可视数据类型

可以是自然视频、静态图像、图形、动画、三维模型、编辑信息。