1、第第10讲讲 多媒体数据及时域特征多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院多媒体同步多媒体同步初步认识初步认识 传统意义上的同步概念传统意义上的同步概念 纯数据的传输纯数据的传输 多媒体同步是一项复杂技术多媒体同步是一项复杂技术网络网络物理线路物理线路信源信源信宿信宿多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院 基于卫星网的通信系统基于卫星网的通信系统多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息
2、科学与工程学院 按施加对象区分按施加对象区分 对象内的同步对象内的同步 对象间的同步对象间的同步 多媒体同步分类多媒体同步分类跳动的球的视频序列帧间同步跳动的球的视频序列帧间同步 对象间的同步对象间的同步 多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院 按同步层次划分按同步层次划分:上层同步上层同步也称作表现级同步或交互同步，也也称作表现级同步或交互同步，也即用户级同步。即用户级同步。中层同步中层同步是信息合成同步，也就是不同媒体是信息合成同步，也就是不同媒体类型数据之间的合成。类型数据之间的合成。底层同步底层同步是系统同步，也称为
3、媒体内部同步。是系统同步，也称为媒体内部同步。多媒体同步分类多媒体同步分类多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院 多媒体数据多媒体数据复合信息实体复合信息实体文本、图形、图像、动画、语音和活动图像文本、图形、图像、动画、语音和活动图像 媒体数据的成分媒体数据的成分连续媒体连续媒体(敏感敏感)静态媒体静态媒体(不敏感不敏感)时间敏感性时间敏感性生成方式生成方式获取获取(源自现实世界源自现实世界)合成合成(由计算机完成由计算机完成)声音、视频信号声音、视频信号动画动画静止图片静止图片文本、图形文本、图形多媒体数据多媒体数据多媒体
4、通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院宏块宏块第第4种划分种划分LDU宏块组宏块组第第3种划分种划分LDU一帧图像一帧图像第第2种划分种划分LDU一个场景一个场景第第1种划分种划分LDU H.261码流中码流中LDU的不同划分的不同划分 连续媒体连续媒体LDU之间的相对时间关系之间的相对时间关系LDU1LDU2LDU3LDU4LDU5t tt tt tt t时间时间多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院 重同步举例重同步举例10111213141516 1710
5、111213141516 17时间时间视频视频音频音频正常播放正常播放101112silent141516131010111213 13141612时间时间重同步重同步视频视频音频音频实际播放实际播放多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院 多媒体数据内部约束关系多媒体数据内部约束关系1.基于内容的约束关系基于内容的约束关系同一内容的不同表现形式同一内容的不同表现形式需解决的主要问题需解决的主要问题：解决的一种办法是解决的一种办法是：定义原始数据和不同类型媒体定义原始数据和不同类型媒体间的转换原则，并由系统来完成调间的转换原则
6、，并由系统来完成调整。整。数据更新的一致性数据更新的一致性多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院2.空域约束关系空域约束关系同一时刻不同媒体的布局同一时刻不同媒体的布局系统定义布局架构系统定义布局架构：各媒体对象可以通过固定位置各媒体对象可以通过固定位置或相对位置进行描述。或相对位置进行描述。空域关系的典型例子空域关系的典型例子：办公室文档结构办公室文档结构ODA根根复合布局结构单元复合布局结构单元基本布局结构单元基本布局结构单元1基本布局结构单元基本布局结构单元2基本布局结构单元基本布局结构单元3多媒体通信技术：多媒体数据
7、及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院3.时域约束关系时域约束关系媒体对象在时间上的依赖关系媒体对象在时间上的依赖关系：电视新闻广播的时域关系电视新闻广播的时域关系：(1)连续媒体内部各连续媒体内部各LDU间的相对时间关系间的相对时间关系(2)各媒体对象间的相对时间关系各媒体对象间的相对时间关系引导音乐引导音乐节目片头节目片头播音员念第播音员念第1条新闻条新闻音乐渐消音乐渐消播音员全景播音员全景播音员上方图片播音员上方图片时间时间话音话音音乐音乐视频视频图片图片多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院
8、信息科学与工程学院时域约束关系的确立时域约束关系的确立：“视频教学的例子视频教学的例子”(1)信息获取时建立的同步关系信息获取时建立的同步关系(2)信息获取后指定的同步关系信息获取后指定的同步关系实时同步实时同步(Live)3种约束关系中，种约束关系中，时域约束关系时域约束关系最为重要。最为重要。第第1级：操作系统和较低通信层，避免单个流输出时出现颤抖。级：操作系统和较低通信层，避免单个流输出时出现颤抖。第第2级：多媒体流运行时级：多媒体流运行时(RUN-TIME)的处理的处理(调度器调度器)，限制不同流间失真。，限制不同流间失真。第第3级：对时间有关和时间无关媒体之间的运行时级：对时间有关和
9、时间无关媒体之间的运行时(RUN-TIME)支持和用户支持和用户 互作用的处理，限制它们之间的失真。互作用的处理，限制它们之间的失真。多媒体系统的多级考虑时域同步问题多媒体系统的多级考虑时域同步问题：综合同步综合同步(Synthetic)多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院 多媒体数据的构成多媒体数据的构成多媒体同步研究二大问题多媒体同步研究二大问题：(1)如何来表示多媒体数据的时域特征；如何来表示多媒体数据的时域特征；多媒体数据多媒体数据成份数据成份数据同步规范同步规范同步同步描述描述数据数据同步同步容限容限文本文本数据
10、数据图形图形数据数据音频音频数据数据视频视频数据数据(2)处理过程中又如何来维持时域特征。处理过程中又如何来维持时域特征。多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院多媒体数据时域特征表示多媒体数据时域特征表示 时域场景和时域定义方案时域场景和时域定义方案多媒体数据多媒体数据(时域特征表示时域特征表示)时域场景时域场景(时域事件序列时域事件序列)时域事件时域事件确定性确定性确定性时域场景确定性时域场景非确定性非确定性非确定性时域场景非确定性时域场景处理难度大处理难度大时域定义方案时域定义方案时间模型：基本部件及其使用规则时间模型：
11、基本部件及其使用规则形式化语言：同步描述数据形式化语言：同步描述数据多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院 多媒体对象时域特征的表示过程多媒体对象时域特征的表示过程时间时间TPA062432P:图像图像T:文本文本A:音频音频多媒体对象多媒体对象时域场景时域场景抽象抽象同步描述数据同步描述数据时间模型时间模型形式化语言形式化语言时域特征表示时域特征表示(同步规范同步规范)同步容限同步容限时域场景可以有不同的描述时域场景可以有不同的描述(时间模型不同时间模型不同)：针对事件发生的时刻针对事件发生的时刻 针对事件发生的相对时刻针
12、对事件发生的相对时刻 针对事件发生的时间间隔针对事件发生的时间间隔多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院 时域参考框架时域参考框架时域定义方案时域定义方案 多媒体场景多媒体场景时域场景时域场景时间模型时间模型基本时间单位基本时间单位关联信息关联信息时间表示技术时间表示技术形式语言形式语言 同步机制同步机制理论和机制理论和机制语法部分语法部分语义部分语义部分为多媒体研究提供一个很好的技术为多媒体研究提供一个很好的技术多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院 描
13、述时域特征的时间模型描述时域特征的时间模型(一一)时间模型构成时间模型构成基本时间单位：基本时间单位：时刻、间隔时刻、间隔关联信息：关联信息：定量、定性定量、定性场景中的各时域事件场景中的各时域事件彼此相关，描述事件彼此相关，描述事件间约束关系间约束关系场景中的各时域事件场景中的各时域事件彼此独立，间接反映彼此独立，间接反映事件间关系事件间关系多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院 事件间的时域关系的描述事件间的时域关系的描述1.两个时刻间的时域关系两个时刻间的时域关系before(先于先于)、after(后于后于)、at-
14、same-time(同时同时)2.两个间隔间的时域关系两个间隔间的时域关系7种基本关系种基本关系ABbefore(先于先于)ABmeets(衔接衔接)ABoverlaps(相交相交)ABduring-1(包含包含)ABstarts(同始同始)ABfinishs-1(同终同终)ABequals(并行并行)多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院 事件间的时域关系的描述事件间的时域关系的描述(续续)3.非确定性时域关系非确定性时域关系时域事件不能用前时域事件不能用前2种关系明确描述种关系明确描述4.宽度关系宽度关系反映两个间隔在长
15、度上的关系：反映两个间隔在长度上的关系：longer(长于长于)shorter(短于短于)多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院时间表示技术：时间表示技术：定期方案定期方案约束传播方案约束传播方案宽度方案宽度方案依据：定量关联信息依据：定量关联信息依据：定性关联信息依据：定性关联信息定义场景中的各事件与时间轴之间对应定义场景中的各事件与时间轴之间对应关系的依据关联信息不同关系的依据关联信息不同依据：事件持续事件及次序信息依据：事件持续事件及次序信息(一一)时间模型构成（续）时间模型构成（续）多媒体通信技术：多媒体数据及时域特
16、征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院 描述时域特征的时间模型描述时域特征的时间模型(续续)(二二)时间模型的分类时间模型的分类1.定量定期型定量定期型时刻、定量关联信息、定期方案时刻、定量关联信息、定期方案常见：时间轴模型常见：时间轴模型缺点：非确定事件表示比较难缺点：非确定事件表示比较难Audio 1VideoRIP1P2P3Audio 2AnimationP4Interaction UI?t多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院 描述时域特征的时间模型描述时域特征的时间模型(续续)(
17、二二)时间模型的分类时间模型的分类2.定性定期型定性定期型时刻、定性关联信息时刻、定性关联信息(次序信息次序信息)、伪定期方案、伪定期方案常见：虚轴模型常见：虚轴模型缺点：同步描述数据复杂、维护难度加大缺点：同步描述数据复杂、维护难度加大Audio 1VideoRIP1P2P3Audio 2AnimationP4Interaction UI?t多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院 描述时域特征的时间模型描述时域特征的时间模型(续续)(二二)时间模型的分类时间模型的分类3.定性时刻型定性时刻型时刻、定性关联信息、约束传播方案
18、时刻、定性关联信息、约束传播方案典型：萤火虫典型：萤火虫(Firefly)模型模型缺点：同步描述数据复杂、不宜维护缺点：同步描述数据复杂、不宜维护UIbeforeP4at the same timebefore by 15sAnimationAudio 2多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院4.定性间隔型定性间隔型间隔、定量关联信息、约束传播方案间隔、定量关联信息、约束传播方案典型：典型：OCPN(对象合成对象合成Petri Net)模型模型OCPN模型是一个定时模型是一个定时Petri网，网，用六元组表示用六元组表示CO
19、CPNT,P,A,D,R,MT=t1,t2,tn为转移点集，为转移点集，ti表示同步点，表示同步点，在图中用在图中用“”表示表示P=p1,p2,pm为位置集，为位置集，pi表示进程，表示进程，在图中用圆表示在图中用圆表示A:TPPTI=1,2,是有向弧集是有向弧集,在图中用箭头表示在图中用箭头表示D:PRe位置集向实数集映射位置集向实数集映射,Re表示表示OCPN中的时间约束。中的时间约束。R:Pr1,r2,rk 位置集向资源集位置集向资源集r1,r2,rk的映射的映射M:PI,I=1,2,表示各位置所含的令牌数表示各位置所含的令牌数多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数
20、据及时域特征信息科学与工程学院信息科学与工程学院图片图片播音员全景播音员全景延时延时延时延时话音新闻话音新闻延时延时音乐音乐节目片头节目片头引导音乐引导音乐播音员念第播音员念第1条新闻条新闻引导音乐引导音乐 音乐渐消音乐渐消节目片头节目片头播音员全景播音员全景播音员上方图片播音员上方图片时间时间话话音音音音乐乐视视频频图图片片电视新闻广播的电视新闻广播的OCPN例子例子多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院5.定量间隔型定量间隔型间隔、定量信息和定性信息、宽度方案间隔、定量信息和定性信息、宽度方案具有一定的表示非确定性时域场
21、景的能力具有一定的表示非确定性时域场景的能力时域场景时域场景时刻时刻定性信息定性信息定量信息定量信息约束传播约束传播方案方案间隔间隔定性信息定性信息定量信息定量信息约束传播约束传播方案方案间隔间隔定量信息定量信息定性信息定性信息宽度宽度方案方案时刻时刻定性定性信息信息伪定期伪定期方案方案时刻时刻定量定量信息信息定期定期方案方案基本时间单位基本时间单位关联信息关联信息时间表示技术时间表示技术定量定期定量定期定性定期定性定期定性时刻定性时刻定性间隔定性间隔定量间隔定量间隔多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院 同步容限同步容限表
22、示同步描述数据中约束条件的允许偏差范围表示同步描述数据中约束条件的允许偏差范围造成事件间偏差的原因：造成事件间偏差的原因：进程对进程对CPU的抢占、缓冲区不足、带宽不足等的抢占、缓冲区不足、带宽不足等对象内偏差、对象间偏差对象内偏差、对象间偏差同步容限就是用户对偏差许可范围的定义；同步容限就是用户对偏差许可范围的定义；而同步机制是保证恢复时域事件时偏差不超过容限而同步机制是保证恢复时域事件时偏差不超过容限同步机制的主要任务：同步机制的主要任务：流内同步和流间同步流内同步和流间同步多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院定义偏差
23、许可范围，比较困难，一般采用主观评估。定义偏差许可范围，比较困难，一般采用主观评估。一般地，对象内的偏差许可范一般地，对象内的偏差许可范围小于对象间的许可偏差：围小于对象间的许可偏差：连续图像信号连续图像信号30ms连续单音调声音连续单音调声音1ms多媒体通信技术：多媒体数据及时域特征多媒体通信技术：多媒体数据及时域特征信息科学与工程学院信息科学与工程学院媒体媒体条件条件许可范围许可范围视视频频动画动画相关相关120ms音频音频Lip-syn80ms图像图像重复显示重复显示不重复显示不重复显示240ms500ms文本文本重复显示重复显示不重复显示不重复显示240ms500ms音音频频动画动画事件关联（如跳舞）事件关联（如跳舞）80ms音频音频 紧耦合（立体声）紧耦合（立体声）11ms松耦合（参加者的对话模式）松耦合（参加者的对话模式）120ms松耦合（背景音乐）松耦合（背景音乐）500ms图像图像紧耦合（带音符的音乐）紧耦合（带音符的音乐）5ms松耦合（幻灯放映）松耦合（幻灯放映）500ms文本文本字幕字幕240ms视频和其他媒体间偏差的许可范围视频和其他媒体间偏差的许可范围
