1、第1章 多媒体通信技术概述1. 什么是媒体？根据原CCITT的定义，媒体可划分为那几大类？它们是如何描述的？媒体是指信息传递和存储的最基本的技术和手段，即信息的载体。媒体的英文是Medium，复数是media。根据原CCITT（国际电报电话咨询委员会）的定义，媒体可划分为五大类：(1) 感觉媒体（Perception Medium）感觉媒体是指人类通过其感觉器官，如听觉、视觉、嗅觉、味觉和触觉器官等直接产生感觉（感知信息内容）的一类媒体，这类媒体包括声音、文字、图像、气味和冷、热等。(2) 表示媒体（Representation Medium）表示媒体是指用于数据交换的编码表示，这类媒体包括图
2、像编码、文本编码、声音编码等。其目的是有效地加工、处理、存储和传输感觉媒体。(3) 显示媒体（Presentation Medium）显示媒体是指进行信息输入和输出的媒体。输入媒体包括键盘、鼠标、摄像头、话筒、扫描仪、触摸屏等，输出媒体包括显示屏、打印机和扬声器等。(4) 存储媒体（Storage Medium）存储媒体是指进行信息存储的媒体。这类媒体包括硬盘、光盘、软盘、磁带、ROM、RAM等。(5) 传输媒体（Transmission Medium）传输媒体是指承载信息、将信息进行传输的媒体。这类媒体包括双绞线、同轴电缆、光缆和无线电链路等。2. 如何理解多媒体技术？多媒体技术就是计算机交
3、互式综合处理多媒体信息文本、图形、图像和声音，使多种信息建立逻辑连接，集成为一个系统并具有交互性。简而言之，多媒体技术就是计算机综合处理声、文、图等信息的技术，具有集成性、实时性和交互性的特点。多媒体技术最简单的表现形式就是多媒体计算机。3. 简述多媒体通信的体系结构。图1-1为国际电联ITU-TI.211建议为B-ISDN提出的一种适用于多媒体通信的体系结构模式。 图1-1多媒体通信的体系结构多媒体通信体系结构模式主要包括下列五个方面的内容：传输网络：它是体系结构的最底层，包括LAN(局域网)、WAN(广域网)、MAN(城域网)、ISDN、 B-ISDN(ATM)、FDDI(光纤分布数据接口
4、)等高速数据网络。该层为多媒体通信的实现提供了最基本的物理环境。在选用多媒体通信网络时应视具体应用环境或系统开发目标而定， 可选择该层中的某一种网络，也可组合使用不同的网络。 网络服务平台：该层主要提供各类网络服务，使用户能直接使用这些服务内容，而无需知道底层传输网络是怎样提供这些服务的，即网络服务平台的创建使传输网络对用户来说是透明的。 多媒体通信平台：该层主要以不同媒体（正文、图形、图像、语音等）的信息结构为基础，提供其通信支援（如多媒体文本信息处理），并支持各类多媒体应用。 一般应用：该应用层指人们常见的一些多媒体应用，如多媒体文本检索、宽带单向传输、联合编辑以及各种形式的远程协同工作等
5、。 特殊应用：该应用层所支持的应用是指业务性较强的某些多媒体应用，如电子邮购、远程培训、远程维护、远程医疗等。4. 多媒体通信的特征有哪些?多媒体通信系统必须同时兼有多媒体的集成性、计算机的交互性、通信的同步性3个主要特征。5. 论述多媒体通信涉及的各种关键技术。多媒体数据压缩技术、多媒体通信终端技术、多媒体通信网络技术、多媒体信息存储技术、多媒体数据库及其检索技术、多媒体数据的分布式处理技术。6. 试举出一两种多媒体通信系统的具体应用，并从中分析多媒体通信对人类社会的影响。略第2章 数字音频处理技术1. 请分析音频信号的数字化方法及影响因素。音频信号的数字化过程就是将模拟音频信号转换成有限个
6、数字表示的离散序列，即数字音频序列，在这一处理过程中涉及到模拟音频信号的采样、量化和编码。对同一音频信号采用不同的采样、量化和编码方式就可形成多种形式的数字化音频。2. 简要说明参数编码和混合编码基本原理，并进行比较。参数编码又称声源编码，它是通过构造一个人发声的模型，以发声机制的模型作为基础，用一套模拟声带频谱特性的滤波器系数和若干声源参数来描述这个模型，在发送端从模拟语音信号中提取各个特征参量并对这些参量进行量化编码，以实现语音信息的数字化。混和编码将波形编码和参数编码结合起来，力图保持波形编码话音的高质量与参数编码的低速率，混合编码信号中既包含若干语音特征参量又包含部分波形编码信息。参数
7、编码的特点是语音编码速率较低，基本上在29.6kbit/s之间。可见其压缩的比特率较低。但是也有其缺点：首先是合成语音质量较差，其次是电路实现的复杂度比较高。混合编码方法就是克服了波形编码和参数编码的弱点，并且很好地结合了上述两种方法的优点。3. 常用的音频压缩编码有哪几种？简要说明各自的特点。非均匀PCM（/A律压扩方法）采用非均匀量化编码能够减少表示采样的位数，从而达到数据压缩的目的。增量调制与自适应增量调制，增量调制也称调制(delta modulation, DM)，是一种比较简单且有数据压缩功能的波形编码方法。自适应增量调制是能使DM的量化阶距适应信号变化的要求。自适应差分脉冲编码调
8、制，将自适应量化技术和自适应预测技术结合在一起用于差分脉冲编码调制中，从而实现了自适应差分脉冲编码调制。子带编码，其基本思想是将输入信号分解为若干子频带，然后对各子带分量根据其不同的统计特性采取不同的压缩策略，以降低码率。变换编码是有失真编码的一种重要的编码类型。在变换编码中，原始数据从初始空间或者时间域进行数学变换，使得信号中最重要的部分(例如包含最大能量的最重要的系数)在变换域中易于识别，并目集中出现，可以重点处理；相反使能量较少的部分较分散，可以进行粗处理。矢量量化编码，其基本原理是用码书中与输入矢量最匹配的码字的索引（下标）代替输入矢量进行传输和存储，而解码时只需简单地查表操作。矢量量
9、化的三大关键技术是码书设计、码字搜索和码字（下标）索引分配。感知编码,感知编码基于人耳的听觉特性，通过消除不被感知的冗余信息来实现对音频数据压缩的编码方法。线性预测编码方法为参数编码方式。参数编码的基础是人类语音的生成模型，通过这个模型，提取语音的特征参数，然后对特征参数进行编码传输。4. 说明感知编码的基本原理。感知编码基于人耳的听觉特性，通过消除不被感知的冗余信息来实现对音频数据压缩的编码方法。它基于心理声学模型，利用人的听觉阈值特性和掩蔽效应，通过给不同频率处的信号分量分配以不同量化比特的方法来控制量化噪声，使得噪声能量低于掩蔽阈值，即把压缩带来的失真控制在听阈以下，使人耳觉察不到失真的
10、存在，从而实现更高效率的音频压缩。目前，在高质量音频编码标准中，心理声学模型是一个最为有效的算法模型。在此类编码中，以MPEG音频编码(MPEG layerl, 2, 3和AAC标准)和Dolby Digital的应用最为广泛5. 评估一种语音编码器的性能有哪些方法？编码速率、合成语音质量、编解码延时以及算法复杂度这4个因素是评价一个语音编码算法性能的基本指标，这4个因素之间有着密切的联系，在具体评价某种语音编码算法的优劣时，需要根据具体的实际情况，综合考虑4个因素进行性能评价。6. 分析音频检索技术的应用及特点。音频检索是通过这些自然的听觉特征来检索声音信息。需要研究一种新的技术基于内容的音
11、频检索技术。相对于日益成熟的图像与视频检索，音频检索相对滞后。在20世纪90年代末，基于内容的音频检索才成为多媒体检索技术的研究热点。与传统的信息检索相比，基于内容的音频信息检索有如下特点：l 对音频信息进行深层次地分析、挖掘。不拘泥于信息的外部表层特征，对信息的内容(如对音色、音调、旋律、节奏等)进行分析，以达到更深的检索层次。l 是一种相似性匹配。以相似性作为标准，而不是以绝对的精确匹配作为标准，是一个逐步求精的迭代过程，直到用户获得满意的查询结果为止。l 检索方式直观形象。突破了传统的基于表达式检索的局限，可为用户提供易于理解的可视化检索方式，如：示例查询、更人性化的检索界面。l 是一种
12、交互式检索。通常是按照与用户输入的查询信息相似程度来排列查询结果，往往还需要用户参与，在所给出的查询结果中作出进一步选择，以便获得最终结果。l 数据库的结构复杂、容量大。不仅包括文字等结构化信息，而目还包括数据巨大、种类繁多的非结构化的音频信息等。第3章 数字图像压缩技术1. 论述数据压缩的必要性和可行性。必要性：数字化后的图像和视频信息数据量非常大，与当前硬件技术所能提供的计算机存储资源和网络带宽之间有很大差距。这样，就对图像信息的存储和传输造成了很大困难，成为阻碍人们有效获取和利用信息的一个瓶颈问题。不对图像数据进行有效的压缩，就难以保证通信的顺利进行。可行性：冗余是图像压缩的着眼点。冗余
13、主要包括数据间冗余、信息熵冗余以及视觉冗余。2. 图像信息数字化过程主要包括哪些步骤? 它与音频信息数字化有何区别? 图像信号数字化主要包括两方面的内容：取样和量化。与音频的主要区别在于图像是二维信号，取样和量化要在二维信息上进行。3. 图像压缩方法按所采用的技术可分为为哪几类?简述各种图像压缩方法的基本原理。按采用技术主要的压缩方法包括信息熵编码、预测编码、变换编码、子带编码、统计编码、基于模型的压缩编码、神经网络编码、分形编码和小波编码等。w1 0.30w2 0.25w3 0.20w4 0.10w5 0.10w6 0.0500011101100.150.250.451.04. 设一幅图像有
14、6个灰度级W=W1，W2，W3，W4，W5，W6，对应各灰度级出现的概率P=0.3, 0.25, 0.2, 0.1, 0.1, 0.05，试对此图像进行哈夫曼编码并计算其编码效率。0.55W1 00， W2 01， W3 11， W4 101， W5，1000， W6 1001H=-i=16Pilog2P=2.365iL=-i=16iPi=2.4 编码效率98.5%5. 比较预测编码和变换编码的抗误码性能并说明其原因。变换编码的抗误码能高于预测编码。预测编码是对真实值与预测值之间的差值信号进行编码处理和传输，达到压缩的目的。在预测编码中，接收端是以所接收的前个样本为基准来预测当前样本，因而如果
15、信号传输过程中一旦出现误码，就会影响后续像素的正确预测，从而出现误码扩散现象。变换编码不直接对原图像信号压缩编码，而首先将图像信号映射到另一个域中，产生一组变换系数，然后对这些系数进行量化、编码、传输。在空间上具有强相关性的信号，反映在频域上是能量常常被集中在某些特定的区域内，或是变换系数的分布具有规律性，因此变换编码抗误码性能较强。6. 分析并比较算数编码与哈夫曼编码。算术编码和哈夫曼编码都是熵编码，都可以实现无失真编码。哈夫曼编码的编码效率与信源符号概率分布相关，编码不唯一，抗误码性差，只能用近似的整数位来表示单个符号。在信源概率分布比较均匀情况下，哈夫曼编码的效率较低，而此时算术编码的编
16、码效率要高于哈夫曼编码，同时又无需像变换编码那样，要求对数据进行分块，因此在JPEG扩展系统中以算术编码代替哈夫曼编码。7. 介绍运动补偿的概念，并说明在预测编码中使用此概念的原因。运动补偿：利用运动矢量建立处于前后帧的同一物体的空间位置对应关系，即用运动矢量进行运动补偿预测。在帧间预测编码中，为了达到较高的压缩比，最关键的就是要得到尽可能小的帧间误差。在普通的帧间预测中，实际上仅在背景区进行预测时可以获得较小的帧间差。如果要对运动区域进行预测，首先要估计出运动物体的运动矢量V，然后再根据运动矢量进行补偿，即找出物体在前一帧的区域位置，这样求出的预测误差才比较小。总而言之，就是利用运动补偿减小
17、帧间预测误差，提高编码效率。8. 解释小波变换编码的基本思想。小波变换图像编码的主要工作是选取一个固定的小波基，对图像作小波分解，在小波域内研究合理的量化方案、扫描方式和熵编码方式。关键的问题是怎样结合小波变换域的特性，提出有效的处理方案。 小波变换对图像进行压缩的原理与子带编码方法是十分相似的，是将原图像信号分解成不同的频率区域(在对原图像进行多次分解时，总的数据量与原数据量一样，不增不减)，然后根据HVS(人眼的视觉特性)及原图像的统计特性，对不同的频率区域采取不同的压缩编码手段，从而使图像数据量减少，在保证一定的图像质量的前提下，提高压缩比。9. 试述H.263与H.261的区别。H.2
18、6x是ITU-T(国际电信联盟)及其前身CCITT(国际电报电话咨询委员会)研究和制定的一系列视频编码的国际标准。H.261是ITU-T制定的视频压缩编码标准，也是世界上第一个得到广泛承认的、针对动态图像的视频压缩标准，而且其后出现的MPEG系列标准、H.262以及H.263等数字视频压缩标准的核心都是H.261。H.263在H.261基础上做了很多改进。H.263能够支持更多图像格式，H.263建议的两种运动估值，H.263采用半精度像素的预测值和高效的编码，H.263提高数据压缩效率。10. 查阅相关资料，阐述图像压缩方法的最新进展。略第4章 多媒体信息输入输出及存储技术1. 简述声卡的工
19、作原理。音频信息的输入输出主要是由声卡来完成的。声卡或音频卡（audio card）是负责录音、播音和声音合成的计算机硬件插卡，是计算机进行所有与声音相关处理的硬件设备。声卡的结构如图4-1所示。总线接口芯片为声卡的各个部分与计算机系统总线间提供握手信号，同时总线接口芯片还起到对指令和数据的缓冲器作用，完成声卡与计算机系统总线之间指令和数据的传送。数字音频处理芯片完成各种音频信号的记录和播放任务，处理工作还包括ADPCM音频信号的压缩和解压缩、采样频率改变、MIDI指令解释等。音乐合成器负责MIDI的合成音效，可以即时创造声音，将数字音频的波形数据和MIDI信息合成为声音。一般声音的变化是用一
20、些电压、电流这样的模拟信号的变化来反映的，而计算机只能处理数字信号，声卡中的AD转换器负责将接收的模拟信号转成数字信号供计算机处理或将数字化的音频信号转换为模拟信号送出去，驱动音箱或耳机发音。混音器将从话筒、线性输入、CD输入的不同途径声音信号进行混合，还提供用软件控制音量的功能。图4-1 声卡的结构2. 简述视频卡的工作原理。视频卡的基本工作原理如图4-2所示。图4-2 视频卡的工作原理为了适应多种视频源的应用，视频卡一般都具有多个不同视频接口，分别对应录像机、影碟机和摄像机等视频源，可以通过相应的视频软件来选择所需视频源。图中的选择视频源完成对相应视频源的选择。ADC完成视频解码，主要是模
21、拟图像信号至数字图像信号的转换和解码。视频处理芯片是用于视频信号的捕获、播放和显示的专用控制芯片，可以完成视频输入信号的裁减、比例变化、VGA同步、色键控制、PC总线接口和对帧存储器的操作。视频处理器输出的是经过处理的RGB信号，与VGA显示卡输出的RGB信号是完全同步的，通过某种方法完成两路信号的叠加。视频随机访问存储器（VRAM）是专门为视频显示设计的存储器，可提供两个端口的同步读写能力，比一般的DRAM方式快得多。DAC主要完成数模转换，将叠加的信号转换成模拟信号，最后在显示器中进行显示。3. 简述光盘库的组成。光盘库系统是一种带有自动换盘装置（机械手）的光盘存储共享设备，一般由放置光盘
22、的光盘架、自动换盘机构（机械手）和驱动器三部分组成。光盘库系统包含一个或多个光驱动器，由精确伺服控制的机电机械手自动升降器机构来在盘片堆找上的槽和驱动器之间来回移动光盘。当用户访问光盘库时，自动换盘机构首先将驱动器中的光盘取出并放置在指定的盘架位置上，然后将光盘送入驱动器。在盘播放完毕后机械手机构从驱动器上将盘卸下并放回堆栈上它的槽内。在程序控制下，机械手设备可操作和管理多个驱动器。一套光盘库一般由212个盘仓组成，每个盘仓可容纳50片光盘，最多可以容纳多达600张光盘，总容量可以达到几百GB甚至TGB。4. 多媒体数据库的体系结构有哪几种？主要有联邦型结构，集中统一型结构，客户/服务器结构等
23、3种。5. 简述基于内容检索的处理过程。基于内容的检索就是从媒体数据中提取出特定的信息线索，然后根据这些线索从大量存储在数据库中的媒体中进行查找，检索出具有相似特征的媒体数据。基于内容的查询和检索是一个逐步求精的过程，存在着一个特征调整，重新匹配的循环过程，如图4-13所示： 图4-13 基于内容的检索过程(1) 初始检索说明用户开始检索时，要形成一个检索的格式。最初可以用OBE或特定的查询语言来形成。系统对示例的特征进行提取，或是把用户描述的特征映射为对应的查询参数；(2) 相似性匹配将特征与特征库中的特征按照一定的匹配算法进行匹配。满足一定相似性的一组候选结果按相似度大小排列返回给用户；(
24、3) 特征调整用户对系统返回的一组满足初始特征的检索结果进行浏览，挑选出满意的结果，检索过程完成：或者从候选结果中选择一个最接近的示例，进行特征调整，然后形成一个新的查询；(4) 重新检索逐步缩小查询范围，重新开始。该过程直到用户放弃或得到满意的查询结果时为止。第5章 多媒体通信网络技术1. 多媒体传输网络的性能指标有哪些？主要有吞吐量；传输时延；时延抖动；错误率等。2. 简述多媒体通信的服务质量参数体系结构。在一个分布式多媒体系统中，通常采用层次化的QoS参数体系结构来定义QoS参数，如下图所示：应用层QoS传输层网络层数据链路层图5-1 QoS参数体系结构应用层 QoS参数是面向端用户的，
25、应当采用直观、形象的表达方式来描述不同的QoS，供端用户选择。例如，通过播放不同演示质量的音频或视频片断作为可选择的QoS参数，或者将音频或视频的传输速率分成若干等级，每个等级代表不同的QoS参数，并通过可视化方式提供给用户选择。传输层 传输层协议主要提供端到端的、面向连接的数据传输服务。通常，这种面向连接的服务能够保证数据传输的正确性和顺序性，但以较大的网络带宽和延迟开销为代价。传输层QoS必须由支持QoS的传输层协议提供可选择和定义的QoS参数。传输层QoS参数主要有：吞吐量、端到端延迟、端到端延迟抖动、分组差错率和传输优先级等。网络层 网络层协议主要提供路由选择和数据报转发服务。通常，这
26、种服务是无连接的，通过中间点（路由器）的“存储-转发”机制来实现。在数据报转发过程中，路由器将会产生延迟（如排队等待转发）、延迟抖动（选择不同的路由）、分组丢失及差错等。网络层QoS同样也要由支持QoS的网络层协议提供可选择和定义的QoS参数，如吞吐量、延迟、延迟抖动、分组丢失率和差错率等。数据链路层 数据链路层协议主要实现对物理介质的访问控制功能，也就是解决如何利用介质传输数据问题，与网络类型密切相关，并不是所有网络都支持QoS，即使支持QoS的网络其支持程度也不尽相同。各种Ethernet都不支持QoS。Token Ring、FDDI和100VG-AnyLAN等是通过介质访问优先级定义Qo
27、S参数的。ATM网络能够较充分地支持QoS，它是一种面向连接的网络，在建立虚连接时可以使用一组QoS参数来定义QoS。主要的QoS参数有峰值信元速率、最小信元速率、信元丢失率、信元传输延时、信元延时变化范围等。3. 简述电路交换网络和分组交换网络的特点，分析它们对多媒体通信的适应性。电路交换网络特点：在一次接续中，电路资源预先分配给一对用户固定使用，而且这两个用户终端之间是单独占据了一条物理信道。由于在电路交换网络中要求事先建立网络连接，然后才能进行数据信息的传输，所以电路交换网络是面向连接的网络。普通公用电话网网（PSTN）、窄带综合业务网（N-ISDN）、数字数据网（DDN）等都属于电路交
28、换网络。分组交换网络特点：在分组交换网络中，将数据流分割成小段，每一段数据加上头和尾，构成一个包，或称为分组（在有的网络中称为帧或信元），一次传送一个包。如果网络中有交换节点的话，节点先将整个包存储下来，然后再转发到适当的路径上，直至到达信宿，称为存储转发机制；另外，这种方式提高了网络资源使用效率。以太网、无线局域网、帧中继和IP网等都属于分组交换的网络。当通过现有通信网络传输多媒体信息时，电路交换网络和分组交换网络呈现出不同的适应性和优缺点。电路交换网络在整个通信过程中，网络能够提供固定路由，保障固定的比特率，传输延时短，延时抖动只限于物理抖动。这些优点有利于多媒体的实时传输。其缺点是不支持
29、多播，因为电路交换网络的设计思想是用于点到点通信的。当多媒体应用需要多播功能时，必须在网络中多点控制单元。分组交换网络的最大优点是复用的效率高，这对多媒体信息的传输很有利。但其不利之处是网络性能的不确定性，即不容易得到固定的比特率，传输延时受网络负荷的影响较大，因而延时抖动大。4. 简述通过DDN数据终端设备接入DDN的优点。答：通过DDN数据终端设备接入DDN的优点：在局端无需增加调制解调器而只在客户端放置数据终端设备；DDN网络管理中心能够对其所属的数据终端设备进行远端系统配置、日常维护管理，使设备本身或所连实线的邦联提高了系统可靠性运行程度。DDN提供的数据终端设备接口标准符合ITU-T
30、 V.24，V.35，X.2l建议，接口速率范围在2.4kb/s到128kb/s之间。5. 简述NGN的主要特征并分析其对多媒体通信的支持。广义上的下一代网络是指以软交换为代表，IMS为核心框架，能够为公众灵活提供大规模视频话音数据等多种通信业务，以分组交换为业务统一承载平台，传输层适应数据业务特征及带宽需求，与通信运营商相关，可运营、维护、管理的通信网络。NGN的特征及其对于多媒体通信的支持：(1) NGN是业务独立于承载的网络。NGN允许业务和网络分别提供和独立发展，提供灵活有效的业务创建、业务应用和业务管理功能，支持不同带宽的、实时的或非实时的各种多媒体业务使用，使业务和应用的提供有较大
31、的灵活性，从而满足用户不断增长的对新业务的需求，也使得网络具有可持续发展的能力和竞争力。(2) NGN采用分组交换作为统一的业务承载方式。NGN的网络结构对话音和数据采用基于分组的传输模式，采用统一的协议。NGN把传统的交换机的功能模块分离成为独立的网络部件，它们通过标准的开放接口进行互联，使原有的电信网络逐步走向开放，运营商可以根据业务的需要，自由组合各部分的功能产品来组建新网络。部件间协议接口的标准化可以实现各种异构网的互通。(3) NGN能够与现有网络如PSTN、ISDN和GSM等互通。现有电信网规模庞大，NGN可以通过网关等设备与现有网络互联互通，保护现有投资。同时NGN也支持现有终端
32、和IP智能终端，包括模拟电话、传真机、ISDN终端、移动电话、GPRS终端、SIP终端、H.248终端、MGCP终端、通过PC的以太网电话、线缆调制解调器等。(4) NGN是安全的、支持服务质量的网络。NGN基于分组交换组建，则必须考虑安全以及服务质量问题。当前采用IPv4协议的互联网只提供尽力而为的服务，NGN要提供包括视频在内的多种服务则必须保证一定程度的安全和服务质量。NGN是提供多媒体流媒体业务的多业务网络。NGN必须在服务质量以及安全等保障下提供多媒体流媒体业务。第6章 多媒体通信同步技术1. 多媒体同步的类型有哪些？多媒体的同步类型分为上层同步、中层同步和底层同步。上层同步也称为表
33、现级同步或交互同步、应用层同步，即用户级同步。在这一级，用户可以对各个媒体进行编排，由此决定何种媒体何时以何种时空关系表现出来。这一类同步是从用户应用的角度出发而进行的同步，重点在于表现与交互。这要求同步过程既能体现用户的交互性，又要容易被用户理解和使用。中层同步是信息合成同步，即不同媒体类型的数据之间的合成，所以，合成同步又称为“媒体之间的同步”。这层同步涉及到不同类型的媒体数据，侧重于它们在合成表现时的时间关系的描述。底层同步即系统同步，也称为媒体内部同步。该层同步是要完成合成同步所描述的各媒体对象内数据流间的时序关系，这要根据具体多媒体系统性能参数来进行。2. 简述多媒体数据的组成。多媒
34、体数据的构成如图6-3所示。3. 简述多媒体数据的约束关系。多媒体数据的约束关系有三种：基于内容的约束关系、空域约束关系和时域约束关系。基于内容的约束关系是指在用不同的媒体对象代表同一内容的不同表现形式之间所具有的约束关系。空域约束关系也称为布局关系，用来定义多媒体数据显示过程中某个时刻，不同媒体对象在输出设备（如显示器等）上的空间位置关系。空域约束关系是排版系统、电子出版著作系统首先要解决的问题。时域约束关系是多媒体数据对象的时域特征，反映媒体对象在时间上的相互依赖关系，主要表现在两个方面：（1）媒体内同步. 连续媒体对象的各个LDU之间的相对时间关系；（2）媒体间同步. 各个媒体对象之间（
35、包括连续媒体之间以及连续媒体和非连续媒体之间）的相对时间关系。4. 多媒体同步的四层模型中，各层的作用是什么？多媒体同步的四层参考模型如图6-11。图6-11媒体同步的四层参考模型媒体层处于同步机制的最下层，是同步机制与底层服务系统之间的接口。媒体层的处理对象是来自于连续码流（如音频、视频数据流）的LDU。在媒体层内主要完成两项任务：其一是申请必要的资源和系统服务，为该层各项功能的实施提供支持；其二是访问各类设备的接口函数，获取或提交一个完整的LDU。流层的处理对象是连续码流或码流组，其内部主要完成流内同步和流间同步两项任务，即将LDU按流内同步和流间同步的要求组合成连续码流或码流组。由于流内
36、同步和流间同步是多媒体同步的关键，所以在同步机制的三个层次中，流层是最为重要的一层。对象层能够对不同类型的媒体对象进行统一地处理，使上层不必考虑连续媒体对象和非连续媒体对象之间的差异。对象层的主要任务是实现连续媒体对象和非连续媒体对象之间的同步并完成对非连续媒体对象的处理。与流层相比，该层同步控制的精度较低。描述层的处理对象是由多媒体应用生成的时域场景。它主要解决的是多媒体表现中各个场景的安排与对象同步的描述问题，这一层关心的是多媒体对象是否能够被描述或描述是否正确，而不关心具体如何实现同步。5. 说明基于反馈的流间同步方法的基本思想。基于反馈的同步机制是网络环境下常用的同步方法。在接收端要进
37、行失调检测是这种方法的关键。根据失调检测信息，可以在发送端进行同步控制，也可以在接收端进行同步控制。发送端根据接收端反馈回来的失调检测信息采取相应的措施进行同步控制。一般是在信源和信道之间增加适当容量的缓冲区，当网络负载严重时，可以把发送的数据流先存入缓冲区，等网络空闲了再发送。也就是说，发送端根据网络当前的拥塞情况来动态调节数据流的发送速率，因此可能会降低部分媒体的质量，例如，只传送图像基本层或者降低图像分辨率，以满足用户对媒体数据流的同步需求。但这种控制手段因为需要反馈，延迟了发送端的反应，具有一定的滞后性。所以尽可能早的让发送端发现问题，及时作出调整，是较新的一种同步设想。在接收端也可进
38、行同步控制。这种同步控制实际上是一种对传输过程中出现的各种不同步问题的补偿性措施，可以称其为再同步。一般来说，网络发生的最大延时和最大延时抖动是进行同步控制的根据，在接收端设置一个容量适当的缓冲器用于缓存接收到的媒体数据，然后根据播放情况和网络当前运行情况由同步调度器来控制播放速度。这样做，往往会增大端到端的通信延时，从而使实时性较差。因此，这种方法不太适合于多媒体会议系统这类实时性应用。如果根据网络的当前状况，动态地调整缓冲器的大小，即用动态可调缓冲器替代缓冲器，则可以达到减小端到端延时的目的，但这样会使控制机制复杂化。第7章 多媒体通信终端1. 简述多媒体通信终端的组成及其各部分功能。多媒
39、体通信终端是多媒体硬件系统中的客户端硬件系统、多媒体操作系统和用户应用软件相互融合形成的系统，是指接收、处理和集成各种媒体信息，并通过同步机制将多媒体数据同步的呈现给用户，同时具有交互式功能的通信终端。多媒体终端是由搜索、编解码、同步、准备和执行等五个部分以及接口协议、同步协议、应用协议等三种协议组成的， 搜索部分是指人机交互过程中的输入交互部分，包括各种输入方法、 菜单选取等输入方式。 编解码部分是指对多种信息表示媒体进行编解码，编码部分主要将各种媒体信息按一定标准进行编码并形成帧格式，解码部分主要对多媒体信息进行解码并按要求的表现形式呈现给人们。 同步处理部分是指多种表示媒体间的同步问题，
40、多媒体终端的一个最大的特点是多种表示媒体通过不同的途径进入终端，由同步处理部分完成同步处理，送到用户面前的就是一个完整的声、文、图、像一体化的信息，这就是同步部分的重要功能。准备部分的功能体现了多媒体终端所具有的再编辑功能。例如，一个影视编导可以把从多个多媒体数据库和服务器中调来的多媒体素材加工处理，创作出各种节目。执行部分完成终端设备对网络和其他传输媒体的接口。接口协议是多媒体终端对网络和传输介质的接口协议。同步协议传递系统的同步信息，以确保多媒体终端能同步地表现各种媒体。应用协议管理各种内容不同的应用。2. 简要分析多媒体通信终端所涉及的几个关键技术。多媒体通信终端涉及的关键技术包括：（1
41、）开放系统模式为了实现信息的互通，多媒体终端应按照分层结构支持开放系统，模式设计的通信协议要符合国际标准。（2）人机和通信的接口技术多媒体终端包括两个方面的接口：与用户的接口和与通信网的接口。多媒体终端与最终用户的接口技术包括输入法和语音识别技术、触摸屏及最终用户与多媒体终端的各种应用的交互界面。多媒体终端与通信网的接口包括电话网、分组交换数据网、N-ISDN和B-ISDN、LAN、无线网络等通信接口技术。 （3）多媒体终端的软、硬件集成技术多媒体终端的基本硬件、软件支撑环境，包括选择兼容性好的计算机硬件平台、网络软件、操作系统接口、多媒体信息库管理系统接口、应用程序接口标准及设计和开发等。
42、（4）多媒体信源编码和数字信号处理技术终端设备必须完成语音、静止图像、视频图像的采集和快速压缩编解码算法的工程实现，以及多媒体终端与各种表示媒体的接口，并解决分布式多媒体信息的时空组合问题。 （5）多媒体终端应用系统要使多媒体终端能真正地进入使用阶段，需要研究开发相应的多媒体信息库、各种应用软件（如远距离多用户交互辅助决策系统、远程医疗会诊系统、远程学习系统等）和管理软件。3. 画图说明基于IP网络的H.323协议的多媒体通信终端的构成及各自的功能。用户终端能和其它的H.323实体进行实时的、双向的语音和视频通信，H.323多媒体通信终端的构成如图7-4所示，它能够实现以下的功能：信令和控制：
43、支持H.245协议，能够实现通道建立和能力协商；支持Q.931协议，能够实现呼叫信令通道；支持RAS协议，能够实现与网守的通信；实时通信：支持RTP/RTCP协议；编解码：支持各种主流音频和视频的编解码功能。图7-4 H.323终端的构成系统控制：系统控制功能是H.323终端的核心，它提供了H.323终端正确操作的信令。这些功能包括呼叫控制（建立与拆除）、能力切换、命令和指示信令以及用于开放和描述逻辑信道内容的报文等。整个系统的控制由H.245控制通道、H.225.0呼叫信令信道以及RAS信道提供。4. 说明SIP协议工作原理。SIP是IETF制定的多媒体通信协议，是基于IP的一个文本型应用层
44、控制协议，独立于底层协议，用于建立、修改和终止IP网上的双方或多方的多媒体会话。会话可以是终端设备之间任何类型的通信，如视频会晤、即时信息处理或协作会话。该协议不会定义或限制可使用的业务，传输、服务质量、计费、安全性等问题都由基本核心网络和其它协议处理。SIP协议用来形成、修改和结束两个或多个用户之间的会话。这些会话包括互联网多媒体会议，互联网（或IP网络）电话呼叫和多媒体信息传输。具体讲，SIP提供以下功能：（1）名字翻译和用户定位：确保呼叫达到位于网络的被叫方，执行描述信息到定位信息的映射。（2）特征协商：允许与呼叫有关的组在支持的特征上达成一致。（3）呼叫参与者管理：在通话中引入或取消其
45、他用户的连接，转移或保持其他用户的呼叫。（4）呼叫特征改变：用户能在呼叫过程中改变特征。SIP支持三种呼叫方式：由UAC向UAS直接呼叫；由UAC进行重定向呼叫；由代理服务器代表UAC向被叫发起呼叫。SIP通信采用客户机和服务器的方式进行。客户机和服务器是有信令关系的两个逻辑实体（应用程序）。前者向后者构建、发送SIP请求，后者处理请求，提供服务并回送应答。5. 基于不同网络的多媒体通信终端如何互通？ITU-T的所有 H系列标准支持双向实时音频和视频会话（在H.320、H.321和H.322中音频和视频分别限制在各自的流中），同时为T.120数据/图像会议和其他目的提供可选择的数据信道。这些标
46、准的扩展支持多点会议（三个或更多的站点加入一个会议组）、加密、远端摄像机的远程控制和广播应用。每个标准都指定了一个基本模式以保证互操作性，但是同时也允许使用标准或非标准模式，这是通过控制协议来自动协商的。 如图7-13所示，所有的H系列终端能通过合适的网关进行互操作，并且能加入多点会议。图7-13 H系列终端之间的互操作6. 简要说明基于计算机的多媒体通信终端的软件平台的分类。多媒体软件综合了利用计算机处理各种媒体的新技术(如数据压缩、数据采样等等)，能灵活地运用多媒体数据，使各种媒体硬件协调地工作，使多媒体系统形象逼真地传播和处理信息。多媒体软件的主要功能是让用户有效地组织和运转多媒体数据。
47、多媒体软件大致可分成四类：（1）支持多媒体的操作系统。为多媒体而设计的操作系统，要求易于扩充、数据存取与格式无关、面向对象的结构、同步数据流、用户接口直观。这是在操作系统的层次上支持和增设的多媒体功能。 （2）多媒体数据准备软件。多媒体数据准备软件主要包括以下几个部分： 数字化声音的录制软件；录制、编辑MIDI文件的软件；从视频源中获得图像的软件；录制、编辑全动视频片段的软件等等。（3）多媒体编辑软件.多媒体编辑软件又称为多媒体创作工具，它的主要作用是支持应用开发者从事创作多媒体应用软件。（4）多媒体应用软件。多媒体通信的应用软件是将多媒体信息最终与人联系起来的桥梁，多媒体应用范围极广，包括教育、出版、娱乐、咨询及演示等许多方面。第8章 流媒体技术1. 当前市场上主流的流媒体技术有哪几种？目前市场上主流的流媒体技术有三种：RealNetworks公司的RealMedia、Microsoft公司的Windows Media和Apple公司的QuickTime。这三家都有各自的流媒体格式、编解码算法和传输控制协议等。2. 简述流媒体系统的基本构成一般而言，流媒体系统大致包括：媒体内容制作、媒体内容管理、用户管理、视频服务器和客户端播放系统。媒体内容制作包括媒体采集与编码。媒体内容管理主要完成媒体存储、查询及节目管理、创建和发布。用户管理涉及用户的登记、授权、计费和认
