1、第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础教学目标教学目标了解多媒体的概念，掌握多媒体数据压缩技术了解多媒体的概念，掌握多媒体数据压缩技术掌握多媒体信息的展现与交互掌握多媒体信息的展现与交互掌握多媒体通信的关键技术，了解多媒体通信的应掌握多媒体通信的关键技术，了解多媒体通信的应用用了解虚拟现实的定义、重要特征和硬软件基础，掌了解虚拟现实的定义、重要特征和硬软件基础，掌握虚拟现实技术的体系结构握虚拟现实技术的体系结构第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础n知识要点知识
2、要点多媒体的概念和多媒体的基本特征多媒体的概念和多媒体的基本特征多媒体数据压缩技术，包括多媒体数据压缩多媒体数据压缩技术，包括多媒体数据压缩的必要性、可行性和方法的必要性、可行性和方法多媒体信息的展现与交互多媒体信息的展现与交互虚拟现实技术的定义、特征，虚拟现实技术虚拟现实技术的定义、特征，虚拟现实技术的体系结构和主要应用领域的体系结构和主要应用领域第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础n举案引思举案引思 1 1、物理课、物理课 有位高中物理老师在讲授天体运动规律，当讲解到星系绕太有位高中物理老师在讲授天体运动规律，当讲解到星系绕太阳运动的轨迹时，老师无论怎么解
3、释，学生们都好像在云里阳运动的轨迹时，老师无论怎么解释，学生们都好像在云里雾里，感觉似乎很抽象。有没有能够让学生直观感受的方法雾里，感觉似乎很抽象。有没有能够让学生直观感受的方法呢？呢？ 2 2、电影片花、电影片花 大家都看过电影的宣传片，那么有没有人知道电影片花是如大家都看过电影的宣传片，那么有没有人知道电影片花是如何制作成的呢？为什么电影片花能够吸引人的眼球呢？何制作成的呢？为什么电影片花能够吸引人的眼球呢？ 3 3、故宫、故宫 你去过故宫吗？你想去吗？能不能在家里就可以感受旅游故你去过故宫吗？你想去吗？能不能在家里就可以感受旅游故宫的感觉呢？宫的感觉呢？第第七七章章 多多媒媒体体技技术术
4、基基础础大学计算机基础大学计算机基础7.1 多媒体的概念多媒体的概念1、多媒体概述、多媒体概述一、一、感觉媒体感觉媒体 能直接作用于人的感觉器官、使人产生直接感觉的媒体。能直接作用于人的感觉器官、使人产生直接感觉的媒体。如图像、文字、动画、音乐等均属于感觉媒体。如图像、文字、动画、音乐等均属于感觉媒体。二、二、显示媒体显示媒体 在通信中使电信号和感觉媒体之间产生转换用的媒体。如键在通信中使电信号和感觉媒体之间产生转换用的媒体。如键盘、鼠标、显示器、打印机等均属于显示的媒体。盘、鼠标、显示器、打印机等均属于显示的媒体。三、三、表示媒体表示媒体 为了传送感觉媒体而研究出来的媒体。如电报码、语言编码
5、为了传送感觉媒体而研究出来的媒体。如电报码、语言编码等均属于表示媒体。等均属于表示媒体。四、四、存储媒体存储媒体 用于存储信号的媒体。如磁盘、光盘、磁带等均属于存储媒用于存储信号的媒体。如磁盘、光盘、磁带等均属于存储媒体。体。五、五、传输媒体传输媒体 用于传输信号的媒体。如光缆电缆等均属于传输媒体。用于传输信号的媒体。如光缆电缆等均属于传输媒体。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础：它们直接作用于人的感官，使人能直接产生感觉。：是信息在计算机中的表示，通常是信息的各种编码。：用于表达信息，是信息的输入和输出设备。：用于存储信息，是存放表示媒体的实体。：用于信息
6、的传输，是传输介质。它是媒体从一处传到另一处的物理载体。 多媒体技术中媒体主要是指信息的表示形式，即信息在计算机内部的表示。1. 媒体几种形式 例如，语言、声音、文字、图形、例如，语言、声音、文字、图形、图像和动画等。图像和动画等。例如例如,ASCII编码、汉字编码、语音编码编码、汉字编码、语音编码和图像编码等。和图像编码等。 例如，键盘、鼠标、摄像机、话筒、光例如，键盘、鼠标、摄像机、话筒、光笔、显示器、扫描仪和打印机等。笔、显示器、扫描仪和打印机等。例如，软盘、硬盘、磁带、光盘和半导体例如，软盘、硬盘、磁带、光盘和半导体存储器等。存储器等。例如，双绞线、同轴电缆和光纤等。例如，双绞线、同轴
7、电缆和光纤等。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础 多媒体是文本、图形、图像、音频、视频多媒体是文本、图形、图像、音频、视频和动画等和动画等“多重媒体多重媒体”的集合。多媒体信息的集合。多媒体信息从时效上可分为两大类：从时效上可分为两大类： 2. 多媒体 静态媒体：静态媒体：包括文本、图形和图像。包括文本、图形和图像。 动态媒体：动态媒体：包括音频、视频和动画。包括音频、视频和动画。 文本、图形、图像、音频、视频文本、图形、图像、音频、视频和和动画动画第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础3. 多媒体信息的类型 ：是计算机中基本
8、的信息表示方式，包含数字、字母、符号和汉字。以文本文件形式存储。可用文字处理软件（如记事本和Word等）对文本进行编辑，也可对文本进行识别、翻译和发声等操作。：一般是指由计算机通过绘图软件绘制的画面，由点、线、面、体等组合而成，以矢量图形文件形式存储。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础：实际场景的静止画面，经数字化后以位图格式存储。如照片和画片等。：自然界的声音经数字化后以音频文件格式存储。：是由摄像机等输入设备获取的活动画面，数字化后以视频文件格式存储。：是利用了人眼的视觉特性所得到的，当一系列形或像的画面按一定时间在人的视线中经过时，人脑就会产生物体运动
9、的印象。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础多媒体技术特点多媒体技术特点 多媒体技术是指利用多媒体技术是指利用计算机技术计算机技术将将多种媒多种媒体信息体信息综合一体化，使它们建立起逻辑联系，综合一体化，使它们建立起逻辑联系，并能进行加工处理的技术。并能进行加工处理的技术。“加工处理加工处理”主要主要是对这些媒体进行是对这些媒体进行录入、压缩、存储、传输、录入、压缩、存储、传输、解压和显示解压和显示等。多媒体技术是一种基于计算机等。多媒体技术是一种基于计算机的、跨学科的的、跨学科的综合技术综合技术，具有许多特点。具有许多特点。 多样性多样性集成性集成性交互性交
10、互性实时性实时性数字化数字化多媒体技术涉及到多样化信息，多样性是多媒体技术涉及到多样化信息，多样性是多媒体技术的主要特征多媒体技术的主要特征 集成性是指以计算机为中心，综合集成性是指以计算机为中心，综合处理多种信息媒体的特性处理多种信息媒体的特性 交互性是指用户与计算机之间进行数据交换、交互性是指用户与计算机之间进行数据交换、媒体交换和控制权交换的一种特性。媒体交换和控制权交换的一种特性。 意味着多媒体系统在处理信息时有着严格的意味着多媒体系统在处理信息时有着严格的时序要求和很高的速度要求。时序要求和很高的速度要求。数字化是指各种媒体信息都以数字形式（数字化是指各种媒体信息都以数字形式（0和和
11、1的方式）进行存储和处理的方式）进行存储和处理 第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础多媒体信息处理关键技术 多媒体信息处理与应用需要一系列相关技术的支持，以下几个方面是，也是多媒体研究的热点。 计算机系统技术计算机系统技术 多媒体数据压缩技术多媒体数据压缩技术 多媒体数据存储技术多媒体数据存储技术 多媒体数据库技术多媒体数据库技术 多媒体网络与通信技术多媒体网络与通信技术多媒体系统的物质基础多媒体系统的物质基础 多媒体技术中最关键的一环多媒体技术中最关键的一环 模拟信号模拟信号数字信号数字信号编码压编码压缩缩CD-ROM光盘容量光盘容量650MB左右左右DVD
12、光盘，单面单密度容量为光盘，单面单密度容量为4.7GB，双面双密度容量可达，双面双密度容量可达17GB 多媒体数据库存储大量图形、图多媒体数据库存储大量图形、图像、音频和视频等非结构化数像、音频和视频等非结构化数据据 通过宽带高速网络系统将多个通过宽带高速网络系统将多个独立的多媒体计算机连接成独立的多媒体计算机连接成局域网，或者是跨地区的广局域网，或者是跨地区的广域网，实现多媒体通信和多域网，实现多媒体通信和多媒体信息资源共享媒体信息资源共享 第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础2、多媒体的基本特征、多媒体的基本特征一、一、集成性集成性 多媒体技术综合利用了多
13、种设备对各种信息进行表现和集成。多媒体技术综合利用了多种设备对各种信息进行表现和集成。二、二、多维性多维性 多媒体综合利用了视频处理技术、音频处理技术、图形处理多媒体综合利用了视频处理技术、音频处理技术、图形处理技术、图像处理技术、网络通信技术，扩大了人类处理信息的技术、图像处理技术、网络通信技术，扩大了人类处理信息的自由度，多媒体作品带给人的感官刺激是多维的。自由度，多媒体作品带给人的感官刺激是多维的。三、三、交互性交互性 多媒体是以计算机为中心的，它具有很强的交互性。借助于多媒体是以计算机为中心的，它具有很强的交互性。借助于键盘、鼠标、声音、触摸屏等，通过计算机程序人们就可以控键盘、鼠标、
14、声音、触摸屏等，通过计算机程序人们就可以控制各种媒体的播放。制各种媒体的播放。四、四、数字化数字化 多媒体系统对各种媒体信息的处理、存储过程是全数字化的。多媒体系统对各种媒体信息的处理、存储过程是全数字化的。数字技术的优越性使多媒体系统可以高质量地实现图像与声音数字技术的优越性使多媒体系统可以高质量地实现图像与声音的再现、编辑和特技处理。的再现、编辑和特技处理。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础7.2 多媒体多媒体数据压缩数据压缩技术技术1、多媒体、多媒体数据压缩数据压缩的必要性的必要性 数字化信息的数据量十分庞大，无疑给存储器的存储量、数字化信息的数据量十
15、分庞大，无疑给存储器的存储量、通信干线的信道传输率以及计算机的速度都增加了极大的压力。通信干线的信道传输率以及计算机的速度都增加了极大的压力。如果单纯靠扩大存储器容量、增加通信干线传输率的办法来解如果单纯靠扩大存储器容量、增加通信干线传输率的办法来解决问题是不现实的。决问题是不现实的。 通过通过数据压缩数据压缩技术可以大大降低数据量，以压缩的形式存技术可以大大降低数据量，以压缩的形式存储和传输，既节约了存储空间，又提高了通信干线的传输效率，储和传输，既节约了存储空间，又提高了通信干线的传输效率，同时也使计算机得以实时处理音频、视频信息，保证播放出高同时也使计算机得以实时处理音频、视频信息，保证
16、播放出高质量的视频和音频节目。质量的视频和音频节目。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础2、多媒体、多媒体数据压缩数据压缩的可行性的可行性一、一、空间冗余空间冗余 在静态图像中有一块表面颜色均匀的区域，在这个区域中所在静态图像中有一块表面颜色均匀的区域，在这个区域中所有点的光强和色彩以及色饱和度都相同，具有很大的空间冗余。有点的光强和色彩以及色饱和度都相同，具有很大的空间冗余。二、二、时间冗余时间冗余 电视图像、动画等序列图片，当其中物体有位移时，后一帧电视图像、动画等序列图片，当其中物体有位移时，后一帧的数据与前一帧的数据有许多共同的地方，这种冗余称为时间的
17、数据与前一帧的数据有许多共同的地方，这种冗余称为时间冗余。冗余。三、三、结构冗余结构冗余 在有些图像的纹理区，图像的像素值存在着明显的分布模式。在有些图像的纹理区，图像的像素值存在着明显的分布模式。例如，方格状的地板图案等，称此为结构冗余。例如，方格状的地板图案等，称此为结构冗余。四、四、知识冗余知识冗余 对于图像中重复出现的部分，我们可以构造出基本模型，并对于图像中重复出现的部分，我们可以构造出基本模型，并创建对应各种特征的图像库，进而使图像的存储只需要保存一创建对应各种特征的图像库，进而使图像的存储只需要保存一些特征参数，从而可以大大减少数据量。些特征参数，从而可以大大减少数据量。第第七七
18、章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础2、多媒体、多媒体数据压缩数据压缩的可行性的可行性五、五、视觉冗余视觉冗余 人的视觉系统对图像的敏感性是非均匀性和非线性的。在记人的视觉系统对图像的敏感性是非均匀性和非线性的。在记录原始的图像数据时，对人眼看不见或不能分辨的部分进行记录原始的图像数据时，对人眼看不见或不能分辨的部分进行记录显然是不必要的。因此，大可利用人的视觉的非均匀性和非录显然是不必要的。因此，大可利用人的视觉的非均匀性和非线性，降低视觉冗余。线性，降低视觉冗余。六、六、图像区域的相同性冗余图像区域的相同性冗余 是指在图像中的两个或多个区域所对应的所有像素值相同或
19、是指在图像中的两个或多个区域所对应的所有像素值相同或相近，从而产生的数据重复性存储，这就是图像区域的相似性相近，从而产生的数据重复性存储，这就是图像区域的相似性冗余。冗余。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础3、多媒体、多媒体数据压缩数据压缩方法方法一、一、无损压缩无损压缩：也称为可逆压缩、无失真编码、熵编码等。：也称为可逆压缩、无失真编码、熵编码等。 工作原理为去除或减少冗余值，但这些被去除或减少的冗余工作原理为去除或减少冗余值，但这些被去除或减少的冗余值可以在解压缩时重新插入到数据中以恢复原始数据。它大多值可以在解压缩时重新插入到数据中以恢复原始数据。它大
20、多使用在对文本和数据的压缩上，压缩比较低，大致在使用在对文本和数据的压缩上，压缩比较低，大致在2:15:1之间。典型算法有：之间。典型算法有：哈夫曼编码、香农哈夫曼编码、香农-费诺编码、算术编码、费诺编码、算术编码、游程编码和游程编码和Lenpel-Ziv编码编码等。等。二、二、有损压缩有损压缩：也称不可逆压缩和熵压缩等。：也称不可逆压缩和熵压缩等。 这种方法在压缩时减少了数据信息是不能恢复的。在语音、这种方法在压缩时减少了数据信息是不能恢复的。在语音、图像和动态视频的压缩中，经常采用这类方法。它对自然景物图像和动态视频的压缩中，经常采用这类方法。它对自然景物的彩色图像压缩，压缩比可达到几十倍
21、甚至上百倍。的彩色图像压缩，压缩比可达到几十倍甚至上百倍。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础3、多媒体、多媒体数据压缩数据压缩方法方法PCM自自适应式、固定式适应式、固定式多多媒媒体体数数据据编编码码算算法法预测编码预测编码自自适应式、固定式（适应式、固定式（DPCM、M）混合混合编码编码变换变换编码编码傅傅里叶、离散余弦、离散正统、哈里叶、离散余弦、离散正统、哈尔、斜变换、沃尔尔、斜变换、沃尔-哈达马、卡胡南哈达马、卡胡南-劳夫（劳夫（K-L）、小波）、小波统计统计编码编码(熵编码熵编码)哈夫曼哈夫曼编码、算术编码、费诺编码、香农编码、编码、算术编码、费诺
22、编码、香农编码、游程编码（游程编码（RLE）、）、LZW静态静态图像编码图像编码方块方块、逐渐浮现、逐层内插、比特平面、抖动、逐渐浮现、逐层内插、比特平面、抖动电视电视编码编码帧帧内预测内预测帧帧间编码间编码运动估计、运动补偿、条件补充、内运动估计、运动补偿、条件补充、内插、帧间预测插、帧间预测其他其他编码编码矢量矢量量化、子带编码、轮廓编码、二值图像量化、子带编码、轮廓编码、二值图像第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础 多媒体信息经过数字化处理后其数据量是非常大的，如果不进行数据压缩处理，计算机系统就无法对它进行存储、传输和处理。 解决这一难题的.n数据压缩
23、的可行性 一般情况下，多媒体原始数据被压缩后存放在磁盘上，或以压缩形式来传输；当使用时应将其还原，称为解压缩。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础压缩潜力1 数据中存在大量冗余（相关性）。如。：在同一幅图像中,规则物体和规则背景的表面物理特性具有相关性。：图像序列中的两幅相邻的图像之间有较大的相关性。初始文件压缩文件解压缩文件压缩解压缩数据压缩和解压缩的过程 第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础：在有些图像的纹理区，图像的像点值存在着明显的分布模式。：有许多图像的理解与某些基础知识有相当大的相关性。 例如，人脸的图像有固定的结
24、构。比如说嘴的上方有鼻子,鼻子的上方有眼睛,鼻子位于脸的中线上等等。 第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础压缩潜力2 对于图像、音频和视频等，人的感知可某些细节。如。：人类视觉系统并不是对图像的任何变化都很敏感。事实上人类视觉系统一般分辨能力约为26灰度等级，而一般图像量化采用28灰度等级，这类冗余称为。 例如，人的视觉对于边缘的急剧变化不敏感，且人眼对图像的亮度信息敏感，对颜色的分辨率弱等。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础：人类听觉系统对不同频率声音的敏感程度不同，而且受环境的影响，声音之间还存在掩蔽效应。比如，太高或太
25、低的声音都听不到。在嘈杂的环境下，听不到较低的声音，别人的声音可以盖过你的声音，这类冗余称为。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础 数据压缩方法 数据压缩是通过编码技术减少数据冗余来降低数据存储时所需空间，当数据使用时，再进行解压缩。根据对压缩数据经解压缩后是否能准确地恢复压缩前的数据来分类，分成两类。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础n 衡量数据压缩技术的好坏有四个主要指标： ：压缩前后所需的存储空间比要大。 ：压缩/解压缩速度快，以满足实时性要求。 ：失真小，即解压恢复的效果要好。 ：实现压缩的软硬件开销要小。 当四者不
26、能兼得时，要综合考虑。 第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础 无损压缩的压缩过程是可逆的，也就是说，从压缩后的数据能够完全恢复出原来的数据，信息没有任何丢失。原始数据还原成原始数据压缩后数据压缩解压缩 无损压缩的无损压缩的原理是统计被压缩数据中重复数据原理是统计被压缩数据中重复数据的出现次数来进行编码。的出现次数来进行编码。一般用于文本、数据、程一般用于文本、数据、程序以及重要图片和图像数据（指纹图像、医学图像序以及重要图片和图像数据（指纹图像、医学图像等等) )的压缩。的压缩。 第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础 无损压缩
27、比一般为21到51，因此不适合实时处理图像、视频和音频数据。 典型的无损压缩编码有等。是一种统计编码,它是根据信源符号出现概率的分布特性而进行压缩编码。 在信源符号和码字之间建立明确的一一对应关系，以便在恢复时能准确地再现原信号，同时要使平均码长或码率尽量小。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础 一般数据都是用，例如，ASCII码采用8位二进制数来表示一个英文字母。，将那些出现频率高的数据用较短的编码来表示，而出现频率低的那些数据用较长的编码来表示，从而实现数据的压缩。JPEG 图形格式得压缩就是通过第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学
28、计算机基础4、量化量化一、比特率一、比特率 比特率是采样率和量化过程中使用的比特数的产物。用例子比特率是采样率和量化过程中使用的比特数的产物。用例子说明更容易理解，电话通信中，语音信号的带宽约说明更容易理解，电话通信中，语音信号的带宽约3kHz，根据，根据奈奎斯特定理，意味着采样频率应不低于奈奎斯特定理，意味着采样频率应不低于6kHz。 为了留下一定余量可选择标准采样频率为为了留下一定余量可选择标准采样频率为8kHz，使用一个，使用一个8位 的 量 化 器 ， 那 么 该 电 话 通 信 所 要 求 的 比 特 率 为 ：位 的 量 化 器 ， 那 么 该 电 话 通 信 所 要 求 的 比
29、特 率 为 ：8K8=64Kb/s。二、量化原理二、量化原理 量化处理是使数据比特率下降的一个强有力的措施。脉冲编量化处理是使数据比特率下降的一个强有力的措施。脉冲编码调制码调制(PCM)的量化处理在采样之后进行，从原理分析的角度的量化处理在采样之后进行，从原理分析的角度看，图像灰度值是连续的数值，而我们实际看到的是用看，图像灰度值是连续的数值，而我们实际看到的是用0255的整数表示的图像灰度，这是经过的整数表示的图像灰度，这是经过A/D转换后的以转换后的以256级灰度级灰度分层量化处理了的离散数值，这样就可以用分层量化处理了的离散数值，这样就可以用2256=8位表示位表示一个图像像素的灰度值
30、。或色差信号值，假设是彩色图像。一个图像像素的灰度值。或色差信号值，假设是彩色图像。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础4、量化量化三、标量三、标量量化器量化器的设计的设计（1）量化器量化器的设计要求的设计要求通常设计量化器有下述两种情况：通常设计量化器有下述两种情况：u给定量化分层级数，满足量化误差最小。给定量化分层级数，满足量化误差最小。u限定量化误差，确定分层级数，满足用尽量小的平均比特数限定量化误差，确定分层级数，满足用尽量小的平均比特数表示量化输出的要求。表示量化输出的要求。显然，这是一对相互矛盾的要求，设计量化器只能折衷处理。显然，这是一对相互矛盾
31、的要求，设计量化器只能折衷处理。（2）量化方法和量化特性）量化方法和量化特性量化方法有标量量化和矢量量化之分，标量量化又可分为均匀量化方法有标量量化和矢量量化之分，标量量化又可分为均匀量化、非均匀量化和自适应量化。量化、非均匀量化和自适应量化。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础声音特性n当物体在空气中震动时，便会发出连续波，叫，这种波传到人的耳朵，引起耳膜震动，这就是人们听到的声音。 n声波在时间上和幅度（振幅）上都是连续变化的模拟信号，可用模拟正弦波形表示。 第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础 波形相对基线的波形相对基线
32、的最大位移最大位移称为称为振幅振幅A A，反映声音的，反映声音的音量音量; ;将波形中两个将波形中两个相邻相邻波峰（或波谷）之间波峰（或波谷）之间距离距离称为称为震动震动周期周期T T，周期的倒数，周期的倒数1/T1/T即为即为频率频率f f, ,以赫兹（以赫兹（HzHz）为单位，是声音每秒钟变化次数，周期和频率反映了为单位，是声音每秒钟变化次数，周期和频率反映了声音的声音的音调音调。 人们通常听到的声音并人们通常听到的声音并不是单一频率声音不是单一频率声音，而是，而是许许多多个频率的复合，将声音信号的频率范围称为许许多多个频率的复合，将声音信号的频率范围称为带宽带宽。 声音的波形表示、采样和
33、量化声音的波形表示、采样和量化 第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础声源类型声源类型频带宽度频带宽度(Hz)(Hz)男声语音男声语音100 9000女声语音女声语音150 10000电话语音电话语音200 3400调频广播（调频广播（FM）20 15000调幅广播（调幅广播（AM）50 7000高级音响设备重放高级音响设备重放20 20000宽带音响设备重放宽带音响设备重放10 40000第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础音频信息表示 音频信号在上都是连续的， 计算机对音频信息处理，就要将，将这一转换过程称为模拟音频数字化。
34、模拟音频数字化过程涉及到。采样量化编码声音模拟信号声音数字信号模拟音频的数字化过程模拟音频的数字化过程 第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础：是每隔一定时间间隔在模拟波形上取一个值，将时间上连续信号变成时间上离散信号。 如果时间间隔相等，则称为，该时间间隔为，其倒数为。 采样频率即每秒采样次数，采样频率越高，数字化音频质量越好，但数据量越大。对于电话语音信号，最高频率为对于电话语音信号，最高频率为3400Hz，所需采样频率至少为，所需采样频率至少为6800Hz，在实际应用中，采样频率，在实际应用中，采样频率规定为规定为8000Hz。 奈奎斯特理论：奈奎斯特理论
35、：如果采样频率不低于信号最如果采样频率不低于信号最高频率的两倍高频率的两倍，就能将数字表达的声音还原，就能将数字表达的声音还原成原来的模拟声音。成原来的模拟声音。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础：量化是将每个采样点得到的幅度值以数字形式存储。 二倍于最高频率的采样频率是数字化声音再现的必要条件，而非充分条件，它还与幅值的量化级别有关。 048 9 9840000111111111010001000011011 量化的位数越多，则量化的位数越多，则可以更细腻的表现采可以更细腻的表现采样点间的梯度，声音样点间的梯度，声音质量也越好，但声音质量也越好，但声音文件
36、也越大。文件也越大。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础 数字化音频质量的指标有三项：指声音通道的个数。记录声音时，如果每次生成一个声波数据，称为；每次生成两个声波数据，称为，即立体声。 编码编码：存储在计算机中的数字化声音并存储在计算机中的数字化声音并不是声音的真正幅值，而是不是声音的真正幅值，而是幅值代码幅值代码。将采集的物理量转换为计算机中代码的将采集的物理量转换为计算机中代码的过程称为编码。过程称为编码。 在自然界中，声音除了音量音调在自然界中，声音除了音量音调属性外，还存在一个声源位置的属性外，还存在一个声源位置的问题，问题， 声音数字化的采样频率和
37、声音数字化的采样频率和量化级越高，声道数越多，结果量化级越高，声道数越多，结果越接近原始声音，但记录数字声越接近原始声音，但记录数字声音所需存储空间也随之增加。音所需存储空间也随之增加。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础数据率（数据率（b/s）= 采样频率（采样频率（Hz） 采样精度（采样精度（b） 声道数声道数 数字化数字化1秒声音所需数据位数（秒声音所需数据位数（bit或或b）称为）称为。用44.10kHz的采样频率，每个采样点用16位的精度存储，双声道， n 则录制1秒钟的立体声节目，数据率为：44100 16 2 = 1411200（b/s）采样频率
38、（采样频率（Hz） 采样精度（采样精度（b） 声道数声道数 =数据率（数据率（b/s）第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础7.3 多媒体信息的交互与展现多媒体信息的交互与展现 随着信息技术的发展，传统媒体已经难以适应大量信息集成、随着信息技术的发展，传统媒体已经难以适应大量信息集成、实时交互的要求，多媒体技术应运而生。多媒体技术使得人们实时交互的要求，多媒体技术应运而生。多媒体技术使得人们能够将文本、图形、图像、视频、动画、声音等媒体整合在一能够将文本、图形、图像、视频、动画、声音等媒体整合在一起成为一个完整的交互系统，为信息传播和大众交流起到重要起成为一个完
39、整的交互系统，为信息传播和大众交流起到重要的作用。多媒体我们听其名字来讲就是声音、图像和数据的混的作用。多媒体我们听其名字来讲就是声音、图像和数据的混合体，它是一种混合的数字信息，多种信息在此聚集，因此多合体，它是一种混合的数字信息，多种信息在此聚集，因此多媒体有集成性。多媒体还可以通过人机界面实现人和机器之间媒体有集成性。多媒体还可以通过人机界面实现人和机器之间的信息交流、控制和传播，这也就是多媒体的另一大特性的信息交流、控制和传播，这也就是多媒体的另一大特性交互性，它是多媒体技术的核心，也是我们主要研究的部分，交互性，它是多媒体技术的核心，也是我们主要研究的部分，它使多媒体技术其他特性的优
40、势更突出，功能更强大。它使多媒体技术其他特性的优势更突出，功能更强大。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础7.3 多媒体信息的交互与展现多媒体信息的交互与展现 多媒体的交互性其实就是指用户能够通过多种输入输出设备多媒体的交互性其实就是指用户能够通过多种输入输出设备与系统进行与系统进行“对话对话”，银行的触摸式的电脑就是实现用户和总，银行的触摸式的电脑就是实现用户和总机系统的互动，系统根据客户点击的指令为客户服务。所以交机系统的互动，系统根据客户点击的指令为客户服务。所以交互设计其实是很重要的，为用户提供一个可交互的界面是关键。互设计其实是很重要的，为用户提供一
41、个可交互的界面是关键。交互设计不仅表现在信息的控制、组织、传递，更重要的是能交互设计不仅表现在信息的控制、组织、传递，更重要的是能对信息的内容和形式进行分解、加工、改造、转换，创造出一对信息的内容和形式进行分解、加工、改造、转换，创造出一种新的信息内容和形式，受众从这些变化中获得新的知识或验种新的信息内容和形式，受众从这些变化中获得新的知识或验证知识。证知识。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础7.4 多媒体通信多媒体通信技术技术1、多媒体通信多媒体通信的特点的特点一、多媒体数据量大，类型多，因此要求有较大的存储容量，一、多媒体数据量大，类型多，因此要求有较大
42、的存储容量， 足够的传输带宽。总体上说，传输带宽在足够的传输带宽。总体上说，传输带宽在100 Mb/s的网络才的网络才能满足各类多媒体数据（尤其是视频）的传输。能满足各类多媒体数据（尤其是视频）的传输。二、多媒体中的音频、动画、视频等时基媒体对实时性有很高二、多媒体中的音频、动画、视频等时基媒体对实时性有很高的要求，需要足够带宽的传输设备和适当的通信协议及数据交的要求，需要足够带宽的传输设备和适当的通信协议及数据交换方式与之适应。换方式与之适应。三、多媒体中的各媒体不是独立存在的，它们不仅在空间上，三、多媒体中的各媒体不是独立存在的，它们不仅在空间上，而且在时间上相互关联，而且在时间上相互关联
43、， 彼此制约。彼此制约。 第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础2、多媒体通信的应用、多媒体通信的应用一、一、可视电话可视电话 多媒体通信的初级形式主要是可视电话，相距遥远的用户能多媒体通信的初级形式主要是可视电话，相距遥远的用户能够在通话的同时看到对方的形象，并传输所需的各种媒体信息。够在通话的同时看到对方的形象，并传输所需的各种媒体信息。二、二、计算机支持的协同工作计算机支持的协同工作（CSCWCSCW） 多媒体通信技术不仅能让处于不同地点的多个用户通过屏幕多媒体通信技术不仅能让处于不同地点的多个用户通过屏幕看到对方的形象，自由地交谈，而且还能在双方的屏幕上
44、同时看到对方的形象，自由地交谈，而且还能在双方的屏幕上同时显示同一文件，对同一文件或图表展开讨论，进行修改，在达显示同一文件，对同一文件或图表展开讨论，进行修改，在达成协议后再存储或打印出来。成协议后再存储或打印出来。三、三、视频会议视频会议（Video ConferenceVideo Conference） 视频通信与自动控制相结合，还可用于远距离现场监测和指视频通信与自动控制相结合，还可用于远距离现场监测和指挥，用于现代军事通信、交通控制和生产管理等方面，使指挥挥，用于现代军事通信、交通控制和生产管理等方面，使指挥或调度中心能根据现场情况准确地做出判断，并对现场进行实或调度中心能根据现场情
45、况准确地做出判断，并对现场进行实时控制和指挥。时控制和指挥。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础2、多媒体通信的应用、多媒体通信的应用四、四、远程医疗服务远程医疗服务 它能将医务人员的医务活动输入到以计算机为主体的各种设它能将医务人员的医务活动输入到以计算机为主体的各种设备中。医务人员也可以通过这些设备充分利用各种形式的多媒备中。医务人员也可以通过这些设备充分利用各种形式的多媒体信息资源，以提高医疗效率和质量，直到实现医疗的自动化体信息资源，以提高医疗效率和质量，直到实现医疗的自动化和智能化。和智能化。五、五、教学与培训教学与培训 多媒体通信可以让学生接受异地
46、教师生动活泼的教育。学生多媒体通信可以让学生接受异地教师生动活泼的教育。学生与教师可以利用各自的多媒体终端进行与教师可以利用各自的多媒体终端进行“面对面面对面”的教学活动，的教学活动，达到双向沟通的目的。达到双向沟通的目的。六、六、多媒体邮件多媒体邮件 多媒体邮件是在电子邮政的基础上发展起来的，它能将数据、多媒体邮件是在电子邮政的基础上发展起来的，它能将数据、声音、图像等合在一起发送。用户可以查询多媒体邮件的状态，声音、图像等合在一起发送。用户可以查询多媒体邮件的状态，并对邮箱的信息内容实施控制。并对邮箱的信息内容实施控制。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础
47、2、多媒体通信的应用、多媒体通信的应用七、七、在广播与出版业中的应用在广播与出版业中的应用多媒体通信还可将广播与出版业融为一体。例如，用户可选择多媒体通信还可将广播与出版业融为一体。例如，用户可选择实时出版的多媒体报纸或期刊，并检索与阅读所需的多媒体信实时出版的多媒体报纸或期刊，并检索与阅读所需的多媒体信息。多媒体报刊的发行部门还可利用多媒体通信系统发布多媒息。多媒体报刊的发行部门还可利用多媒体通信系统发布多媒体电子新闻，出版多媒体期刊。体电子新闻，出版多媒体期刊。八、八、咨询服务咨询服务 旅游、邮电、交通、商业、气象等公共式信息以及宾馆、百旅游、邮电、交通、商业、气象等公共式信息以及宾馆、百
48、货大楼的服务指南都能以图文并茂的形式存放在多媒体数据库货大楼的服务指南都能以图文并茂的形式存放在多媒体数据库中，随时随地向公众或客户提供中，随时随地向公众或客户提供“无人值守无人值守”的咨询服务。用的咨询服务。用户查询时，既可获得文字数据说明，听到解说，同时也可以看户查询时，既可获得文字数据说明，听到解说，同时也可以看到有关的画面。到有关的画面。九、九、居家旅游和其它文化娱乐服务居家旅游和其它文化娱乐服务 多媒体通信与虚拟现实技术相结合，还可以向人们提供三维多媒体通信与虚拟现实技术相结合，还可以向人们提供三维立体化的双向影视服务，使人们足不出户即能立体化的双向影视服务，使人们足不出户即能“进入
49、进入”世界著世界著名的博物馆、美术馆和旅游景点，并能根据自己的意愿选择观名的博物馆、美术馆和旅游景点，并能根据自己的意愿选择观赏的场景，就象身临其境一般。赏的场景，就象身临其境一般。第第七七章章 多多媒媒体体技技术术基基础础大学计算机基础大学计算机基础3、多媒体通信的、多媒体通信的关键技术关键技术一、不断提高各种多媒体计算机芯片以及多媒体产品的质量，一、不断提高各种多媒体计算机芯片以及多媒体产品的质量， 开发新的多媒体软、硬件产品品种，降低它们的成本。开发新的多媒体软、硬件产品品种，降低它们的成本。二、实现系统中各种多媒体信息之间的相互转换。例如，二、实现系统中各种多媒体信息之间的相互转换。例
50、如， 利利用语音识别和合成技术将语音转换成文本，或将文本转换成用语音识别和合成技术将语音转换成文本，或将文本转换成语音。语音。三、进一步提高调制解调器的速度与通信线路的质量，以满三、进一步提高调制解调器的速度与通信线路的质量，以满足多媒体通信的要求。足多媒体通信的要求。四、进一步压缩语音与图像数据。例如，英、美两国研究出四、进一步压缩语音与图像数据。例如，英、美两国研究出的一种超低比特率的活动图像压缩标准（的一种超低比特率的活动图像压缩标准（MPEG-4），这种），这种专供电话线路传送活动图像用的新标准已经投入使用。专供电话线路传送活动图像用的新标准已经投入使用。五、信息同步问题。五、信息同步
