1、数字工具（多媒体技术与应用）全册配套课件第一章 多媒体技术概论n 学习目的：n 通过本章的学习，使学生对多媒体技术的基本概念、分类、关键技术、多媒体技术的应用发展和现状有一定的了解和掌握。n 学习的知识点：n 掌握：媒体、多媒体及计算机的定义，分类。n 理解：多媒体的基本特性，多媒体技术的关键技术。n 了解：多媒体主要应用领域、发展状况和主要研究内容。n 学习重难点：n 多媒体计算机的定义n 多媒体计算机的分类n 多媒体计算机的关键技术目录：n1.1 多媒体的基本概念n1.2 多媒体技术的关键技术n1.3 多媒体技术的发展与应用n1.4 多媒体发展的新颖技术1.1 多媒体的基本概念一数据、信息
2、与媒体n 数据是记录描述客观世界的原始数字。信息是经过加工后、并具有一定意义的数据。信息是主观的、数据是客观的，单纯的数据本身并无实际意义，只有经过解释后才能成为有意义的信息。n 媒体（Medium）在计算机领域有两种含义：一是指存储信息的实体，如磁盘、光盘、磁带、半导体存储器等，中文常译为媒质；二是指传递信息的载体，如数字、文字、声音、图形和图像等，中文译作媒介，多媒体技术中的媒体是指后者。从这个意义上看，媒体在计算机领域中的理解是比较狭义的。数据、信息与媒体三者之间有以下关系：n （1）有格式的数据才能表达信息含义。媒体的种类不同其所具有的格式也不同，只对格式能够理解，才能对其承载的信息进
3、行表述。n （2）不同的媒体所表达的信息程序也是不同的。每种媒体都有自己本身承载的信息形式特征，而人们对不同种类信息的接受程序也不同，便产生了差异。n （3）媒体之间的关系也代表着信息。媒体的多样化关键不在于能否接收多种媒体的信息，而在于媒体之间的信息表示的合成效果。多种媒体来源于多个感觉通道，其效果远远超出各个媒体单独表达时的效果。n （4）媒体是可以进行相互转换的。 媒体转换，是指媒体形式从一种转换为另外一种，同时信息的损失总是伴随媒体的转换过程的。各种媒体间的关系n “媒体”的概念范围是相当广泛，根据原国际电报电话咨询委员会（CCITT，现改称为国际电信联盟标准化部门ITU-T）对媒体的
4、定义，“媒体”可分为下列五大类：1感觉媒体n 感觉媒体（Perception Medium）是指的是能直接作用于人们的感觉器官，从而能使人产生直接感觉的媒体。包括视觉类媒体（位图图像、图形、符号一一文字、视频、动画、其他）、听觉类媒体（语音、音乐、音效等）、触觉类媒体（指点、位置跟踪、力反馈与运动反馈）、味觉类媒体、嗅觉类媒体等。1感觉媒体类型类型举例举例技术描述技术描述视觉媒体文字、景像位图图像、图形、符号、视频、动画数字化、编码、压缩等听觉媒体语音、音乐、自然界的各类声音MIDI、波形文件数字化、编码、虚拟声空间、声音合成、声音识别等触觉媒体力、运动、温度指点、位置跟踪、力反馈与运动反馈、
5、热觉反馈等味觉媒体滋味嗅觉媒体气味人类感知信息的途径n 视觉：是人类感知信息的最重要的途径，人类从外部世界获取信息的7080是从视觉获得；听觉：人类从外部世界获取信息的10是通过听觉获得的；嗅觉、味觉、触觉：通过嗅觉、味觉、触觉获得的信息量约占10。 表示媒体n 表示媒体（Representation Medium）是指的是为了加工、处理和传送感觉媒体而人为研究、构造出来的一种媒体。借助于此种媒体，便能更有效地存储感觉媒体或将感觉媒体从一个地方传送到另一个地方。表示媒体包括各种编码方式如语音编码、文本编码、静止图像和运动图像编码等。n 显示媒体（Presentation Medium）：指的是
6、用于通信中使电信号和感觉媒体之间产生转换用的媒体。如输入、输出设施，键盘、鼠标器、话筒、喇叭、显示器、打印机等。n 存储媒体（Storage Medium）：指的是用于存储表示媒体的物理介质，以方便计算机加工和调用信息。如纸张、磁带、磁盘、光盘等。n 传输媒体（Transmission Medium）：用来将表示媒体从一个地方传输到另一个地方的物理介质，是通信的信息载体。常用的有双绞线、同铀电缆、光缆和微波等。 其它分类形式分类标准分类标准类型类型技术描述技术描述根据时间属性离散媒体不随时间变化而变化的媒体，如图形、静态图像、文本等连续媒体随时间变化而变化的媒体，如声音、视频、动画等根据空间属
7、性一维媒体如单声道的音乐信号二维媒体如立体声、文本、图形三维媒体三维图形、全景图像和空间立体声根据生成属性自然媒体采用数字化方法从自然界获取的媒体，如图像、视频等合成媒体通过计算机创建的媒体，如合成语音、图形、动画等二如何理解多媒体（Multimedia）n “多媒体”一词译自英文“Multimedia”，而该词又是由multiple和media复合而成，核心词是媒体。与多媒体对应的一词是单媒体(monomedia)，从字面上看，多媒体是由单媒体复合而成。人类在信息交流中要使用各种信息载体，多媒体（Multimedia）就是指多种信息载体的表现形式和传递方式。这些信息媒体包括：文字（Text）
8、、声音（Audio）、图形（Graphic）、图像（Image ）、动画（Animation）、视频（Video）等。三多媒体技术媒体n 多媒体技术是指能够同时获取、处理、编辑、存储和展示两个以上不同类型信息媒体的技术。“多媒体”常常不是指多种媒体本身，而主要是指处理和应用它的一整套技术。因此，“多媒体”实际上就常常被当作“多媒体技术”的同义语。n 多媒体技术的特性 n 多媒体技术的主要特征是：多样性、集成性和交互性。（1）多）多样性样性信息载体的多样性是多媒体的主要特征之一，也是多媒体研究要解决的关键信息载体的多样性是多媒体的主要特征之一，也是多媒体研究要解决的关键问题。多媒体计算机技术改变
9、了计算机信息处理的单一模式，使之能处理多问题。多媒体计算机技术改变了计算机信息处理的单一模式，使之能处理多种信息。种信息。（2）集成性以计算机为中心综合处理多种信息媒体，包括媒体的集成和处理这些媒体设备的集成。一方面多媒体技术能将多种不同媒体信息有机地进行组合成一个完整的多媒体信息，另一方面它把不同的媒体设备集成在一起，形成多媒体系统。从硬件的角度来讲，指能够处理多媒体信息的高速及并行CPU系统、并具有大容量的存储、适合多媒体、多通道的输入输出能力及外设、宽带的通信网络接口。从软件角度看，是应该有集成一体化的多媒体操作系统、适应多媒体信息管理和使用的软件系统和创作工具以及高效的各类应用软件。（
10、3）交互性用户可以与计算机进行交互操作，从而为用户提供控制和使用信息的手段。这种交互都要求实时处理。如从数据库中检索信息量，参与对信息的处理等等。交互可分成三个层次：媒体信息的简单检索与显示，是多媒体的初级交互应用；通过交互特性使用户进入到信息的活动过程中，才达到了交互应用的中级；当用户完全进入一个与信息环境一体化的虚拟信息空间自由遨游时，才是交互应用的高级阶段。（4）实时性实时就是在人的感官系统允许下，进行多媒体交互，就好像面对面一样，图像和声音都是连续的。声音动画视频等时基媒体信息要求实时处理。（5）高质量避免信息信号的衰减及噪音的干扰、保障多媒体信息的高质量。 四多媒体计算机的概念n 多
11、媒体计算机技术：是指运用计算机综合处理多种媒体信息（文本、声音、图形、图像、动画等）的技术，包括将多种信息建立逻辑连接，进而集成一个具有交互性的系统并具有交互性。具有这类能力的计算机称为多媒体计算机（multimedia computing）n 简单地说：多媒体计算机能综合处理声、文、图信息，并具有集成性和交互性。多媒体计算机的分类：n 从开发和生产厂商以及应用的角度出发，多媒体计算机可以分成两大类：n 1电视计算机（teleputer），由家电制造厂商研制的，是将CPU放到家电中，通过编程控制管理电视机、音响。n 2计算机电视（compuvision），由计算机厂商研制的，采用微处理器作为C
12、PU，具有视频图形适配器、光盘驱动器、音响设备以及扩展的多媒体家电系统。五多媒体系统五多媒体系统1.2 多媒体技术的关键技术n 一视频音频信号获取技术n 过去计算机处理数和文字，现在要综合处理声、文、图。而多媒体计算机要解决视频音频信号获取问题。获取视频信号的方法n （1）利用计算机产生彩色图形、静态图像和动态图像。比如使用画图程序，如windows系统自带的画图程序、专业的Photoshop图像处理软件等来创作数字图像。n （2）利用彩色扫描仪，扫描输入照片等图像，输入到计算机内形成数字图像；n （3）利用视频信号数字化设备（如数码相机、数码摄像机、视频信息转换卡等）把自然景物、模拟彩色全电
13、视信号数字化，输入到多媒体计算机中，获得静态或动态图像。二多媒体数据压缩编码与解码技术n 过去计算机无法综合处理声、文、图的原因在于：文件数据量过大。n 在信息化社会里数字化后的信息，尤其是数字化后的视频和音频信息具有数据海量性，它给信息的存储和传输造成较大的困难，成为阻碍人类有效地获取和使用信息的瓶颈问题之一。n 多媒体数据压缩编码和解码技术是多媒体系统的关键技术。关于多媒体数据的压缩已形成了许多标准，如静态压缩标准（JPEG，Joint Photograohic Exoerts Group）、动态视频压缩标准（MPEG，Moving Picture Expert Group）等。在压缩编码
14、中也有许多常用算法，如预测编码、变换编码、统计编码、混合编码等。静态及动态数据量分析动态视频n PAL（Phase Alternation Line）-称为逐行倒相正交平衡调幅制：是通用于中国大陆、香港、日本与西欧（除去法国）等地的彩色电视讯号格式，以交错方式扫描，每秒钟出25格画面，每格画面含625条水平扫描线。n NTSC（National Telvision Standards Committee）-是国家电视标准委员会，它是美国一个专门制订彩色电视标准的组织，它制订的NTSC制式，每秒钟出30格画面，每格画面含525条水平扫描线。第第1帧帧第第4帧帧第第7帧帧第第10帧帧第第13帧帧第
15、第16帧帧第第16帧帧第第22帧帧第第25帧帧第第25帧帧n 以上图视频动画为例（分辨率为12090，每秒25帧），一秒钟的数据量：120903825=6480000bits=791KB。n 思考：一小时分辨率为720576（PLA-DVD格式）的视频不经过压缩，其数据量是多少？三视频音频数据的实时处理和特技n 一幅图像一般都有数百KB，甚至更大，为完成视音频的实时处理，需要利用预处理、分割、扫描、识别、解释等多种处理与数学的点运算、二维卷积运算、二维正交变换等计算。四视频音频数据的输出技术n 过去计算机处理数和文字，现在要综合处理声、文、图，文件格式复杂，就要解决视频音频的输出问题。要考虑如
16、何将标准文件存到内存与外存，同时还需要解决如何将不同的和音频视频文件格式进行转换，在输出设备上输出等等。五高速计算机网络传送多媒体信息技术n 在网络多媒体出现之前，网络上传输的绝大部分内容是文本信息。而多媒体数据在网络上传输至少有三方面的难度。n （1）网络多媒体应用通常需要更高的网络带宽。一个25s320240分辨率的QuickTime电影片段就需要占据2.3MB的存储空间，这相当于1000屏的文本数据，这在只有文本传输的过去是不可想象的。n （2）大多数的多媒体应用都要求实时传输。视频和音频数据必须按照其采样的速率进行连续回放，如果数据未能及时到达，回放过程就停止，人的眼睛和耳朵就会感觉到
17、流畅性有问题。n （3）多媒体数据流通常都在一定的突发性，仅仅增加带宽还不能解决突发性带来的问题。缓冲区可能会上溢（数据到达过快，使部分数据丢失，导致质量变差）或下溢（数据到达太慢，应用就会处于饥饿状态）。 等等1.3 多媒体技术的发展及应用n 一多媒体技术的发展n 多媒体技术经历了不断发展的过程，科学技术的进步和社会的需求是促进多媒体发展的基本动力。n 1. 启蒙发展阶段n 远古时代人们利用壁画，文字等传达信息。在人类发展过程中，报纸可能是第一种重要的群众性通信介质，它主要使用文字内容，也使用图形和图像。电视是20世纪出现的新媒介，它带来了视频，并从此改变了群体通信世界。多媒体技术的一些概念
18、和方法，起源于20世纪60年代。多媒体技术实现于20世纪80年代中期。尽管“多媒体”这个名词是由谁在什么时候开始第一次运用的已无法考证。但是，1985年10月IEEE计算机杂志首次出版了完备的“多媒体通信”的专集，是文献中可以找到的最早的出处。更多内容n 1895年，俄罗斯亚斯波波夫和意大利工程师马可尼（Gugliemo Marconi）分别独立地实现了第一次无线电传输。稍后，到了1901年12月，马可尼又完成跨越大西洋、距离为3700公里的无线电越洋通讯。无线电最初作为电报被发明，现在成了最主要的音频广播介质。n 1945年，Vannevar Bush(1890-1974)在其发表的论文“
19、As We May Think”中提出Memex系统：图书馆将各种信息存储在缩微胶片中，各书目之间的连接可自动跳转。Memex提供一种方法，使任何一条信息都可以随意直接自动地选择另一条信息。而且，更重要是将两条信息连接到一起。这就是hypertext的概念。n 1965年，纳尔逊（Ted Nelson）为计算机上处理文本文件提出了一种把文本中遇到的相关文本组织在一起的方法，并为这种方法杜撰了“hypertext（超文本）”一词。与传统的方式不同，超文本以非线性方式组织文本，使计算机能够响应人的思维以及能够方便地获取所需要的信息。万维网（WWW）上的多媒体信息正是采用了超文本思想与技术，组成了全
20、球范围的超媒体空间。 n 1967年，Nicholas Negroponte在美国麻省理工学院（MIT）组织体系结构机器组（Architecture Machine Group）。n更多内容n 1968年，Douglas Engelbart在SRI演示了NLS系统。n 1969年，纳尔逊（Nelson）和Van Dam在布朗大学（Brown）开发出超文本编辑器。n 1976年，美国麻省理工学院体系结构机器组向DARPA提出多种媒体（Multiple Media）的建议。n 1984年，Apple公司的Macintosh个人计算机，首先引进了“位映射”的图形机理，用户接口，开始使用Mouse驱动
21、的窗口技术和图标。最早用GUI（图形用户接口）代替CUI（计算机用户接口），大大方便了用户的操作。Apple公司在1987年又引入了“超级卡”（Hypercard），使Macintosh机成为更容易使用、易学习并且能处理多媒体信息的机器，受到计算机用户的一致赞誉。 n 1985年，Microsoft公司推出了Windows，它是一个多用户的图形操作环境。更多内容n 1985年，美国Commodore公司推出世界上第一台多媒体计算机Amiga系统。Amiga机采用Motorola M68000微处理器作为CPU，并配置Commodore公司研制的图形处理芯片Agnus 8370、音响处理芯片Pz
22、ula 8364和视频处理芯片Denise 8362三个专用芯片。Amiga机具有自己专用的操作系统，能够处理多任务，并具有下拉菜单、多窗口、图标等功能。n 1985年，Negroponte和Wiesner成立麻省理工学院媒体实验室（MIT Media Lab）。 n 1986年荷兰Philips公司和日本Sony公司联合研制并推出CD-I（compact disc interactive，交互式紧凑光盘系统），同时公布了该系统所采用的CD-ROM光盘的数据格式。这项技术对大容量存储设备光盘的发展产生了巨大影响，并经过国际标准化组织（ISO）的认可成为国际标准。大容量光盘的出现为存储和表示声音
23、、文字、图形、音频等高质量的数字化媒体提供了有效手段。更多内容n 1987年3月美国无线电公司RCA研究中心在国际第二届CD-ROM年会上展示了这项称为交互式数字视频（DVI，Digital Video Interactive）的技术，这便是多媒体技术的雏形。 DVI与CD-I之间的实质性差别在于，前者的编、解码器是置于微机中，由微机控制完成计算的，这就把彩色电视技术与计算机技术融合在一起；而后者的设计目的，只是用来播放记录在光盘上的按照CD-I压缩编码方式编码的视频信号（类似于后来的VCD播放器）。这便是在DVI技术出现之后，人们就立即对CD-I失去兴趣的原因。 n 1985年10月IEEE
24、计算机杂志首次出版了完备的“多媒体通信”的专集。n 1987年Apple公司引入HyperCard，使Macintosh机成为方便用户学习使用的能处理多媒体信息的计算机。n 更多内容n 1989年由Intel和IBM公司推出第一代DVI产品。n Intel和IBM公司合作，在Comdex/Fall89展示会上推出Action Media 750多媒体开发平台。该平台硬件系统由音频板、视频板和多功能板块等专用插板组成，其硬件是基于DOS系统的音频/视频支撑系统（AVSS，audio video support system）。n 1991年，又推出了改进型Action Media II 。199
25、1年，Intel和IBM合作又推出了改进型的Action Media II。在该系统中硬件部分集中在采集板和用户板两个专用插件上，集成程度更高；软件采用基于Windows的音频视频内核（AVK，audio n video kernel)。Action Media II在扩展性、可移植性、视频处理能力等方面均大大改善。2. 初期应用和标准化阶段n 自20世纪90年代以来，多媒体技术逐渐成熟。多媒体技术从以研究开发为重心转移到以应用为重心。由于多媒体技术是一种综合性技术，它的实用化涉及到计算机、电子、通信、影视等多个行业技术协作，其产品的应用目标，既涉及研究人员也面向普通消费者，涉及各个用户层次，
26、因此标准化问题是多媒体技术实用化的关键。在标准化阶段，研究部门和开发部门首先各自提出自己的方案，然后经分析、测试、比较、综合，总结出最优、最便于应用推广的标准，指导多媒体产品的研制。 更多内容n 1989年，Tim Berners-Lee向核研究欧洲委员会（CERN，European Council for Nuclear Research）建议建立万维网（WWW，Word Wide Web）。n 1990年，K. Hooper Woolsey建立100人的苹果公司多媒体实验室（Apple Multimedia Lab）。 n 1990年10月由Microsoft公司为主的主要多媒体开发厂商联
27、合组成了“多媒体微机市场协会”，并制定了MPC标准。简称MPC 1.0标准。1993年公布了MPC 2.0标准。1995年6月推出MPC 3.0。多媒体个人计算机（MPC，multimedia personal computer）是指具有特定功能的多媒体计算机。n 1991年JPEG专家组提出了ISO/IEC109166标准，即“多灰度静止图像的数字压缩编码”n 1992年运动图像专家组提出了MPEG1标准。多媒体数据压缩（编码）和解压（解码）标准。n 1992年，实现网络上的第一个M-Bone音频广播。n 1993年，在美国伊利诺斯大学的美国超级计算应用国家中心（NCSA，National
28、Center for Supercomputing Applications）开发出第一个万维网浏览器Mosaic。n 1994年，Jim Clark和Marc Andreesen开发出万维网浏览器Netscape。n 1995年，与平台无关的应用开发语言Java面世。多媒体技术相关标准传真系统传真系统CCITT Group 2（G2） ，CCITT Group 3（1980年）和年）和CCITT Group 4（1984年）年）静态图像标准T.81， JPEG标准（ISO/IEC 10918, 1991）视频/运动图像MPEG-1（ ISO/IEC 11172），MPEG-2（ISO/IEC
29、 13818）和MPEG-4（ISO/IEC 14496） ， H.261（P64）、H.263视频会议标准第一代标准H.320，H.321和H.322，第二代标准H.323，H.324和H.310更深层次的标准MPEG-7（ISO/IEC 15938），MPEG-21（ISO/IEC 18034）光碟标准CD，DVD3. 蓬勃发展n 随着多媒体各种标准的制定和应用，极大地推动了多媒体产业的发展。许多多媒体标准和实现方法（如JPEG、MPEG等）已被做到芯片级，并作为成熟的商品投入市场。涉及到多媒体领域的各种软件系统及工具，也层出不穷。这些既解决了多媒体发展过程必须解决的难题，又对多媒体的普及
30、和应用提供了可靠的技术保障，并促使多媒体成为一个产业而迅猛发展。 多媒体技术蓬勃发展中代表事件n 代表之一是进一步发展多媒体芯片和处理器。1997年1月美国Intel公司推出了具有MMX技术的奔腾处理器(Pentium processor with MMX)，使它成为多媒体计算机的一个标准。奔腾处理器在体系结构上有三个主要的特点：(1)增加了新的指令，使计算机硬件本身就具有多媒体的处理功能（新添57个多媒体指令集），能更有效地处理视频、音频和图形数据。(2)单条指令多数据处理（SIMD, Single Instruction Multiple Data process）减少了视频、音频、图形和
31、动画处理中常有的耗时的多循环。(3)更大的片内高速缓存，减少了处理器不得不访问片外低速存储器的次数。奔腾处理器使多媒体的运行速度成倍增加，并已开始取代一些普通的功能卡板。除具有MMX技术的奔腾处理器外，还有AGP规格、MPEG-2、AC-97、PC-98、2D/3D绘图加速器、Java Code(Processor Chip)等最新技术，也为多媒体大家族增添了风采。 多媒体技术蓬勃发展中代表事件n 另一代表是AC97杜比数字环绕音响的推出。在视觉进入3D立体视觉空间的境界后，对听觉也提出环绕及立体音效的要求。电影制片商在讲究大场景下，更会要求有逼真及临场感十足的声音效果。加上个人计算机游戏（P
32、C Game）的刺激，将音效的需求带到颠峰。AC97(Audio Codec 97)在此推动下，由声霸卡(Sound Blaster)的创始者Creative公司及深耕此领域的Analog Device、NS、Yamaha、Intel主导生产。AC97硬件解决方案中，由Controller（声音产生器）及Codec IC两片IC构成。 多媒体技术蓬勃发展中代表事件n 随着网络电脑(Internet PC、NC)及新一代消费性电子产品，如电视机顶盒（Set-Top Box）、DVD、视频电话（Video Phone）、视频会议（Video Conference）等观念的崛起，强调应用于影像及通讯
33、处理上最佳的数字信号处理器（DSP），经过另一番的结构包装，可由软件驱动组态的方式，进入咨询及消费性的多媒体处理器市场。 n 1996年，Chromatic Research推出整合MPEG-1、MPEG-2、视频、音频、2D、3D、电视输出等七合一功能的Mpact处理器，一举打响了其知名度，引起市场的高度重视，现已推出Mpact2第二代产品，应用于DVD、计算机辅助制造（CAM）、个人数字助手（PDA）、蜂窝电话（Cellular phone）等新一代消费性电子产品市场。继Chromatic后，Fujitsu、Matsushita、Mitsubishi、Philips、Samsung、Sha
34、rp等几大厂商亦相继投入此市场。 多媒体技术蓬勃发展中代表事件n 多媒体处理器结合了DSP在数字信号处理的优势，并可发挥其在通讯方面的优点。除了最初应用于网络PC的构想外，日本Sharp将其多媒体微处理器Data-Driven Media Processor(DDMP)应用于打印机、复印机、传真机及扫描器四合一的多功能打印机Camcoder中。Fujitsu也将其MMA(Multi Media Assist)系列应用于汽车导航系统中，并将推出第二代甚至第三代。n 与此同时，MPEG压缩标准得到推广应用。已开始把活动影视图像的MPEG压缩标准推广用于数字卫星广播、高清晰电视、数字录象机以及网络环
35、境下的电视点播（VOD）、DVD等各方面。 n 虚拟现实（Virtual reality）技术正向各个应用领域开拓。虚拟现实技术是在计算机系统环境下，集视、听、说、触动等多种感觉器官的功能于一体的仿真综合体技术。利用虚拟现实技术，推广应用到各个领域，带动各领域实现可视仿真，这一发展趋势在美国特别明显。1994年美国几所大学公开发表了视听实验的示范成果。多媒体技术的主要发展方面示意图n 其中： 多媒体方框列举了媒体的多种形式。 图右部展示的是存储，特别是光存储设备，设备种类，以及它们的演变。 图左部展示的是与链接和电子出版有关的技术。 图左下部连接于各种关于表示和内容编码（带压缩）的标准。图中部
36、是压缩，这是许多多媒体标准的关键部分。图底部中央是网络连接，它可以扩展并联系到各个部分。二多媒体技术的应用n 多媒体技术在许多领域里得到深入的应用，近年来在多媒体数据库、多媒体通信及多媒体创作工具等方面有广泛的应用。1.多媒体数据库n 传统的数据库管理系统处理结构化的数据，应用于文字、数值等信息处理 n 多媒体数据库管理系统多种媒体信息及非结构化数据，应用复杂数据的处理及管理，如图书馆博物馆诊断医疗系统等目前多媒体数据库的研究的主要途径：nA在现有商用数据库管理系统的基础上增加接口，以满足多媒体应用的需要； nB建立基于一种或几种应用的专用多媒体信息管理系统； nC从数据模型入手，研究全新的通
37、用多媒体数据库管理系统研究开发多媒体数据库要解决的关键技术问题n nA多媒体数据模型 nB数据的压缩和解压缩 nC多媒体数据的存贮管理和存取方法 nD多媒体信息的再现及良好的用户界面 nE分布式技术2. 多媒体通信nI多媒体通讯分类 nA对称的全双工的多媒体通讯，如分布式多媒体信息系统、视频会议系统（分点对点的视频会议系统和多点视频会议系统）及计算机支持的协同工作系统； nB非对称全双工的多媒体通讯系统，如交互式电视系统（ITV）、点播电视系统（VOD）nnII、多媒体通讯的关键技术 nA多媒体数据压缩。nB高速数据通讯问题 n尤其是视频会议系统要解决视频会议系统的国际标准问题。3. 多媒体创
38、作工具及其应用n I多媒体创作工具的分类 n 基于时间的创作工具，如Action、Director等。n 基于图标（Icon）或流线（Line）创作工具，如Autherware、Icon Auther等。n 基于卡片（Card）和页面（Page）的创作工具，ToolBook、Hypercard、PowerPoint等；n 以传统程序语言为基础的创作工具。 如Visual C+、Visual Basic等。II多媒体创作工具的应用n 制作各种电子出版物、教材、参考书、地图、医药卫生、商业手册及游戏娱乐节目。n 多媒体应用系统、演示系统或信息查询系统、导游系统；培训和教育系统；娱乐、视频动画及广告
39、等等。1.4 多媒体发展的新颖技术n 多媒体技术是一门多学科和多技术的交叉技术，也是基于计算机的一种综合技术。现在多媒体技术及应用正在向更深层次发展。下一代用户界面，基于内容的多媒体信息检索，保证服务质量的多媒体全光通信网，基于高速互联网的新一代分布式多媒体信息系统等等,多媒体技术和它的应用正在迅速发展，新的技术、新的应用、新的系统不断涌现。从多媒体应用方面看，有以下几个发展趋势n （1）从单个PC用户集中式、局部环境转向多用户分布式网络环境。n （2）从专用平台和系统有关的解决方案转向开放性、可移植的解决方案。针对数字媒体的嵌入式芯片设计与制造将是未来研究的重要方向。n （3）从被动的、简单
40、的交互方式转向主动伺服式高级的人机交互方式。人类使用听觉、视觉、触觉、嗅觉等感官交流信息，自然的人机交互系统必须支持多功能感知、识别和认知，实现多模态的交互手段。n （4）普遍适用的多媒体访问。未来多媒体应用将可使用户不论在什么样的访问环境下（包括有线和无线网络）和使用什么样的设备（包括手机和掌上电脑等各种信息终端）都可以无缝的、可移动的、连续的访问应用。1. 流媒体技术n 流媒体技术是把连续的视频和音频等多媒体文件经过处理后放在网络服务器上，让用户边下载边观看，而不是需要将整个文件全部下载后才能观看的网络技术。n 流式传输主要是指通过网络传送媒体（如音频/视频等）的技术总称。实现流式传输有两
41、种方式：实时流式传输和顺序式传输。实时流式传输是指视频为实时广播，或使用流式传输媒体服务器，或应用如实时流协议RTSP的实时协议。顺序式传输是指使用超文本传输协议HTTP服务器发送文件。n 目前在这个领域的主要产品有：RealNetworks公司的Real Media；Microsoft公司Windows Media；Apple公司的Quick Time。2. 虚拟现实技术n 虚拟现实技术（Virtual Reality，VR）技术是利用计算机技术及硬件设备，实现一种人们可以通过视听触嗅等手段来感受虚拟幻境。虚拟现实系统具有三个重要特性：临境性，交互性、想像性。n 虚拟现实是建立在集成诸多学科
42、如心理学、控制学、计算机图形学、数据库设计、实时分布系统、电子学、机器人及多媒体技术等之上的高级技术。n VR技术的应用十分广泛，如国防、建筑设计、工业设计、培训、医学领域等。3. 影视制作及动画的平台技术n 影视艺术中的影视制作技术涉及通信存储的传输压缩和多媒体数据库等技术。实时采集、实时压缩传输、实时编辑是该领域中的难点。n 计算机动画技术发展会对影视制作带来新的巨大发展，也会带来丰厚的经济效应。4. 多媒体数字水印技术n 数字水印（Digital Watermark）技术是指用信号处理的方法，在数字化的多媒体数据中嵌入隐蔽的标记，这种标记通常是不可见的，只有通过专用的检测器或阅读器才能提
43、取。数字印记的特征是隐蔽性、隐藏位置的安全性和鲁棒性等。目前数字水印应用领域主要有：数字作品的知识产权保护，商务交易中的票据防伪，声像数据的隐藏标识和篡改提示，隐蔽通信及其对抗等等。5. 多媒体数据挖掘技术n 数据挖掘（Data Minig）是从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取隐含在其中的有用的信息和知识的过程。n 多媒体数据挖掘是从大量的多媒体数据中，通过综合分析视听特性和语义，发现隐含的、有效的、有价值的、可理解的模式，进而发现知识，得出事件的趋向和关联，为用户提供问题求解层次的决策支持能力。6. 智能多媒体技术n 多媒体计算机从发展看应具有以下智能：n A文
44、字的识别和输入，如印刷体汉字、联机手写体汉字和脱机手写汉字的识别和输入。n B语音的识别与输入，如特定人、非特定人以及连续汉语语音的识别和输入。n C自然语言的理解和机器翻译，如汉语的自然语言理解和机器翻译、n D图形的识别和理解n E机器人视觉和计算机视觉n F知识工程以及人工智能等。n 智能多媒体数据库的核心技术：将具有推理功能的知识库与多媒体数据库结合起来，形成智能多媒体数据库。n 智能多媒体数据库另一个重要研究课题式多媒体数据库基于内容检索技术，它需要把人工智能领域中的高维空间的搜索技术、视音频信息的特征抽取和识别技术、视音频信息的语义抽取问题以及知识工程中的学习、挖掘及推理等问题应用
45、到基于内容的检索技术中。7. 跨媒体技术n 寻求平面媒体和立体媒体与网络媒体相结合的多媒体资源整合，信息融合，在存于一体。最大限度获取不同媒体间的关联性和协同效应、互补性和多维互动性，从而达到需求的识别、检索、发布以及发现重构、共生新用等，高效地使用各种媒体。n 跨媒体涉及了大量学科的交叉性研究，如智能信息处理、数据挖掘与知识发现、机器学习、多媒体处理、模式识别、检索引擎、数据库技术等。n 目前存在的主要技术难点有：跨媒体知识的发现和表达技术；跨媒体知识的推理与重构；跨媒体统一的表示结构；跨媒体信息的融合、识别技术；各种媒体特别是视频、动画等复杂的信息挖掘、智能处理和高效率检索技术跨媒体海量信
46、息的综合检索等。8. 计算机支持协同系统n 计算机支持协同系统CSCW（Computer Supported Cooperative Work）是支持有着共同目标或任务的群体性活动的计算机系统，并且该系统为共享的环境提供接口。CSCW能支持远程医疗会诊，可以将不同地点的专家召集起来，进行异地会诊复杂的病例；CSCW规程著作协同编辑系统，可以把不同地的编辑组织起来，共同编辑一部著作。n CSCW系统具有两个本质特征：共同任务和共同环境。一般应具备以下3种活动：n 通信。协作工作者之间进行信息交换。n 合作。群体协同共同完成某项任务。n 协同。对协同工作进行协同管理，使群体工作和谐、避免冲突和重复
47、。n CSCW系统可分为3种类型：n 交互式，即CSCW系统群体工作者之间的交互可以是同步或异步的。n 地理位置，即参与协作的多个用户可以是远程的或是本地的。n 群体规模，即协作即可以是两个人之间的，也可以是多个人之间的。第一章 多媒体技术概论n 学习目的：n 通过本章的学习，使学生对多媒体技术的基本概念、分类、关键技术、多媒体技术的应用发展和现状有一定的了解和掌握。n 学习的知识点：n 掌握：媒体、多媒体及计算机的定义，分类。n 理解：多媒体的基本特性，多媒体技术的关键技术。n 了解：多媒体主要应用领域、发展状况和主要研究内容。n 学习重难点：n 多媒体计算机的定义n 多媒体计算机的分类n
48、多媒体计算机的关键技术目录：n1.1 多媒体的基本概念n1.2 多媒体技术的关键技术n1.3 多媒体技术的发展与应用n1.4 多媒体发展的新颖技术1.1 多媒体的基本概念一数据、信息与媒体n 数据是记录描述客观世界的原始数字。信息是经过加工后、并具有一定意义的数据。信息是主观的、数据是客观的，单纯的数据本身并无实际意义，只有经过解释后才能成为有意义的信息。n 媒体（Medium）在计算机领域有两种含义：一是指存储信息的实体，如磁盘、光盘、磁带、半导体存储器等，中文常译为媒质；二是指传递信息的载体，如数字、文字、声音、图形和图像等，中文译作媒介，多媒体技术中的媒体是指后者。从这个意义上看，媒体在
49、计算机领域中的理解是比较狭义的。数据、信息与媒体三者之间有以下关系：n （1）有格式的数据才能表达信息含义。媒体的种类不同其所具有的格式也不同，只对格式能够理解，才能对其承载的信息进行表述。n （2）不同的媒体所表达的信息程序也是不同的。每种媒体都有自己本身承载的信息形式特征，而人们对不同种类信息的接受程序也不同，便产生了差异。n （3）媒体之间的关系也代表着信息。媒体的多样化关键不在于能否接收多种媒体的信息，而在于媒体之间的信息表示的合成效果。多种媒体来源于多个感觉通道，其效果远远超出各个媒体单独表达时的效果。n （4）媒体是可以进行相互转换的。 媒体转换，是指媒体形式从一种转换为另外一种，
50、同时信息的损失总是伴随媒体的转换过程的。各种媒体间的关系n “媒体”的概念范围是相当广泛，根据原国际电报电话咨询委员会（CCITT，现改称为国际电信联盟标准化部门ITU-T）对媒体的定义，“媒体”可分为下列五大类：1感觉媒体n 感觉媒体（Perception Medium）是指的是能直接作用于人们的感觉器官，从而能使人产生直接感觉的媒体。包括视觉类媒体（位图图像、图形、符号一一文字、视频、动画、其他）、听觉类媒体（语音、音乐、音效等）、触觉类媒体（指点、位置跟踪、力反馈与运动反馈）、味觉类媒体、嗅觉类媒体等。1感觉媒体类型类型举例举例技术描述技术描述视觉媒体文字、景像位图图像、图形、符号、视频
