1、数字媒体技术全册数字媒体技术全册配套课件配套课件15:23数字媒体技术导论数字媒体技术导论15:232问题问题 & & ? 影视作品如何配音配乐? 图像视频特效有哪些? 如何制作二维、三维动画吗? 数码相机的工作原理? 3/ 5115:23成绩结构与教学方式成绩结构与教学方式 成绩=平时(50%)+期末(50%) 平时=考勤+小组作业 课堂讲授+小组讨论 分8个小组,每组6人(报分组,选组长)4/ 5115:23课程概要课程概要 第第1 1章章 数字媒体技术概论数字媒体技术概论 第第2 2章章 数字音频技术基础数字音频技术基础 第第3 3章章 数字图像的处理技术数字图像的处理技术 第第4 4章
2、章 数字视频及编辑数字视频及编辑 第第5 5 章章 数字动画技术数字动画技术 第第6 6章章 游戏设计技术游戏设计技术 第第7 7章章 数字媒体的数字媒体的WebWeb集成与应用集成与应用 第第8 8章章 数字媒体压缩技术数字媒体压缩技术 第第9 9 章章 数字媒体数字媒体传输传输技术技术 第第1010章章 数字媒体管理与保护数字媒体管理与保护5/ 5115:23第一章第一章 数字媒体技术概论数字媒体技术概论 1.1 1.1 媒体及特性媒体及特性 1.1.1 1.1.1媒体概念媒体概念 1.1.2 1.1.2媒体特性媒体特性 1.2 1.2 数字媒体及特性数字媒体及特性 1.2.1 1.2.1
3、数字媒体概念数字媒体概念 1.2.2 1.2.2数字媒体特性数字媒体特性 1.2.3 1.2.3数字媒体传播模式数字媒体传播模式 1.3 1.3 数字媒体技术的研究领域数字媒体技术的研究领域 1.3.1 1.3.1数字媒体内容产业数字媒体内容产业 1.3.2 1.3.2数字媒体技术发展趋势数字媒体技术发展趋势 1.3.3 1.3.3数字媒体技术研究领域数字媒体技术研究领域 1.3.4 1.3.4数字媒体应用领域数字媒体应用领域6/ 5115:231.1 1.1 媒体及特性媒体及特性 媒体,有时候也被称媒介或媒质。 媒体是一种工具,包括信息和信息载体两个基本要素。 一张光盘不能称为媒体, 只有记
4、录了信息,并可进行信息传播时才称为媒体。 7/ 5115:231.1.11.1.1媒体概念媒体概念 媒体的英文单词是medium,源于拉丁文的medius,其含义是中介、中间的意思,常用复数形式media。 媒体包括两层含义: (1)传递信息的载体,称为媒介,是由人类发明创造的抽象载体,也称为逻辑媒体,用于记录和表述信息,如文字、符号、图形、编码等。 (2)存储信息的实体,称为媒质,如纸、磁盘、光盘、磁带、半导体存储器等。作为实物载体,也称为物理媒体。8/ 5115:23媒体分类媒体分类 媒体依据信息划分具有不同表现形式。 按照人的感觉 视觉媒体、听觉媒体 按照信息的表现形式 文字媒体、音频(
5、Audio) 、视频(Video)等; 音频可分为音乐及语音,视频可分为静止图像、动画及影片等; 按照信息的种类 新闻媒体、科技信息媒体、生活媒体等。9/ 5115:23媒体分类(续)媒体分类(续)-依据信息的载体不同依据信息的载体不同 按载体的种类不同,媒体可分为报纸、信件、电话、计算机、网络等; 按照不同应用方式,媒体可分为印刷媒体、幻灯、电影媒体、广播电视媒体、计算机媒体、网络媒体等。 按人们对载体的心理承认度,媒体又可分为时尚媒体和传统媒体。 按载体的传播范围,媒体又可分为个人媒体和大众媒体。10/ 5115:23媒体分类(续)媒体分类(续) 国际电信联盟(International
6、Telecommunication,ITU)从技术的角度定义媒介(Medium): 感觉 表示 显示 存储 传输11/ 5115:23国际电信联盟(国际电信联盟(CCITTCCITT)的媒体分类)的媒体分类 感觉媒体(Perception),是指能够直接作用于人的感觉器官,使人产生直接感觉(视、听、嗅、味、触 觉)的媒体,如语言、音乐、各种图像、图形、动画、文本等。 表示媒体(Presentation),是指为了传送感觉媒体而人为研究出来的媒体,借助这一媒体可以更加有效地存储感觉媒体,或者是将感觉媒体从一个地方传送到远处另外一个地方的媒体,如语言编码、电报码、条形码、语言编码,静止和活动图象编
7、码以及文本编码等。12/ 5115:23国际电信联盟(国际电信联盟(CCITTCCITT)的媒体分类)的媒体分类 显示媒体(Display),是显示感觉媒体的设备。显示媒体又分为两类, 一类是输入显示媒体,如话筒,摄象机、光笔以及键盘等,另一种为输出显示媒体,如扬声器、显示器以及打印机等,指用于通信中,使电信号和感觉媒体间产生转换用的媒体。 存储媒体(Storage),用于存储表示媒体,也即存放感觉媒体数字化后的代码的媒体称为存储媒体。例如磁盘、光盘、磁带、纸张等。简而言之,是指用于存放某种媒体的载体。 传输媒体(Transmission),传输媒体是指传输信号的物理载体,例如同轴电缆、 光纤
8、、双绞线以及电磁波等都是传输媒体。13/ 5115:241.1.21.1.2媒体特性媒体特性 现在的媒体信息一般是集数据、文字、图形与图像等为一体的综合媒体信息,其主要特性为: 多样性 集成性 交互性 信息接收/使用方便14/ 5115:241.2 1.2 数字媒体及特性数字媒体及特性 1.2.1数字媒体概念 计算机存储、处理和传播的信息媒体为数字媒体(digital media)。 数字媒体包括两个方面, (1)信息,内容采用二进制表示; (2)媒介,能存储、传播二进制信息。15/ 5115:241.2.11.2.1数字媒体概念(续)数字媒体概念(续) 数字媒体是指最终以二进制数的形式记录、
9、处理、传播、获取的信息媒体。 这些媒体包括数字化的文字、图形、图像、声音、视频影像和动画及其编码等逻辑媒体和存储、传输、显示逻辑媒体的物理媒体。16/ 5115:241.2.21.2.2数字媒体特性数字媒体特性 (1 1)数字化)数字化 (2 2)交互性)交互性 (3 3)趣味性)趣味性 (4 4)集成性)集成性 (5 5)技术与艺术的融合)技术与艺术的融合17/ 5115:24(1 1)数字化)数字化 过去熟悉的媒体几乎都是以模拟的方式进行存储和传播的,而数字媒体却是以比特的形式通过计算机进行存储、处理和传播。 比特只是一种存在的状态:开或关、真或假、高或低、黑或白,总之简记为0或1。比特易
10、于复制,可以快速传播和重复使用,不同媒体之间可以相互混合。 比特可以用来表现文字、图像、动画、影视、语音及音乐等信息。18/ 5115:24(2 2)交互性)交互性 交互性能的实现,在模拟域中是相当困难的,而在数字域中却容易得多。因此,具有计算机的“人机交互作用”是数字媒体的一个显著特点。 数字媒体就是以网络或者信息终端为介质的互动传播媒介。 如观众可以参与电视互动节目,观看体育赛事的时候可以选择多个视角,从浩瀚的数字内容库里搜索并观看电影和电视节目,分享图片和家庭录像,浏览好品质内容。19/ 5115:24(3 3)趣味性)趣味性 互联网、IPTV、数字游戏、数字电视、移动流媒体等为人们提供
11、了宽广的娱乐空间,媒体的趣味性真正体现出来。20/ 5115:24(4 4)集成性)集成性 媒体技术是结合文字、图形、影像、声音、动画等各种媒体的一种应用,并且是建立在数字化处理的基础上的。它不同于一般传统文件,是一个利用电脑技术的应用来整合各种媒体的系统。21/ 5115:24(5 5)技术与艺术的融合)技术与艺术的融合 信息技术与人文艺术、左脑与右脑之间都有着明显差异,但数字媒体传播却可以在这些领域之间架起桥梁。 计算机的发展与普及已经使信息技术离开了纯粹技术的需要,数字媒体传播需要信息技术与人文艺术的融合。 例如,在开发多媒体产品时,技术专家要负责技术规划,艺术家/设计师要负责所有可视内
12、容,清楚观众的欣赏要求。22/ 5115:241.2.31.2.3数字媒体传播模式数字媒体传播模式 数字媒体是利用数字电视技术、网络技术,通过互联网、宽带局域网、无线通信网和卫星等渠道,以电视、电脑和手机为终端,向用户提供视频、音频、语音数据服务、连线游戏、远程教育等集成信息和娱乐服务的一种传播形式。 (1)媒体信息传播模式 (2)大众传播模式 (3)数字媒体传输模式 (4)超媒体传播模式23/ 5115:24(1 1)媒体信息传播模式)媒体信息传播模式 1949年,信息论创始人、贝尔实验室的数学家香农与韦弗一起提出了传播的数学模式。 一个完整的信息传播过程应包括信息来源(source)、编码
13、器(encoder)、信息(message)、通道(channel)、解码器(decoder)、接收器(receiver)。编码是把信息转换成可供传播的符号或代码;解码就是指从传播符号中提取信息。信息来源 (传播者) 传递器 (中介者) 接收器 (中介者) 目的受众 (传播者) 通道 反馈 编码 符号 噪音 解码 符号 24/ 5115:24(2 2)大众传播模式)大众传播模式 传统的大众传播媒体,是一对多的传播过程,由一个媒介出发达到大量的受众。 实际的音频和视频信息都是连续变化的模拟信息。无论何种媒体信息,如文本、图像或声音、视频,通过编码后都转换成比特。信号就是比特流。 译码 释码 编码
14、 信源 媒体组织 反馈 受众 2 受众 1 受众N 庞杂的受众 25/ 5115:24 施拉姆的大众传播模式(3 3)数字媒体传输模式)数字媒体传输模式 数字媒体系统完全遵循信息论的通信模式。从通信技术上看,它主要由计算机和网络构成。 在数字媒体传播模式中,信源和信宿都是计算机。因此,信源和信宿的位置是可以随时互换的。 信源 信宿 信源 信宿 编码 译码 编码 译码 信道 噪声 信息 信息 比特 比特 发送/接受方 发送/接受方 26/ 5115:24数字媒体传输模式数字媒体传输模式 网络上的多点传播模式27/ 5115:24 计算机 计算机 计算机 计算机 计算机 计算机 网 络 (4 4)
15、超媒体传播模式)超媒体传播模式 范德比尔大学的两位工商管理教授霍夫曼与纳瓦克(Donna L.Hoffman and Thomas P.Novak)提出了超媒体的概念。 霍夫曼认为以计算机为媒介的超媒体传播方式延伸成多人的互动沟通模式;传播者(F-Firm)与消费者(C-Consumer)之间的信息传递是双向互动的、非线性的、多途径的过程。 超媒体传播理论是学者们第一次从传播学的角度研究互联网等新型媒介。 内容 媒介 C C F F C C 内容 F 内容 内容 F 28/ 5115:241.3 1.3 数字媒体技术的研究领域数字媒体技术的研究领域 1.3.1数字媒体内容产业 互联网和数字技术
16、的快速发展正在颠覆传统媒体,使得人们获取信息、浏览信息、以及对信息反馈的方式都在发生相当大的变化。29/ 5115:24数字媒体产业价值链数字媒体产业价值链 数字媒体新趋势将在未来几年内成为不容忽视的重大经济驱动力。数字媒体产业价值链的延伸,是在3C融合基础上,传媒业、通信业和广电业相互渗透所形成的新的产业形态。30/ 5115:24数字媒体产业价值链数字媒体产业价值链 (1)内容创建 内容创建是数字媒体价值链过程中的第一个阶段。 可以从非数字化的媒体对象中采集,例如利用视频采集卡、音频采集卡、扫描仪等设备可将电视信号、声音、图片等采集为数字媒体; 可以从已有的数字媒体对象中截取,例如应用视频
17、编辑软件可以截取数字视频中的某些片断或数字声音中的某一部分; 可以从某些数字媒体对象中分离,例如将数字视频分解为静态的图片或单独的数字声音等。创建阶段的产品的存在形式一般是在存储介质中的各种格式的媒体文件示例。31/ 5115:24数字媒体产业价值链数字媒体产业价值链 (2)内容管理 包括存储管理,查询管理,目录、索引等等,数字媒体携带的信息需要被格式化地表示出来,它的使用也将在管理阶段被规范。 目前对数字媒体的管理大都是各个应用程序中根据应用的需要单独设计、单独完成的。32/ 5115:24数字媒体产业价值链数字媒体产业价值链 (3)内容发行 信息发布环节的主要作用是将信息送到用户端。例如,
18、对数字媒体对象的买卖交易、在线销售等。 (4)应用开发 应用开发是将内容展现给用户的应用,包括音乐点播服务、视频点播服务、游戏服务等。33/ 5115:24数字媒体产业价值链数字媒体产业价值链 (5)运营接入 运营接入是提供具体将数字媒体应用提供和传播给客户的运营平台和传输通道。采用一系列网络技术手段,实施内容产品管理、带宽管理、网络使用的授权管理、安全认证服务等。 (6)价值链集成 价值链集成指面向客户销售和交易数字媒体时,存在着最后对价值链的集成环节,以提供给最终客户更高性价比、内涵丰富的各种服务集成产品,为整个价值链创造更多价值。价值链的集成包括商务集成和技术集成。34/ 5115:24
19、数字媒体产业价值链数字媒体产业价值链 (7)媒体应用 客户利用各种接收装置来获取数字媒体的内容,如PC、STB机顶盒、零售显示屏、无线网关、信息站、媒体网关等等。数字媒体的最终使用者既是价值链的起点、价值链的归宿,也是价值链的源泉。35/ 5115:241.3.21.3.2数字媒体技术发展趋势数字媒体技术发展趋势 数字媒体内容产业将定义为发展重点 内容制作技术以及平台、 音视频内容搜索技术、 数字版权保护技术、 数字媒体人机交互与终端技术、 数字媒体资源管理平台与服务、 数字媒体产品交易平台。 前四个属于技术与平台类,后两个属于技术与服务类。36/ 5115:24数字媒体技术六个重点发展方向数
20、字媒体技术六个重点发展方向内容制作技术以及平台:应以高质量和高效率制作为导向,研究开发国际先进的数字媒体内容制作软件或功能插件。 音视频内容搜索技术:海量数字内容检索技术使数字内容能够得到有效的制作、管理与充分的利用。 数字版权保护技术:为了保障数字媒体产业的持续、健康发展,必须采取一套有效的数字版权保护机制。这是数字媒体服务产业发展的核心问题之一。 数字媒体人机交互与终端技术:如何将数字媒体用最好的体验手段展现给用户,是数字媒体产业最后能否得到市场接受的重要环节。 37/ 5115:24技术与平台类数字媒体技术六个重点发展方向(续)数字媒体技术六个重点发展方向(续)数字媒体资源管理平台与服务
21、:对纷繁复杂的海量数字内容素材、音视频作品及最终产品,需要建立基于内容描述的资源集成、存储、管理、数字保护、高效的多媒体内容检索与信息复用机制等服务。 数字媒体产品交易平台与服务:在统一的数字媒体运营与监管标准与规范制约下,通过贯穿数字媒体产品制作、传播与消费全过程的版权受控形成自主创新的数字媒体交易与服务体系。38/ 5115:24技术与服务类1.3.31.3.3数字媒体技术研究领域数字媒体技术研究领域 数字媒体涉及的技术范围很广,技术很新、研究内容很深,是多种学科和多种技术交叉的领域。主要技术范畴包括: (1)数字媒体表示与操作,包括数字声音及处理、数字图像及处理、数字视频及处理、数字动画
22、技术等。 (2)数字媒体压缩,包括通用压缩编码、专门压缩编码(声音、图像、视频)技术等。 (3)数字媒体存储与管理,包括光盘存储(CD技术、DVD技术等)、媒体数据管理、数字媒体版权保护等。 (4)数字媒体传输,包括流媒体技术、P2P技术等。39/ 5115:24数字媒体技术主要的研究方向数字媒体技术主要的研究方向 数字媒体的技术范畴规划了数字媒体技术的研究领域,其主要的研究方向包括: (1)数字声音处理 包括音频及其传统技术(记录、编辑技术)、音频的数字化技术(采样、量化、编码)、数字音频的编辑技术、话音编码技术(如PCM、DA、ADM)。数字音频技术可应用于个人娱乐、专业制作、数字广播等。
23、40/ 5115:24数字媒体技术主要的研究方向数字媒体技术主要的研究方向 (2)数字图像处理 包括数字图像的计算机表示方法(位图、矢量图等)、数字图像的获取技术、图像的编辑与创意设计。常用的图像处理软件有Photoshop等。数字图像处理技术可应用于家庭娱乐、数字排版、工业设计、企业徽标设计、漫画创作、动画原形设计、数字绘画创作。 示例41/ 5115:24数字媒体技术主要的研究方向(续)数字媒体技术主要的研究方向(续) (3)数字视频处理 包括数字视频及其基本编辑技术、后期特效处理技术。常用的视频处理软件有Premiere等。数字视频处理技术可应用于个人、家庭影像记录、电视节目制作、网络新
24、闻。 示例 (4)数字游戏设计 包括游戏设计相关软件技术(Directx、OpenGL、Director等)、游戏设计与创意。 示例42/ 5115:24数字媒体技术主要的研究方向(续)数字媒体技术主要的研究方向(续) (4)数字动画设计 包括动画的基本原理、动画设计基础(包括环节:构思、剧本、情节链图片、模板与角色、背景、配乐)、数字二维动画技术、数字三维动画技术、数字动画的设计与创意。 常用的动画设计软件有3DMAX、Flash等。数字动画可应用于少儿电视节目制作、动画电影制作、电视节目后期特效包装、建筑和装潢设计、工业计算机辅助设计、教学课件制作等。 示例43/ 5115:24数字媒体技
25、术主要的研究方向(续)数字媒体技术主要的研究方向(续) (6)数字媒体压缩 包括数字媒体压缩技术及分类、通用的数据压缩技术(行程编码、字典编码、熵编码等)、数字媒体压缩标准,如用于声音的MP3、MP4、用于图像的JPEG、用于运动图像的MPEG。 (7)数字媒体存储 包括内存储器、外存储器、光盘存储器等。44/ 5115:24数字媒体技术主要的研究方向(续)数字媒体技术主要的研究方向(续) (8)数字媒体管理与保护 包括数字媒体的数据管理、媒体存储模型及应用、数字媒体版权保护概念及框架、数字版权保护技术,如加密技术、数字水印技术、权利描述语言等。 (9)数字媒体传输技术 包括流媒体传输技术、P
26、2P技术、IPTV技术等。等等。45/ 5115:241.3.41.3.4数字媒体应用领域数字媒体应用领域 数字媒体有着广泛的应用和开发领域,包括: 教育培训、 电子商务、 信息发布、 游戏娱乐、 电子出版、 创意设计等。46/ 5115:24数字媒体应用领域数字媒体应用领域教育培训教育培训 在教育培训方面,可以开发远程教育系统、网络多媒体资源、制作数字电视节目等。 数字媒体因能够实现图文并茂、人机交互、反馈,从而能有效地激发受众的学习兴趣。 用户可以根据自己的特点和需要来有针对性地选择学习内容,主动参与。以互联网为基础的远程教学,极大地冲击着传统的教育模式,把集中式教育发展成为使用计算机的分
27、布式教学。 学生可以不受地域限制,接受远程教师的多媒体交互指导。因此,教学突破了时空的限制,并且能够及时交流信息,共享资源。47/ 5115:24数字媒体应用领域数字媒体应用领域电子商务电子商务 在电子商务领域,开发网上电子商城,实现网上交易。网络为商家提供了推销自己的机会。通过网络电子广告、电子商务网站,能将商品信息迅速传递给顾客,顾客可以订购自己喜爱的商品。 目前,国际上比较流行的电子商务网站有网上拍卖电子湾eBAY、网络书店amazon,国内的电子商务网站有卓越网(http:/)、阿里巴巴(http:/)、淘宝网()等。48/ 5115:24数字媒体应用领域数字媒体应用领域信息发布信息发
28、布 在信息发布方面,组织机构或个人都可以成为信息发布的主体。 建立自己的信息网站,通过媒体资料展示自我和提供信息。超文本链接使大范围发布信息成为可能。 讨论区、BBS、博客、播客、微博等形式提供了让任何人发布信息,实时交流展示自我和发布个人信息的舞台,如Twitter,Facebook。49/ 5115:24数字媒体应用领域数字媒体应用领域个人娱乐个人娱乐 在个人娱乐方面,开发娱乐网站,利用IPTV、数字游戏、影视点播、移动流媒体等为人们提供娱乐。随着数据压缩技术的改进,数字电影从低质量的VCD上升为高质量的DVD。 通过数字电视,不仅可以看电视、录像,实现视频点播,而且微机、互联网、联网电话
29、、电子邮箱、电脑游戏、家居购物和理财都可以使用。另外,数码相机、数码摄像机及DVD光碟的发展,也推动了数字电视的发展。 电脑游戏已成为流行的娱乐方式,特别是网络在线游戏因其新颖、开放、交互性好和娱乐性强等特点,受到越来越多人的青睐。50/ 5115:24数字媒体应用领域数字媒体应用领域电子出版电子出版 电子出版方面,多媒体教材,电子杂志、电子书籍等。实现编辑、制作、处理输出数字化,通过网上书店,实现发行的数字化。 电子出版物基本上可以分为两大类:封装型的电子书刊电子网络出版物。前者以光盘等为主要载体,后者以多媒体数据库和Internet为基础。 电子出版物内容包括教育、学术研究、医疗资料、科技
30、知识、文学参考、地理文物、百科全书、字典词典、检索目录、休闲娱乐等。51/ 5115:24表表1 1 电子出版与传统出版的比较电子出版与传统出版的比较52/ 5115:24 比较方面比较方面出版物出版物出版形式出版形式内容内容编辑制作编辑制作介质介质发行方式发行方式阅读方阅读方式式传统出版传统出版物物有纸印刷有纸印刷文字、图片文字、图片电子照排电子照排纸张纸张传统传统传统传统电子出版电子出版物物光盘出版光盘出版多媒体信息多媒体信息多媒体制多媒体制作作光盘光盘传统传统多媒体多媒体计算机计算机电子出版电子出版物物网络出版网络出版多媒体信息多媒体信息多媒体制多媒体制作作硬磁盘硬磁盘Internet
31、Internet 网络多网络多媒体计媒体计算机算机数字媒体应用领域数字媒体应用领域创意设计创意设计 创意设计方面,包括工业设计,企业徽标设计,漫画创作、动画原形设计、数字绘画创作,游戏设计等。 好的创意不仅使应用系统独具特色,也大大提高了系统的可用性和可视性。精彩的创意将为整个多媒体系统注入生命与色彩。 多媒体应用程序之所以有巨大的诱惑力,主要是其丰富多彩的多种媒体的同步表现形式和直观灵活的交互功能。53/ 5115:24数字媒体应用领域数字媒体应用领域虚拟现实虚拟现实 虚拟现实(Virtual Reality,VR) 综合了计算机图形学、人机交互技术、传感技术、人工智能等领域的最新成果,用以
32、生成一个具有逼真的三维视觉、听觉、触觉及嗅觉的模拟现实环境。 由硬件、软件以及传感器所构成的三维信息的人工环境,即虚拟环境,其基本特征: 沉浸(immersion)、 交互(interaction)、 构想(imagination)。 虚拟现实在娱乐、医疗、工程和建筑、教育和培训、军事模拟、科学和金融可视化等方面获得了应用,有很大的发展空间。 示例54/ 5115:24第2章 数字音频与合成音乐56第第2 2章章 大纲大纲2.1 声音的概念与特征u 音调、音色与音强u 声音质量2.2 数字音频基础u 音频编码u 技术参数u 文件格式2.3 电子合成音乐MIDIu 音乐的和弦与复音u MIDI产
33、生过程u MIDI合成音乐u WAVE与MIDI的比较2.4 手机铃声u 来电铃声和回铃声u 手机铃声分类和常用格u 手机铃声获取 2.5 数字声音应用u 提示音效u 背景音乐u 造型音乐u 语音u 综合案例:3D广告片蚊子 2.6 数字音频编辑与处理 u 音频的设计步骤 u 数字音频软件的基本功能 u 数字音频录制 u 数字音频处理 u练习 音频的编辑与处理57表示方法数据量信息区位码2 字节汉字名称1616点阵32 字节汉字名称,字形,字体立体声音约4000 字节汉字名称,音高,音长,音强2 2.1 .1 声音的概念与特征声音的概念与特征一个汉字的不同表示一个汉字的不同表示582.1 声音
34、的概念与特征 音频信号的分类 分类分类 注释视听效果不规则声音一般指不携带信息的噪音 语音是指具有语言内涵和人类约定俗成的特殊媒体规则声音 音乐规范的符号化了的声音 音效指人类熟悉的其它声音,如动物发声、机器产生的声音、自然界的风雨雷电等。592.1 声音的概念与特征 参数参数( (三要素三要素) ) 音调与基频音调与基频: : 音色与泛音音色与泛音: n: n 音强与幅度音强与幅度: : A An1 声音的三要素u波形表示波形表示nnnAfnnSin0t)()t(0u数学表示60 音调与基频音调与基频: : 1 声音的三要素音阶CDEFGAB简谱符号1234567频率(Hz)27129333
35、0349392440494频率(对数) 48.349.350.350.851.852.853.82.1 声音的概念与特征612.1 声音的概念与特征 音色与谐波音色与谐波 混入基音的泛音,决定其不同的音色。混入基音的泛音,决定其不同的音色。1 1 声音的三要素声音的三要素GuitarGuitar CelloCello PianoPiano VibraphoneVibraphone HornHorn 不同乐器的音色比较不同乐器的音色比较622.1 声音的概念与特征 不同乐器的音色比较不同乐器的音色比较大提琴与大提琴与 打击乐的打击乐的C C 音频谱比较音频谱比较1 1 声音的三要素声音的三要素6
36、32.1 声音的概念与特征 音宽与频带音宽与频带 2 2 声音质量声音质量语音(Speech)带宽音频(Audio)带宽次声带超声带 20 300 3K 20K f(Hz)642.1 声音的概念与特征 声音质量等级与信号带宽2 2 声音质量声音质量 电话AM 广播FM 广播CDDA10 20 50 200 3.4K 7K 15K 22K f( Hz )652.1 声音的概念与特征2 2 声音质量声音质量u动态范围动态范围 2 02 0lglg(信号的最大强度(信号的最大强度 / / 最小强度)(最小强度)(dBdB)量化位数量化位数幅值等级幅值等级动态范围动态范围(dB(dB) 效果效果8 8
37、2562564848数字电话数字电话171774K74K9797CD-DACD-DA7070FMFM广播广播4040AMAM广播广播u信噪比信噪比噪声的平均功率有用信号的平均功率SNR662.2 数字音频 模拟声音的数字化过程模拟声音的数字化过程1 1 音频编码音频编码模拟音波采样:时间数字化672.2 数字音频 模拟声音的数字化过程模拟声音的数字化过程1 1 音频编码音频编码t模拟音波采样:时间数字化量化:幅度数字化682.2 数字音频 PCMPCM编码示意编码示意1 1 音频编码音频编码X(0) X(1) . X(n).模拟输入模拟输入t0t0采样时钟采样时钟量化,编码量化,编码0t692
38、.2 数字音频采样频率采样频率 采样理论:采样频率高于输入信号频率的采样理论:采样频率高于输入信号频率的2 2倍才能还原信号倍才能还原信号 标准采用频率:标准采用频率:44.1kHz44.1kHz;22.05kHz; 11.025kHz22.05kHz; 11.025kHz量化位量化位 记录数字音频强度的位数:记录数字音频强度的位数:8bit/16bit 8bit/16bit 动态范围动态范围 48dB/96dB48dB/96dB声道声道 单声道单声道/ /双声道,数据量相差一倍双声道,数据量相差一倍数据率数据率2 2 技术参数技术参数 数据率(数据率(bit/s)采样频率()采样频率(Hz)
39、量化位数(量化位数(bit)声道数声道数 音频数据量数据率音频数据量数据率持续时间持续时间/8(Byte) 编码与压缩音频数据压缩比压缩后数据量音频数据压缩比压缩后数据量/压缩前数据量压缩前数据量 WAVE_FORMAT- | BlockAlign | 2 Bytes | 数据块对齐单位(每个采样需要的字节数) -| BitsPerSample | 2 Bytes | 每个采样需要的bit数 - | | 2 Bytes | 附加信息(可选,通过Size来判断有无) - 136/ 11715:24DataData块块 Data ChunkData Chunk是真正保存是真正保存wavwav数据的
40、地方,以数据的地方,以datadata作为该作为该ChunkChunk的标的标示。然后是数据的大小。示。然后是数据的大小。紧接着就是紧接着就是wavwav数据。数据。 137/ 11715:24WaveWave数据排列数据排列单声道8bit量化取样1取样2取样3取样4双声道8bit量化取样1取样2声道0(左) 声道1(右)声道0(左)声道1(右)单声道16bit量化取样1取样2双声道16bit量化取样1声道0(左) (低位字节)声道0(左) (高位字节)声道1(右) (低位字节)声道1(右)(高位字节)138/ 11715:24WaveWave数据含义数据含义 WAV记录的是声音的本身 WAV
41、E文件数据块中是以脉冲编码调制(PCM)格式表示的样本,直接来自模/数转换器(A/D)的信号,采样值是每一次采样周期内声音模拟信号的积分值139/ 11715:24PCMPCM码数据的播放码数据的播放 waveOutOpen:打开一个波形音频输出装置 waveOutPrepareHeader :预处理 waveOutWrite:把一个数据块发送到指定的装置 waveOutUnprepareHeader waveOutClose 140/ 11715:24(2 2)MIDIMIDI格式格式:MIDI:MIDI是是MusicalMusical Instrument Digital Interfac
42、e的缩写,又称作的缩写,又称作乐乐器数字接口器数字接口,是数字音乐,是数字音乐/ /电子合成乐器的统一电子合成乐器的统一国际标准。国际标准。 它定义了它定义了计算机音乐程序、数字合成器计算机音乐程序、数字合成器及其它及其它电子设备电子设备交换交换音乐信号音乐信号的方式,规定了不同厂的方式,规定了不同厂家的电子乐器与计算机连接的电缆和硬件及设家的电子乐器与计算机连接的电缆和硬件及设备间数据传输的协议,可以模拟多种乐器的声备间数据传输的协议,可以模拟多种乐器的声音。音。 141/ 11715:24数字音乐数字音乐 数字音乐的定义是:使用电脑的强大功能,对数字音乐的定义是:使用电脑的强大功能,对代表
43、着各种代表着各种音乐事件音乐事件的数字信号进行记录和编的数字信号进行记录和编辑,然后发送给辑,然后发送给电子合成器电子合成器并使之演奏出来的并使之演奏出来的音乐。音乐。 电子合成器电子合成器是电脑音乐系统的重要组成部分,是电脑音乐系统的重要组成部分,就是通过就是通过“电子电子”的手段的手段“合成合成”出声音的机出声音的机“器器”。142/ 11715:24数字式合成器数字式合成器 “频率调变频率调变”(Frequency Modulation,缩,缩写为写为FMFM)的合成方法:先由震荡器产生一个)的合成方法:先由震荡器产生一个载波作为基音,然后再产生若干个调制波带载波作为基音,然后再产生若干
44、个调制波带着许多泛音加在载波之上,可以对这个组合着许多泛音加在载波之上,可以对这个组合加以任意调整加以任意调整 采样回放采样回放合成器:把一小段真实乐器的声音合成器:把一小段真实乐器的声音或效果音响用数字采样的方式或效果音响用数字采样的方式“录录”下来,下来,然后再对它进行修饰、放大和输出然后再对它进行修饰、放大和输出143/ 11715:24波表波表 一个一个MIDI设备通常包含多种乐器的声音,而设备通常包含多种乐器的声音,而一个乐器又往往需要多个样本,所以把这些样一个乐器又往往需要多个样本,所以把这些样本排列起来形成一个表格以方便调用。这就称本排列起来形成一个表格以方便调用。这就称之为之为
45、“波表波表”(Wave Table) 硬波表硬波表: :通过真实乐器采样获得的频谱数据的通过真实乐器采样获得的频谱数据的存储在存储在ROM里面里面( (例如著名的例如著名的EMUEMU8000) 8000) 19961996岁末,岁末,YAMAHAYAMAHA和和 ROLANDROLAND几乎同时推出了几乎同时推出了各自的软件波表合成器各自的软件波表合成器 软波表软波表是把乐器的波形存到硬盘上的某一个文是把乐器的波形存到硬盘上的某一个文件里,在需要的时候通过件里,在需要的时候通过CPUCPU运算调用运算调用144/ 11715:24音色标准音色标准GMGM、GSGS和和XGXG 早期的早期的M
46、IDIMIDI除了都能接受除了都能接受MIDIMIDI信号信号之外没有之外没有统一的标准,尤其是在统一的标准,尤其是在音色排列音色排列的方式上更的方式上更是是“随心所欲随心所欲”的。不同型号的琴上播放时的。不同型号的琴上播放时会变得面目全非,小提琴可能会变成小号,会变得面目全非,小提琴可能会变成小号,长笛可能会变成吉他,钢琴可能会变成大鼓长笛可能会变成吉他,钢琴可能会变成大鼓 GSGS:日本:日本ROLANDROLAND,19901990,128128种音色,可变种音色,可变 GMGM:“通用通用MIDIMIDI标准系统第一级标准系统第一级” ,1991,1991,固定固定 XGXG:YAMA
47、HAYAMAHA,19941994年,年,480480种音色,可实时种音色,可实时变变145/ 11715:24GMGM音色表音色表 0Acoustic Grand Piano大钢琴(声学钢琴)1Bright Acoustic Piano明亮的钢琴2Electric Grand Piano电钢琴3Honky-tonk Piano酒吧钢琴4Rhodes Piano柔和的电钢琴 5Chorused Piano加合唱效果的电钢琴 6Harpsichord羽管键琴(拨弦古钢琴) 7Clavichord科拉维科特琴(击弦古钢琴)146/ 11715:24MIDIMIDI音乐的制作过程中三音乐的制作过程中
48、三“法宝法宝” 音源音源: :声卡波表或硬件的音源声卡波表或硬件的音源 音序器:音序器:记录了音乐的基本要素记录了音乐的基本要素速度,节速度,节奏,音色,音符的时值等等奏,音色,音符的时值等等, ,指挥音源在什么指挥音源在什么时候用什么音色发多长的音时候用什么音色发多长的音 输入设备输入设备: :基于传统乐器的基于传统乐器的MIDIMIDI输入设备,如输入设备,如MIDIMIDI键盘,键盘,MIDIMIDI吉它,吉它,MIDIMIDI吹管,吹管,MIDIMIDI小提琴小提琴等,可以按照演奏传统乐器的方法去演奏它们,等,可以按照演奏传统乐器的方法去演奏它们,而演奏则通过而演奏则通过MIDI OU
49、TMIDI OUT出口传送到音序器,被出口传送到音序器,被记录为记录为音序内容音序内容 MIDIMIDI文件的内容实际上就是文件的内容实际上就是音序内容音序内容147/ 11715:24电脑音乐系统电脑音乐系统 148/ 11715:243.3.23.3.2声音文件格式声音文件格式(3 3)CDACDA格式格式 : :大家都很熟悉大家都很熟悉CDCD这种音乐格式,这种音乐格式,扩展名扩展名CDACDA,其取样频率为,其取样频率为44.1kHz44.1kHz,1616位量化位量化位数。位数。nCDCD存储采用了音轨的形式,又叫存储采用了音轨的形式,又叫“红皮书红皮书”格格式,记录的是式,记录的是
50、波形流波形流,是一种近似无损的格式。,是一种近似无损的格式。n一个一个CDCD音频文件是一个音频文件是一个.cda.cda文件,这只是一文件,这只是一个个索引信息索引信息,并不是真正的包含声音信息,用,并不是真正的包含声音信息,用来告诉光头每一段来告诉光头每一段音频文件的起始位置音频文件的起始位置,所以,所以不论不论CDCD音乐的长短,音乐的长短, “.cda.cda文件文件”都是都是4444字字节节长。需要使用象长。需要使用象EACEAC这样的这样的抓音轨抓音轨软件把软件把CDCD格格式的文件转换成式的文件转换成WAVWAV。149/ 11715:24(4 4)MP3MP3格式格式l开始于开