1、第第3章章 数字音频处理技术数字音频处理技术 v音频携带的信息量大、精细、准确。音频携带的信息量大、精细、准确。v以一个汉字的表示为例：以一个汉字的表示为例：表示方式表示方式数据量数据量信息信息汉字内码汉字内码2 2 字节字节汉字名称汉字名称点阵点阵32 32 几百字节几百字节带有字型、字体特征的汉字带有字型、字体特征的汉字声音声音几千字节几千字节汉字名称、声学特性、意向或情感汉字名称、声学特性、意向或情感3.1 音频基础v声音是由物体振动产生的。声音是通过一定介声音是由物体振动产生的。声音是通过一定介质传播的连续的波，叫声波。质传播的连续的波，叫声波。v声音的强弱（声音的强弱（音强音强）体现
2、在声波压力的大小上）体现在声波压力的大小上（振幅振幅）。）。v音调音调的高低体现在声音的的高低体现在声音的频率频率上。上。v音色音色指声音的感觉特性，与声音波形相关。指声音的感觉特性，与声音波形相关。2.1.1 声音的基本概念v 声音的声音的3 3个重要指标：振幅（个重要指标：振幅（amplitudeamplitude）、周期、频率）、周期、频率（raterate）。）。v 纯音：振幅和周期均为常数的声音。纯音：振幅和周期均为常数的声音。v 复音：具有不同频率和不同振幅的混合声音。复音：具有不同频率和不同振幅的混合声音。自然界中大部分的声音是复合信号。自然界中大部分的声音是复合信号。复合信号中
3、某单一频率的信号称为分量信号。复合信号中某单一频率的信号称为分量信号。复音中最低频率的信号是基音，其他频率的声音称为谐音（泛音）。复音中最低频率的信号是基音，其他频率的声音称为谐音（泛音）。振幅：音量的大小振幅：音量的大小周期：重复出现的时间间隔周期：重复出现的时间间隔频率：指信号每秒钟变化的次数频率：指信号每秒钟变化的次数v研究结果表明人类听力的大致范围在研究结果表明人类听力的大致范围在20Hz20K Hz20Hz20K Hz。v声音按频率可分为：声音按频率可分为：人们把频率小于人们把频率小于20Hz20Hz的信号称为的信号称为亚音信号亚音信号，或称为次音，或称为次音信号（信号（subson
4、icsubsonic）；）；频率范围为频率范围为20 Hz20K Hz20 Hz20K Hz的信号称为的信号称为音频音频（audioaudio）信号；）信号；高于高于20 KHz20 KHz的信号称为的信号称为超音频信号超音频信号，或称超声波，或称超声波（ultrasonicultrasonic）信号。）信号。人的发音器官发出的声音的频率大约是人的发音器官发出的声音的频率大约是803400Hz803400Hz，但人，但人说话的信号频率通常为说话的信号频率通常为3003000 Hz3003000 Hz，人们把这种频率范，人们把这种频率范围的信号称为围的信号称为话音或语音话音或语音（speechs
5、peech）信号。）信号。v带宽：带宽：声音信号的一个重要参数就是带宽，它用来描述组成复声音信号的一个重要参数就是带宽，它用来描述组成复合信号的频率范围。如高保真声音（合信号的频率范围。如高保真声音（high-fidelity high-fidelity audioaudio）的频率范围为）的频率范围为10 Hz20K Hz10 Hz20K Hz，它的带宽约为，它的带宽约为20K 20K HzHz。一般而言，声源的频带越宽，表现力越好，层次越丰富。一般而言，声源的频带越宽，表现力越好，层次越丰富。声音质量的频率范围：声音质量的频率范围：10 20 50 200 3.4k 7k 15k 20kC
6、D-DAFM广播广播AM广播广播电话电话f(Hz)3.2 声音的数字化1 1模拟信号与数字信号模拟信号与数字信号 v话音信号是典型的连续信号，不仅在话音信号是典型的连续信号，不仅在时间时间上是连上是连续的，而且在续的，而且在幅度幅度上也是连续的。我们把在时间上也是连续的。我们把在时间和幅度上都是连续的信号称为模拟信号。和幅度上都是连续的信号称为模拟信号。v我们把时间和幅度都用离散的数字表示的信号就我们把时间和幅度都用离散的数字表示的信号就称为是数字信号。称为是数字信号。v把模拟声音信号转变为数字声音信号的过程称为把模拟声音信号转变为数字声音信号的过程称为声音的数字化，它是通过对声音信号进行采样
7、、声音的数字化，它是通过对声音信号进行采样、量化和编码实现的。量化和编码实现的。2.2.声音数字化过程声音数字化过程采样采样量化量化编码编码模拟信号模拟信号数字信号数字信号模拟信号模拟信号数字信号数字信号A/DD/A 连续的模拟声音信号连续的模拟声音信号声音信号的采样声音信号的采样离散的音频信号离散的音频信号v每隔一个时间间隔在摸拟声音波形上取一每隔一个时间间隔在摸拟声音波形上取一个幅度值，这称之为个幅度值，这称之为采样采样（samplingsampling）。）。该时间间隔称为采样周期该时间间隔称为采样周期(其倒数称为采样频其倒数称为采样频率率)。v把某一幅度范围内的电压用一个数字表示，把某
8、一幅度范围内的电压用一个数字表示，这称之为这称之为量化量化。v把量化后的值写成有利于计算机传输和存把量化后的值写成有利于计算机传输和存储的数据格式，这称之为储的数据格式，这称之为编码编码。例如，模拟电压幅度、量化和编码的关系电压范围电压范围(V)0.50.70.30.50.10.3-0.10.1-0.3-0.1-0.5-0.3-0.7-0.5-0.9-0.7量化量化3210-1-2-3-4编码编码0110100010001111101011003.影响声音数字化质量的主要因素v 采样频率：也就是每秒钟需要采集多少个采样频率：也就是每秒钟需要采集多少个声音样本声音样本v量化位数：每个声音样本的位
9、数应该是多量化位数：每个声音样本的位数应该是多少，也叫量化精度少，也叫量化精度v声道数：指所使用的声音通道的个数声道数：指所使用的声音通道的个数 （1）采样频率v采样频率决定了声音的保真度采样频率决定了声音的保真度 。频率以。频率以kHzkHz（千赫兹）去衡量。（千赫兹）去衡量。可以想象，采样频率越高声音的保真度就越好。可以想象，采样频率越高声音的保真度就越好。但是问题在于如果我们采样频率过高，则需要存但是问题在于如果我们采样频率过高，则需要存储的数据量就过大了。储的数据量就过大了。如何能既保证数据的无损恢复，而数据量又不要如何能既保证数据的无损恢复，而数据量又不要太大呢？太大呢？v抽样要满足
10、抽样要满足采样定理采样定理（奈魁斯特定理）（奈魁斯特定理）采样定理用通俗话来说，就是采样定理用通俗话来说，就是采样的频率要大于采样的频率要大于或等于被采样对象最高频率的两倍或等于被采样对象最高频率的两倍 。v常用的音频采样频率有：常用的音频采样频率有：8kHz8kHz，11.025kHz11.025kHz，22.05kHz22.05kHz，16kHz16kHz，37.8 kHz37.8 kHz，44.1 kHz44.1 kHz，48 kHz48 kHz。其中其中8kHz 8kHz，11.025 kHz11.025 kHz，22.05 kHz22.05 kHz，44.1 kHz44.1 kHz是
11、音频工业标准采样频率，多数声卡都支持。市是音频工业标准采样频率，多数声卡都支持。市场上的非专业声卡的最高采样率为场上的非专业声卡的最高采样率为48kHz48kHz，专业，专业声卡可高达声卡可高达96kHz96kHz或以上。或以上。v为什么将为什么将CDCD音质的采样频率定为音质的采样频率定为44.1kHz44.1kHz？（2）量化位数v量化的过程如下：先将整个幅度划分成为量化的过程如下：先将整个幅度划分成为有限个小有限个小幅度幅度(量化阶距量化阶距)的集合，把落入某个阶距内的样值的集合，把落入某个阶距内的样值归为一类，并赋予相同的量化值。归为一类，并赋予相同的量化值。v样本大小是用每个声音样本
12、的样本大小是用每个声音样本的位数位数表示的表示的.它反映度它反映度量声音波形幅度的精度量声音波形幅度的精度.v用用B B位二进制码字可以表示位二进制码字可以表示2 2B B个不同的量化电平（级个不同的量化电平（级别）。别）。例如：例如：8 8位的声音从最低到最高有位的声音从最低到最高有2 28 8，即，即256256个级别，个级别，1616位位声音有声音有2 21616，即，即6553665536个级别。位数越多，音质越细腻，但个级别。位数越多，音质越细腻，但数据量也越大。数据量也越大。v量化位数主要有量化位数主要有8 8位和位和1616位两种。专业级别使用位两种。专业级别使用2424位位甚至
13、甚至3232位。位。v量化的方法可以归纳为两类：一类称为量化的方法可以归纳为两类：一类称为均均匀量化匀量化，另一类称为，另一类称为非均匀量化非均匀量化。均匀量化v采用相等的量化间隔采用相等的量化间隔对采样得到的信号做对采样得到的信号做量化就是均匀量化。量化就是均匀量化。分析：分析：l如果出现大的幅度信号如果出现大的幅度信号,同同时又要满足精度要求时又要满足精度要求,就需就需要增加样本的位数要增加样本的位数.l但是对话音信号来说但是对话音信号来说,大信大信号出现的机会并不多号出现的机会并不多,增加增加样本位数就没有充分得利用样本位数就没有充分得利用,x1 x2 x3 x4 x5 x6 x7非均匀
14、量化v非线性量化的基本想法是非线性量化的基本想法是 对输入信号进行量化时，大的输入信号采用大对输入信号进行量化时，大的输入信号采用大的量化间隔，小的输入信号采用小的量化间隔，的量化间隔，小的输入信号采用小的量化间隔，这样就可以在满足精度要求的情况下用较少的这样就可以在满足精度要求的情况下用较少的位数来表示。位数来表示。声音数据还原时，采用相同的规则。声音数据还原时，采用相同的规则。根据语音信号根据语音信号非均匀分布的非均匀分布的特点，设法让特点，设法让量化阶距随信量化阶距随信号概率密度的号概率密度的减小而增大，减小而增大，或者说把大的或者说把大的量化误差留给量化误差留给出现概率小的出现概率小的
15、样值，而得到样值，而得到较大的信噪比。较大的信噪比。（3）声道数v声道数是指所使用的声音通道的个数。它声道数是指所使用的声音通道的个数。它表明声音记录只产生一个波形（单声道）表明声音记录只产生一个波形（单声道）还是多个波形（立体声）。还是多个波形（立体声）。v双声道立体声听起来要比单音丰满优美，双声道立体声听起来要比单音丰满优美，但需要两倍于单音的存储空间。但需要两倍于单音的存储空间。v存储数字音频信号的存储数字音频信号的数据率数据率=采样频率（采样频率（HzHz）*量化位数量化位数(b)(b)8 8*声道数声道数 (B/sB/s)v音频信息文件所需存储空间为：音频信息文件所需存储空间为：存储
16、容量存储容量=采样频率采样频率*量化位数量化位数8 8*声道数声道数*时间时间 (B B)关于声道的补充知识 v双声道立体声双声道立体声v杜比杜比AC-3AC-3音频和音频和5.15.1声道声道5个全频带声道：左、中、右、左环绕、右环绕个全频带声道：左、中、右、左环绕、右环绕0.1声道：低于声道：低于120Hz的超重低音声道。的超重低音声道。3.3 声音文件的存储格式 PCMPCM格式：格式：PCMPCM数据序列。数据序列。是指模拟的音频信号，经模数转换直接形成的二进制序列。该文是指模拟的音频信号，经模数转换直接形成的二进制序列。该文件没有附加的文件头或文件结束标志。件没有附加的文件头或文件结
17、束标志。WAVWAV：由由MicrosoftMicrosoft公司推出的波形音频文件格式，波形音频公司推出的波形音频文件格式，波形音频(Waveform(Waveform Audio)Audio)。是通过对一段模拟声波进行。是通过对一段模拟声波进行采样、量化采样、量化得到一系列量化得到一系列量化的数字值，再对这些离散的波形数据加以的数字值，再对这些离散的波形数据加以编码编码存储，从而形成数存储，从而形成数字化的音频信号数据。字化的音频信号数据。WAVWAV文件是一种通用的音频数据文件。这种文件的特点是易于生文件是一种通用的音频数据文件。这种文件的特点是易于生成和编辑，但是在保证一定音质的前提下
18、压缩比不够，其文件所成和编辑，但是在保证一定音质的前提下压缩比不够，其文件所占存储空间都很大。占存储空间都很大。支持存储各种采样频率和样本精度的声音数据，并支持存储各种采样频率和样本精度的声音数据，并支持声音数据支持声音数据的压缩的压缩。波形文件有许多不同类型的文件构造块组成，其中最主。波形文件有许多不同类型的文件构造块组成，其中最主要的两个文件构造块是要的两个文件构造块是Format Chunk(Format Chunk(格式块格式块)和和Sound Data Sound Data Chunk(Chunk(声音数据块声音数据块)。格式块包含有描述波形的重要参数，例如。格式块包含有描述波形的重
19、要参数，例如采样频率和样本精度等，声音数据块则包含有实际的波形声音数采样频率和样本精度等，声音数据块则包含有实际的波形声音数据。据。音频文件格式 VOCVOC：CreativeCreative公司的声霸卡公司的声霸卡(Sound Blaster)(Sound Blaster)使用的使用的波形音频文件格式。波形音频文件格式。MIDMID：WindowsWindows的的MIDIMIDI文件（文件（MIDI AudioMIDI Audio）存储格式。）存储格式。MP3MP3：MP3MP3压缩格式文件。压缩格式文件。MP3MP3的全称实际上是的全称实际上是MPEG1 Audio Layer-3 MP
20、EG1 Audio Layer-3 MP4MP4：基于：基于MPEG-2 AACMPEG-2 AAC技术的文件压缩格式。技术的文件压缩格式。CDCD格式：格式：cdacda文件，大小为文件，大小为4444字节，只是一个索引信息，字节，只是一个索引信息，并不包含真正的声音信息。并不包含真正的声音信息。AifAif、sndsnd：AppleApple计算机上的声音文件存储格式。计算机上的声音文件存储格式。RARA、RMRM：RealReal公司开发的主要适用于网络上实时数字公司开发的主要适用于网络上实时数字音频流技术的文件格式。音频流技术的文件格式。ASFASF、ASXASX、WMAWMA、WAX
21、WAX ：微软公司针对：微软公司针对RealReal公司开发的公司开发的新一代网上流式数字音频压缩技术。新一代网上流式数字音频压缩技术。3.4 声卡与音箱 v声卡是处理各种类型数字化声音信息的硬声卡是处理各种类型数字化声音信息的硬件。件。声卡的主要功能包括：声卡的主要功能包括：录制、编辑和回放数字音频文件录制、编辑和回放数字音频文件控制和混合各声源的音量控制和混合各声源的音量记录和回放时进行压缩和解压缩记录和回放时进行压缩和解压缩实时、动态地处理数字化声音信号实时、动态地处理数字化声音信号 通过语音合成技术使计算机朗读文本，通过采用语通过语音合成技术使计算机朗读文本，通过采用语音识别功能，让用
22、户通过说话指挥计算机等。音识别功能，让用户通过说话指挥计算机等。具有具有MIDIMIDI接口、光盘驱动器接口和游戏杆端口接口、光盘驱动器接口和游戏杆端口 3.5 MIDI与音乐合成MIDIMIDI简介简介v MIDI是Musical Instrument Digital Interface的首写字母组合词，可译成“电子乐器数字接口”。用于在音乐合成器(music synthesizers)、乐器(musical instruments)和计算机之间交换音乐信息的一种标准协议。从20世纪80年代初期开始，MIDI已经逐步被音乐家和作曲家广泛接受和使用。v MIDI是乐器和计算机使用的标准语言，是
23、一套指令是一套指令(即命即命令的约定令的约定)，它指示乐器即，它指示乐器即MIDIMIDI设备要做什么，怎么做，设备要做什么，怎么做，如演奏音符、加大音量、生成音响效果等。如演奏音符、加大音量、生成音响效果等。MIDIMIDI不是声音不是声音信号，在信号，在MIDIMIDI电缆上传送的不是声音，而是发给电缆上传送的不是声音，而是发给MIDIMIDI设备设备或其它装置让它产生声音或执行某个动作的或其它装置让它产生声音或执行某个动作的指令指令。vMIDIMIDI主要包括以下两个部分：主要包括以下两个部分：MIDIMIDI硬件规范硬件规范：硬件接口标准和信号传：硬件接口标准和信号传输机制输机制(I/
24、O(I/O通道、连接电缆和插座形式通道、连接电缆和插座形式)。MIDIMIDI软件规范软件规范：音乐信息数字化编码方：音乐信息数字化编码方式式(音符、音符长短、音调和音量等音符、音符长短、音调和音量等)。特点vMIDIMIDI标准之所以受到欢迎，主要是它有下列几个标准之所以受到欢迎，主要是它有下列几个优点：优点：生成的文件比较小，因为生成的文件比较小，因为MIDIMIDI文件存储的是命令，而文件存储的是命令，而不是声音波形；不是声音波形；容易编辑，因为编辑命令比编辑声音波形要容易得多；容易编辑，因为编辑命令比编辑声音波形要容易得多；可以作背景音乐，因为可以作背景音乐，因为MIDIMIDI音乐可
25、以和其它的媒体，音乐可以和其它的媒体，如数字电视、图形、动画、话音等一起播放，这样可如数字电视、图形、动画、话音等一起播放，这样可以加强演示效果以加强演示效果 v 注意：由于注意：由于MIDIMIDI文件记录的是电子乐器的文件记录的是电子乐器的“乐谱乐谱”指令，故它只能重现打击乐或一些电子乐器的声指令，故它只能重现打击乐或一些电子乐器的声音。音。MIDI音乐合成器v产生产生MIDIMIDI乐音的方法主要有两种，一种是频率调制乐音的方法主要有两种，一种是频率调制(FM)(FM)合成法，另一种是乐音样本合成法，也称为波合成法，另一种是乐音样本合成法，也称为波形表形表(WaveTable)(Wave
26、Table)合成法。合成法。FMFM合成法是通过硬件产生波形信号，再经过处理产生音合成法是通过硬件产生波形信号，再经过处理产生音乐。乐。乐音样本合成法是在乐音样本合成法是在ROMROM中预先存储着各种实际乐器的声中预先存储着各种实际乐器的声音采样，合成时以查表方式调用这种实际乐器的声音采音采样，合成时以查表方式调用这种实际乐器的声音采样，合成该乐器的乐音。样，合成该乐器的乐音。波形表合成法又分为硬波形表，软波形表。硬波形表的音色库存波形表合成法又分为硬波形表，软波形表。硬波形表的音色库存放在声卡的放在声卡的ROMROM中，而软波形表的音色库则以文件的形式存放在中，而软波形表的音色库则以文件的形
27、式存放在硬盘里，需要时再通过硬盘里，需要时再通过CPUCPU调用。调用。利用波形表方式合成音乐的效果更加逼真，它的效果优利用波形表方式合成音乐的效果更加逼真，它的效果优于于FMFM方式合成的效果。方式合成的效果。3.6 音频处理技术的应用v随着多媒体信息处理技术的发展，计算机随着多媒体信息处理技术的发展，计算机数据处理能力的增强，音频处理技术受到数据处理能力的增强，音频处理技术受到重视，并得到了广泛的应用。如：重视，并得到了广泛的应用。如：（1 1）视频图像的配音、配乐；静态图像的解）视频图像的配音、配乐；静态图像的解说、背景音乐；说、背景音乐；（2 2）可视电话、电视会议中的话音；游戏中）可
28、视电话、电视会议中的话音；游戏中的音响效果；虚拟现实中的声音模拟；的音响效果；虚拟现实中的声音模拟；（3 3）Internet Internet 电话电话 (IP phone)(IP phone)（4 4）声音欺骗系统与声纹识别声音欺骗系统与声纹识别 v声音欺骗：声音欺骗：比如：在军事上，截获敌人的无线电信号，改变内容把比如：在军事上，截获敌人的无线电信号，改变内容把信号重新传送出去。信号重新传送出去。声音伪造装置可以将截获的信号分割成声音伪造装置可以将截获的信号分割成0.250.25秒的片断，进行重新秒的片断，进行重新组合，从而得出带有欺骗性的新信息，而不改变敌军讲话人的声组合，从而得出带有
29、欺骗性的新信息，而不改变敌军讲话人的声音。音。进一步研究的装置能够把敌军话务员的声音分为几十个进一步研究的装置能够把敌军话务员的声音分为几十个音素音素，将，将这些音素转换成这些音素转换成参考模板参考模板，储存在数据库里。情报技师可用自己，储存在数据库里。情报技师可用自己的声音讲话，并触发相应敌军话务员的音素参考模板，无线电播的声音讲话，并触发相应敌军话务员的音素参考模板，无线电播出的声音听起来，就会和敌军话务员一模一样。出的声音听起来，就会和敌军话务员一模一样。声音欺骗系统需要高超的声音分析技术和语音合成技术。声音欺骗系统需要高超的声音分析技术和语音合成技术。v声纹识别可以用来破案。声纹识别可
30、以用来破案。（5 5）现代现代“芝麻开门芝麻开门”系统系统（6 6）InternetInternet上的实时音频上的实时音频（7 7）语音识别语音识别 （8 8）计算机言语输出计算机言语输出（9 9）虚拟主持人虚拟主持人 v语音识别：语音识别：语音识别是将人发出的声音、字或短语转换成语音识别是将人发出的声音、字或短语转换成文字、符号，或给出响应，如执行控制、做出文字、符号，或给出响应，如执行控制、做出回答。回答。语音识别技术应用于需要以语音作为人机交互语音识别技术应用于需要以语音作为人机交互手段的场合，主要是实现听写和命令控制功能。手段的场合，主要是实现听写和命令控制功能。如：语音识别软件如：
31、语音识别软件 IBM ViaVoice IBM ViaVoice v计算机言语输出计算机言语输出 计算机言语输出所要研究和解决的问题，就是计算机言语输出所要研究和解决的问题，就是如何利用计算机输出流利的自然语言，使计算如何利用计算机输出流利的自然语言，使计算机具备说话的能力。机具备说话的能力。一般来讲，实现计算机语音输出有两种方法：一般来讲，实现计算机语音输出有两种方法：一是录音一是录音/重放重放,二是文二是文-语转换语转换(TTS(TTSText to Speech)Text to Speech)。文文-语转换是语音合成技术的延伸，它能把计算机内的文语转换是语音合成技术的延伸，它能把计算机内
32、的文体转换成连续自然的语声流。若采用这种方法输出语音，体转换成连续自然的语声流。若采用这种方法输出语音，应预先建立语音参数数据库、发音规则库等。需要输出语应预先建立语音参数数据库、发音规则库等。需要输出语音时，系统按需求先合成语音单元，再按语音学规则或语音时，系统按需求先合成语音单元，再按语音学规则或语言学规则，连接成自然的语流。言学规则，连接成自然的语流。如：文如：文-语转换软件语转换软件 PanopreterPanopreterv虚拟主持人虚拟主持人 英国设计出的世界上首位虚拟主持人、播音员安英国设计出的世界上首位虚拟主持人、播音员安娜诺娃娜诺娃ANANOVAANANOVA。虚拟新闻主播安
33、娜诺娃虚拟新闻主播安娜诺娃20002000年年4 4月首次上网。月首次上网。v 紧接着，安娜诺娃也迅速被借鉴。世界各国的网站上都出紧接着，安娜诺娃也迅速被借鉴。世界各国的网站上都出现了虚拟主持人。现了虚拟主持人。v 其实，虚拟主持人背后是一套运行速度极高的电脑系统，其实，虚拟主持人背后是一套运行速度极高的电脑系统，能够全日不断地更新新闻资讯，把文字迅速转变成声音，能够全日不断地更新新闻资讯，把文字迅速转变成声音，从她从她“口口”中读出来，并配合脸部表情。电脑又即时制作中读出来，并配合脸部表情。电脑又即时制作动画配合有关新闻，然后利用最新的立体影象科技，在网动画配合有关新闻，然后利用最新的立体影象科技，在网上播出。上播出。v 中国的第一位虚拟电视节目主持人中国的第一位虚拟电视节目主持人-小龙，在小龙，在20042004年年1111月月在在CCTV-6CCTV-6中亮相。中亮相。3.7 声音工具vWindows Windows 自带的录音机自带的录音机 vCoolEditCoolEditvAdobeAuditionAdobeAuditionvGoldWaveGoldWavev作业：作业：vP82 1P82 1、2 2
