1、第3 3章 信道容量第3 3章 信道容量 3.0 3.0 引言 3.1 3.1 信道的数学模型和分类 3.2 3.2 单符号离散信道的信道容量 3.3.2 2.1.1 单符号信道的定义和数学模型 3.3.2 2.2.2 信道容量的定义及一般求取原则 3.3.2 2.3.3 几种特殊信道的信道容量 3.3.2 2.4.4 通过解方程组求信道容量 3.3 3.3 多符号离散信道 3.4 3.4 离散组合信道 3.5 3.5 连续信道 3.6 3.6 信道编码定理2 2第3 3章 信道容量 3.0 3.0 引言 3.1 3.1 信道的数学模型和分类 3.2 3.2 单符号离散信道的信道容量 3.3
2、3.3 多符号离散信道 3.3.3 3.1.1 多符号离散信道定义及数学模型 3.3.3 3.2.2 离散无记忆信道NN次扩展信道的信道容量 3.4 3.4 离散组合信道 3.5 3.5 连续信道 3.6 3.6 信道编码定理3 3定义单符号离散信道：信道的输入和输出均可用单个的随 机变量 描述。X Y 信道的转移特性由信道转移概率矩阵 描述。/P YX单符号信源+信道多符号离散信道：传输信道还是离散信道本身，只是 每次输入输出有多个符号在不同时 刻进行数据传递。多符号信源+信道信道的转移特性由信道转移概率矩阵 描述。1212/NNP YYYX XX3.3.3 3.1.1 多符号离散信道定义及
3、数学模型4 4根据信道是否具有记忆特性，可将信道划分为：无记忆信道：有记忆信道：信道在任意时刻的输出只取决于当前时刻的输入，而与之前和之后时刻的输入和输出都无关。信道在某一时刻的输出不仅取决于当前时刻的输入，还与之前或之后时刻的输入或输出有关。平稳信道：非平稳信道：根据信道统计特性是否随时间变化，可将信道划分为：信道的统计特性不随时间变化。(恒参)信道的统计特性随时间而变化。(变参)5 5为简化起见，本课程只研究平稳无记忆信道。平稳信道的数学模型：12121212/NNiiN iiiN iP YYYX XXP Y YYXXXZi 物理意义：输入随机序列与输出随机序列之间的转移概率等于各离散时刻
4、随机变量间转移概率的连乘。*无记忆信道的数学模型：12121NNNNkkkP YYYX XXP YXN 解释：12121212121P YYX XPX XPX XYYY1122P YXP YX6 6单符号信道即为平稳无记忆信道。解释：非平稳信道1122/,/,P YXP YX有记忆信道112211/,/,P YXP YX X Y单符号信道可由 描述/P YX平稳无记忆信道单符号信源+无记忆信道多符号信源+无记忆信道平稳无记忆信道的N次扩展信道：单符号信道：7 7多符号信道的数学模型单符号离散信道：112111222212(/)(/)(/)(/)(/)(/)(/)(/)(/)mmnnmnn mp
5、 yxp yxp yxp yxp yxp yxp yxp yxp yx 行X1x2x nx112111222212(/)(/)(/)(/)(/)(/)(/)(/)(/)NNNNNNmmnnmnp bap bap bap bap bap bap bap bap ba行1.NXX1,.nxx同一符号集111.x xx1a112.x xx2a.nnnx xx Nna列1.NYY同一符号集1,.myy列Y1y2ymy111.y yy112.y yy.mmmy yy1b2bNmb多符号离散信道：NNnm 共 个元素8 8?111 112111222212(/)(/)(/)(/)(/)(/)(/)(/)(
6、/)NNNNNNNNmmnnmnnmp bap bap bap bap bap bap bap bap ba?不一定等于1单符号信道多符号信道9 9单符号信道二次扩展信道信道矩阵pppp2p0001101100011011pppp2ppp2p2ppppp2p2ppp2p2ppppp12121122()()()P YYX XP YXP YX 例3.3.3 3.1.1 求二元对称信道二次扩展信道的信道矩阵1010000001010011100101110111 3p3p3p3p3p3p3p3p3p3p3p3p3p3p3p3p 2p p 2pp 练习：求二元对称信道三次扩展信道的信道矩阵1111若离
7、散无记忆信道的输入和输出分别是NN长序列，则平均互信息量满足：定理：1212;(;)NNNkkkI X XXYYYI XY 证明：121212;NNNI X XXYYYH YYY 1212NNH YYYX XX1H Y21H Y Y121()NNH YYYY 12NH YH YH Y1NkkH Y 问题：上式何时取等号？回答：NN个时刻的输出符号统计独立时。12NH YYY 其中第一项：3.3.3 3.2.2 离散无记忆信道NN次扩展信道的信道容量1212再看第二项：1221NNHXYYXXY 2112NHX XYX Y12121NNNYY YYHX XX 121NHX XXY112NH YX
8、 XX1211122111111()log()NNNnnnmiiijjiiiijiip x xx xpxxyy 121111211111()log()NNnnnmiiijjiiijip x xxxyp y 【无记忆性】111121211111log()()NNnniiijiinmjiijp xp yxxxy 11111111()log)inmjijjip yxp x y 11()H YX 1313类似地，可证明：212122NH YX XX YH YX 12121NNNNNH YX XX Y YYH YX 12121()NNNkkkH YYYX XXH YX 代入前面得到的第一项，有：1212
9、12;NNNI X XXYYYH YYY 1212NNH YYYX XX1NkkH Y 1()NkkkH YX 1NkkkkH YH YX 1;NkkkI X Y 14141212=1;(;)NNNkkkI X XXYYYI X Y 物理意义：对于离散无记忆信道的NN次扩展信道，其总体的平均互信息量不大于各时刻单符号对应的平均互信息量之和。问题：上式何时取等号？分析：NN个时刻的输出符号统计独立时。问题：输入符号之间是何关系时，输出符号统计独立？结论：当信源是无记忆信源的NN次扩展信源时，输出符 号之间统计独立。即：当满足1212=1,NNNiiiiiiip ap x xxp xp xp xi
10、n 151511122212111()(/)()(/)()(/)NNNNnnnijiijiijiiiip xp yxp xp yxp xp yx 1212=1,NNNiiiiiiip ap x xxp xp xp xin 证明：当12121,NNNjjjjjjjp bp y yyp yp yp yjm 证：12()()Njjjjp bp y yy 111111()(/)NNNNnniijjiiiip xxp yyxx 【全概率公式】12()()()Njjjp yp yp y【全概率公式】有1211111()()()(/)(/)NNNNnniiijijiiip xp xp xp yxp yx 【
11、无记忆信道】【无记忆信源】1616综合前面的分析，可得如下重要结论：12121(;)(;)NNNkkkI X XXYYYI XY *1.1.离散无记忆信道的 次扩展信道，其平均互信息，不大于 个随机变量 分别单独通过信道的平均互信息量之和。NN12,NXXX 2.2.仅当输入端的 个输入随机变量统计独立时(即无记忆信源的 次扩展信源)，信道的总平均互信息等于这 个变量单独通过信道的平均互信息之和。NNN3.3.由于研究的是平稳信源和平稳信道，最终有：1212(;)(;)NNI X XXYYYN I X Y*NCNC 单位：比特/符号111x xx112x xx1717第3 3章 信道容量 3.
12、0 3.0 引言 3.1 3.1 信道的数学模型和分类 3.2 3.2 单符号离散信道的信道容量 3.3 3.3 多符号离散信道 3.4 3.4 离散组合信道 3.3.4 4.1.1 独立并联信道 3.3.4 4.2.2 级联(串联)信道 3.5 3.5 连续信道 3.6 3.6 信道编码定理18183.3.4 4.1.1 独立并联信道典型应用：通过多个信道并行传输，加快传输速度。独立：并联信道之间相互独立。每个信道的输出仅取决于该信道的输入，而与其它信道的输入和输出无关。12121()()NNNkkkP Y YYX XXP YX 每个时刻的输出仅取决于该时刻的输入，而与其它时刻的输入和输出无
13、关。对比1919离散无记忆信道NN次扩展信道的结论可推广到独立并联信道。一般情况下，NN个独立信道总的平均互信息量小于各信道的平均互信息量之和。12121(;)(;)NNNkkkI X XXYYYI XY 1.1.*2.2.1NkkCC 并并独立并联信道的信道容量等于各自信道容量的和，但必须满足如下条件：*(1)(1)各信源之间是相互独立的。(2)(2)各信源同时达到最佳输入分布。20203.3.4 4.2.2 级联(串联)信道112111121112222122221212()().()()().()()().()()().().()().()()().()pmpmnnmnmmpmn mm
14、pp zyp zyp zyp yxp yxp yxp zyp zyp zyp yxp yxp yxp yxp yxp yxp zyp zyp zy 111()().mjjjp yxp zy 典型实例：卫星电视，微波接力通信等。【先去 掉 ，再加上 】1x1x111().mjjp y zx 2121对于级联信道，总的信道矩阵等于各级信道矩阵 的连乘积。(注意乘积顺序)结论：112111222212()()()()()()()()()()()ppnnpnn pp zxp zxp zxp zxp zxp zxP Y XP Z Yp zxp zxp zx ()P Z X*例3 3.4 4.1 1 设有
15、两个离散二元对称信道，求二者级联信道的信道容量。pq2222 级联后的等效信道也是二元对称信道。1()CH pqpq1 ()log()()log()pqpqpqpqpqpqpqpq pqpq pqpq pqpq pqpq ppqqPppqq 解：根据强对称信道的计算公式：log()CnH行行熵熵2323例3 3.4 4.2 2 把 个离散二元对称信道级联起来，要求证明该信道可以等效于一个二元对称信道，其错误传递概率为 。并证明当 时，且 时有：11(12)2npn 0lim;0nnI XX 01p解：使用数学归纳法。先证明 时，等式成立。1n 假设：等式对 成立。n证明：等式对 成立。1n n
16、ppp2424证：当 时，11(12)2np1n p1n 时成立。假设：等式对 成立n则再级联一级后，有：1111(12)1(12)22111(12)11(12)22nnnnpppp 11pppp 111(12)1(12)22111(12)1(12)22nnnnpppp 11pppp 错误传递概率为 。11(12)2np证明：总转移概率矩阵级的 1n 2525111111(12)211(12)11(12)211(12)22nnnnpppp 111111(12)211(12)111(12)2111(122)2nnnnpppp 得证【化简步骤略】当 时且 ，上述信道矩阵趋近于：n 01p1121p
17、 lim(12)0nnp1 21 21 21 2强噪声信道无用信道11log2(2log)22C 代入 ,得：log()CnH行行熵熵2626第3 3章 信道容量 3.0 3.0 引言 3.1 3.1 信道的数学模型和分类 3.2 3.2 单符号离散信道的信道容量 3.3 3.3 多符号离散信道 3.4 3.4 离散组合信道 3.5 3.5 连续信道 3.6 3.6 信道编码定理27273.5.1 3.5.1 连续信道信道容量的定义多符号(变量)信道连续信道单符号(变量)信道连续信道：信道的输入和输出随机变量都取值于连续集合。多符号信道离散信道单符号信道为简化起见，本课程只研究单变量连续信道。
18、单符号离散信道数学模型：单变量连续信道数学模型：2828离散信道信道容量：()max(;)ip xCI X Y(;)(),()ijiI X Yf p xp yx固定连续信道信道容量：(;)(),()I X Yf p xp y x固定 ()max(;)p xCI X Y 极值点位于边界极值点位于 定义域内 离散信道一般求取原则：(;)I X Y是关于 的上凸函数。()ip x计算机迭代拉格朗日乘数法 求条件极值2929问题：离散信道一般求取原则是否适用于连续信道？回答：不适用。计算机迭代方法肯定不适用于连续系统。拉格朗日乘数法只能求解多维空间中的条件极值点，而无法求取最佳分布概率密度函数。一般性
19、连续信道的信道容量并不容易求取，只有在一些特殊情况下才相对容易计算。结论：30303.5.2 3.5.2 加性连续信道信道容量的求取3131加性连续信道噪声(N)与信号(X)统计独立。噪声对信号的干扰表现为和输入线性叠加。信道模型证明：对于加性连续信道，其信道转移特性为噪声的 概率密度，即：。()()p y xp n 证明：对于加性连续信道，其信道转移特性为噪声的 概率密度，即：。()()p y xp n 证：YXN概率论：1212()()p x xp y y1112(,)yg x x 2212(,)ygx x 1112(,)xh yy 2212(,)xhyy 根据()()p xnp xy根据
20、2(,)ygx nxn1(,)xg x nx1(,)xh x yx2(,)nh x yxy 1122(,)hxhyJ x yhxhy 1011 1()1()p xyp xn ()()()()p xp y xp xp n()()p y xp n 12112212()(,),(,)p y yJp h yyhyy11122122hyhyJhyhy 其中：雅克比行列式3232回忆：第二章中为什么把 叫做噪声熵？(/)H YX()(;)+()H YI X YH Y X 信宿熵从信源处获得的关于信宿的信息量由噪声带来的“伪信息量”更直观的解释：()()()l g(o)cXYp y xpH Y Xp xdx
21、dyy x ()log()()XNp np np xdxdn ()()log()XNp x dxp np n dn 1()log()Np np n dn ()cHN 3333根据所证明的 求取加性信道的信道容量：(/)()cH YXH N ()()max(;)max()(/)ccp xp xCI X YH YH YX ()max()()ccp xH YHN ()max()()ccp xH YHN【信源X X与噪声NN统计独立】加性信道的信道容量取决于两方面：通过改变 ，使 最大，加性信道的平均互信息量达到信道容量。()p x()cH Y噪声的统计特性 ，当信道选定后，该项为常数。()cHN34
22、34常见限定条件：1.1.峰值功率受限:2.2.平均功率受限:3.3.均值受限:均匀分布 高斯(正态)分布 指数分布 最常见最大离散熵：信源等概率分布时熵最大。最大连续熵：不同限定条件下，结果也不相同。35353.5.33.5.3平均功率受限条件下高斯信道的信道容量3636某次实验的结果是Xx2px 功率为平均功率为XP 2()E x22()ExE x 2E x XP 随机信号方差与平均功率的关系:高斯加性信道:是指噪声(NN)的概率密度符合高斯分布，并满足：零均值()0n p n dn 22()np n dn NP 根据高斯分布的概率密度 可计算出2221()2np ne ()cHN()()
23、log()cNHNp np n dn 2221()log2nNp nedn 2221log(2log()22Nnep ndn 2221log(2()log()22NNnp n dnep ndn 2222()log 2()lognNNp ndnp nedn 噪声熵的计算37372212 22()12Np nn dn 12 其中：22()2Nnp ndn ()cHN 211log(2log22e21log(22e 1log(22NeP 噪声熵的计算(续)3838问题：在信源平均功率受限的条件下,何时 最大？()cH Y分析：XP有限，NP有限。问题：在什么条件下，服从高斯分布？Y分析：目前的已知条
24、件有：噪声服从零均值的高斯分布，X X与NN独立。回答：由概率论,当 也服从零均值的高斯分布时,有：XYXN也服从高斯分布，且满足：()()()0E YE XE N222YXNYP XNPPY满足高斯分布的条件下，最大。()cH Y回答：YP有限。【】YXNPPP,X N 独立输出信号的平均功率受限高斯信道选定，即确定下来NP3939根据第二章中连续信源的相关结论,有:()1max()log(22cYp xH YeP 1log(1+2XNPP()11max()()log(2log(222ccYNp xCH YHNePeP 信噪比1log(2XNNPPP 1log(2YNPP单位：比特/符号香农
25、公式的第一种形式：1log(1+2XNPCP*很多时候，我们更需要的是单位时间内的信息传输率。假设：连续信号已按采样定理进行采样,成为离散信号。再代入之前所得公式 ，最后得：4040设信道的频带为 ，则每秒需进行 次采样，在接收端才可无失真地恢复出原始信号。采样定理：(0,)W2W 秒符号秒 比特符号比特单位转换：2tCCW1log(1)22XNPWPlog(1)XNPWP单位：比特/秒香农公式的第二种形式：log(1+XtNPCWP*1()2sPPd 香农公式的形式还可以进一步地推广。在通信原理课程中将学习随机信号功率谱密度 的概念，其与随机信号平均功率 的关系为：()P sP()Pdf 4
26、141通信原理中还将学习高斯白噪声的概念。所谓高斯白噪声是指功率谱密度为常数()()，而在一个频带为 的信道中，噪声的平均功率为:(0,)W 02N 【乘以 是因为功率谱均为对称谱】2W0022NNPWN W将 的表示式代入第二种形式，可得：NP单位：比特/秒香农公式的第三种形式：0log(1+XtPCWN W*当信道的频带很宽时，此时有:0()1XPN W 0logln(1+XtPCWeN W0logXPWeN W0logXPeN【】ln(1+xx 4242例3 3.5 5.1 1 在图片传输中，每帧约为 个像素，为了能很好地重现图像，需分1616个亮度电平，并假设亮度电平等概分布。试计算每
27、秒钟传送3030帧图片所需信道的带宽（功率信噪比为 ）。62.25 10 30dB 解：单位：比特/秒log(1+XtNPCWP30 tC 帧/秒62.25 10像素/帧log16比特/像素82.7 10比特/秒830102.7 10log(110)10(dB)10 logxNPPxNPP27 MHzdB()1010 xNPPxNPP log(1)tXNCWPP 4343 必须指出的是，尽管香农公式在推导过程中附加了很多限制条件，如：高斯加性信道，信号与噪声独立，信号的平均功率受限等等。但是，实践表明，多数情况下，实际信道可认为是符合或者近似符合这些特点的。因此，香农公式具有非常普遍的意义。另
28、一方面，即便是对于非高斯信道，香农公式仍具有重要意义。原因是：根据第二章中最大连续熵定理，在平均功率受限情况下，高斯分布的噪声熵具有最大值，根据 ，在香农公式的推导过程中所扣除的值比实际噪声熵值要多，因此算出的信道容量比实际值偏小。对于非高斯信道，用香农公式算出的信道容量是其理论上的下限值。()max()()ccp xCH YHN3.5.4 3.5.4 关于香农公式使用范围的讨论及相关重要结论44440log(1+log(1+XXtNPPCWWPN W 香农公式：重要结论：1.1.带宽一定时，提高信噪比能提高信道容量。例3 3.5 5.2 2 普通电话线路的带宽可近似为 ,当信噪比为 时，计算
29、其信道容量。当信噪比提升为为 ，重新计算信道容量。3.3KHz 20dB 30dB 33.3 10*log(1+100tC 比特/秒信噪比为 时30dB 33.3 10*log(1+1000tC 比特/秒分析：信噪比增加1010倍，但信道容量仅增加约1.51.5倍。解：信噪比为 时，20dB 201010100XNPP，代入得：4545比较：假设线路带宽从 提高到 ，而信号功率保持不变，计算信道容量。3.3KHz 33KHz 解：由于带宽提高1010倍，信噪比下降1010倍。310033 10log(1)11410tC 代入公式可得：比特/秒0log(1+log(1+XXtNPPCWWPN W
30、 香农公式：信道容量提高：11422 倍。相比于初始条件，即：带宽 ，信噪比为3.3KHz 20dB 2.2.当倍数相同时,增加带宽通常比提高信噪比更有效。46463.3.无噪连续信道的信道容量为无穷大。0log(1+log(1+XXtNPPCWWPN W 香农公式：00NPN W原因：tC 4.4.当增加信道带宽时，并不能使信道容量无限增加。0limlimlog(1+XtWWPCWN W证：0=XPxN W令010limlog(1+XxxPNx 根据高数中的知识，10lim(1+xxxe 0limlogXtWPCeN01=XPWNx 00limlim1log(1+XtWxPCxxN 100l
31、imloglimln(1+XxtWxPCexN 4747信道容量随信道带宽的变化0log(1+XtPCWN WWCtPXlogeN000limlog1.4427XXtWPPCeNN4848设传输时间为 ,则总信息量 。Tlog(1+XtNPICTWTP5.5.当所需要传输的总信息量一定时，则带宽 、传输 时间 、信噪比 三者可进行相互转换。WTXNPP(1)(1)若传输时间 固定，则可通过扩展信道的带宽 来降低对信噪比 的要求；或者，通过提高信噪比 实现在窄带信道上进行传输（即：可降低 对 的要求）。WTXNPPWXNPP0log(1+log(1+XXtNPPCWWPN W 香农公式：4949
32、例3 3.5 5.3 3 若要保持信道的信息传输率 比特/秒,当信道的带宽 从 降低到 ，求信号功率所需提高的倍数。312 10tC W34 10z33 10z解：0log(1)XtPCWN W带宽降低前：0log(1)XtPCWN W 带宽降低后：333312 103 1012 104 10(21)31.6(21)4 (21)(21)ttCWXCXWPWPW 0(21)tCWXPW N0(21)tCWXPWN分析：带宽较小地降低(25%)(25%)要求信噪比必须有较大的提高(60%)(60%)；带宽较小地增加信噪比较大改善5050设传输时间为 ,则总信息量 。T(2)(2)若信号功率 不变,
33、则增加信道的带宽 可以缩短传输时间 ，从而换取传输时间的节省；或者花费较长的时间 来换取频带 的节省。T例如：为了能在窄带电缆信道中传送电视信号，往往可用增加传送时间的办法来压缩所需要的带宽。首先把电视信号以高速记录在录像带上，然后慢放这个磁带，慢到使输出频率降低到足以在窄带电缆中传送的程度。在接收端，将接收到的慢录像带进行快放，于是恢复了原来的电视信号。（但损失了实时性）0log(1+XtPICTWTN WXPWTW5151(3)(3)若保持信道的带宽 不变，可通过花费较长的时间 降低所需要的信噪比(可以变大，系统可以工作在噪声更恶劣的环境下或者远距离通信中;可降低对通信发射设备功率的要求)
34、；或者通过提高发射功率 加快传输时间 。TW0N设传输时间为 ,则总信息量 。0log(1+XtPICTWTN WXPTT一般而言，究竟以谁换取谁，要根据实际情况而定。例如：宇宙飞船与地面通信，由于信噪比很小，所以着重考虑增加带宽和传输时间来换取信噪比；而如果信道频带资源非常紧张，则要考虑通过提高信噪比或增加传输时间来降低对带宽的要求。总结：通信系统中，带宽、时间、信噪比可进行互换。5252第3 3章 信道容量 3.0 3.0 引言 3.1 3.1 信道的数学模型和分类 3.2 3.2 单符号离散信道的信道容量 3.3 3.3 多符号离散信道 3.4 3.4 离散组合信道 3.5 3.5 连续
35、信道 3.6 3.6 信道编码定理5353若有一离散无记忆平稳信道，其信道容量为 。输入序列长度为 ，只要待传送的信息率 ，总可以找到一种编码，当 足够长时，译码差错概率 ，为所指定的任意大于零的正数。反之，当 时，任何编码的 必大于零，当 时，。CLRC LeP RC ePL 1eP 对连续信道也有类似的结论。对信道编码定理严格的数学证明可参见傅祖芸老师教 材中的$6.4$6.4节。信道编码定理的结论(数学描述)：5454信道容量 表示的是信道的极限信息传输能力。如果要求的信息传输速率超过了 ，无法实现无失真传输；否则，则总可以找到某种方法实现近乎无失真的传输。分析：CC 直观解释：5555
36、通过刚才的分析，只要 ,理论上就可实现近乎无失真地传输。但具体如何来实现呢？香农先生只给出了大的指导方向，即通过编码的方法。具体而言，就是增加信道符号序列的长度。RC 信道编码的最基本思想：在信息码元的基础上增加监督码元，通过信道符号序列长度的增加实现传输差错的检验与纠正。5656作业 3.13.1，3.23.2，3.63.6，3.73.7，3.83.8，3.183.1857575858P P(Y/Y/X X)X XY Y (/)XP YXY离散信道：一系列条件转移概率构成的信道矩阵连续信道：条件概率密度函数离散、单符号：随机变量离散、多符号：随机序列连续、单符号：随机变量连续、多符号：随机过
37、程输入、输出符号输入符号输出符号信道转移特性2.2.信道的数学模型 （三大组成要素）5959 112111222212,mmnnmnn mp yxp yxp yxp yxp yxp yxp yxp yxp yx 信道转移概率矩阵 简称：信道矩阵 1111?1?1?每一列的和不一定等于1 （只有强对称信道等特 殊情况下才等于1）每一行的和单符号信道的数学模型（续）60606161(;)I X Y信道容量：在某一信道中，可能达到的最大值。()max(;)ip xCI X Y*输入信源的概率分布可调单位：比特/符号tC Ct单位：比特/秒比特/符号秒/符号()1max(;)ip xI X Yt 问题
38、：最大值如何计算？计算依据是什么？分析：当固定信道转移特性的条件下，平均互信息量是 信源概率分布的上凸函数。00.10.20.30.40.50.60.70.80.91-0.100.10.20.30.40.50.6pI(X;Y)上凸函数的特点函数的最大值或者在边界上，或者对应中间导数等于0的点，而该点是唯一的导数等于0的点。信道容量的求取原则（续）6262信道容量的计算即为多元函数求极值的问题。(;)(),(/)1,.,1,.,ijiI X Yf p xp yxin jm 信源概率分布，向量输入输出的条件概率/信道传递概率分布，矩阵1.如果固定信道，调节信源，则有：(;)()iI X Yf p
39、x 2.如果固定信源，调节信道，则有：(;)(/)jiI X Yf p yx 凸函数性6363(2)凸函数性质的具体内容当信道固定时，是关于 的上凸函数(;)I X Y()ip x12()(1)()iiIp xpx12()(1)()iiI p xI px当信源固定时，是关于 的下凸函数(;)I X Y(/)jip yx12(/)(1)(/)jijiI p y xp y x 12(/)(1)(/)jijiI p yxI p yx 凸函数性(续)6464该性质是研究信道容量的理论基础该性质是研究率失真函数的理论基础由于信源概率分布必须满足归一化条件。因此，对平均互信息量的最大值的计算就转化为在归一
40、化条件下，计算信源概率分布的条件极值问题。因此，最一般的方法就是采用拉格朗日乘数法。注意：信道容量是信道本身特性的参量。尽管这个最大值的计算过程涉及到最佳信源的寻找问题，但一旦找到这样一个最大值以后，这个值就与信源无关了。对比：电阻器的阻值 物体的密度 信道容量的求取原则（续）6565 特殊信道6666共有4 4个步骤：共n n个方程，mm个未知数。注:必须有n n=m m（输入、输出消息数相等），且信道矩阵为非奇异矩阵（即：)时，方程组才有唯一解（克莱姆法则），教材中未对此进行专门说明。(/)0jin np yx 11112211nna xa xa xy21122222nna xa xa x
41、y1122nnnnnna xa xa xy1111111111nnnninnninnnaaaaaaaaayya ix1,in*(1)(1)由 求 ，。11(/)(/)log(/)mmjijjijijjp yxp yxp yx j in 3.3.利用方程组求信道容量计算步骤-总结6767(2)(2)根据求得的 ，由 求C C。1log2jmjC j 注意：在第(2)(2)步信道容量C C被求出后，计算并没有结束，必须根据后继步骤解出相应的p p(x xi i)，并确认所有的p p(x xi i)0)0时，所求的C C才有效。(4)(4)由 ，通过求方程组可求出p p(x xi i)，并验证p p(x xi i)是否为非负值。1()()(/)1,njijiip yp xp yxjn (3)(3)由 求p p(y yj j)。()2jCjp y 6868本章结束
