1、东北大学东北大学二次规划问题的变时滞神经网二次规划问题的变时滞神经网络模型的全局指数稳定络模型的全局指数稳定 报告人：张锐 指导教授：井元伟教授 2009年5月20日主要内容主要内容引引 言言 1二次规划问题及变时滞神经网络模型建立二次规划问题及变时滞神经网络模型建立 2主要结果主要结果 3仿真研究仿真研究 45结结 语语 引引 言言v 二次规划问题广泛存在于现实生活当中，无论是工程应二次规划问题广泛存在于现实生活当中，无论是工程应用、经济生活还是现代管理科学，优化计算都起着关键用、经济生活还是现代管理科学，优化计算都起着关键作用。作用。v 在现代科学与工程计算中在现代科学与工程计算中,经常需
2、要进行经常需要进行实时实时优化计算。优化计算。传统的优化计算技术因耗时过多而不能满足此类优化计传统的优化计算技术因耗时过多而不能满足此类优化计算的需要。算的需要。v 神经网络具有内在的神经网络具有内在的大规模并行运算大规模并行运算和和快速收敛快速收敛等特性，等特性，解决优化问题的运算时间比传统算法快出很多。解决优化问题的运算时间比传统算法快出很多。引引 言言v 神经优化计算的研究进展神经优化计算的研究进展19821982年，年，HopfieldHopfield提出了著名的提出了著名的HopfieldHopfield神经网络神经网络，引进了能量，引进了能量函数的概念，为神经网络应用于优化问题奠定
3、了基础。函数的概念，为神经网络应用于优化问题奠定了基础。19861986年，由年，由TankTank和和HopfieldHopfield首次提出了解决线性规划问题的神经网首次提出了解决线性规划问题的神经网络。络。KennedyKennedy和和ChuaChua为保证网络收敛提出一个改进的网络模型，其中的为保证网络收敛提出一个改进的网络模型，其中的能量函数是不精确的罚函数。只有当罚参数趋于无穷大时，才可获能量函数是不精确的罚函数。只有当罚参数趋于无穷大时，才可获得优化问题的近似解，且当罚参数过大时，电路亦难以实现。得优化问题的近似解，且当罚参数过大时，电路亦难以实现。引引 言言为避免罚函数存在的
4、缺陷，文献为避免罚函数存在的缺陷，文献44给出了由两个子系统组成的网给出了由两个子系统组成的网络模型，但该模型的解轨迹在最优解附近摄动，不能保证网络的输络模型，但该模型的解轨迹在最优解附近摄动，不能保证网络的输出为精确度较好的解。出为精确度较好的解。基于对偶和映射理论，基于对偶和映射理论，XiaXia等人先后提出了原始等人先后提出了原始-对偶神经网络和投对偶神经网络和投影神经网络，求解线性和二次规划问题，但网络结构复杂，在电路影神经网络，求解线性和二次规划问题，但网络结构复杂，在电路实现中仍需要大量参数。实现中仍需要大量参数。以上研究都是在神经元传输和瞬时响应以上研究都是在神经元传输和瞬时响应
5、无时延无时延的情况下进行的。的情况下进行的。引引 言言v 时滞神经网络稳定性时滞神经网络稳定性研究意义：研究意义：p 在神经网络电路实现中，时滞是不可避免的，时滞的存在神经网络电路实现中，时滞是不可避免的，时滞的存在可以导致系统的不稳定，这是目前研究时滞神经网络在可以导致系统的不稳定，这是目前研究时滞神经网络稳定性的一个主要原因。稳定性的一个主要原因。p 时滞的存在能够改变神经网络的拓扑结构，进而改变神时滞的存在能够改变神经网络的拓扑结构，进而改变神经网络的动态行为，从而可以利用人为引入的时滞来达经网络的动态行为，从而可以利用人为引入的时滞来达到改变网络动态行为的目的。所以，研究带有时滞的神到
6、改变网络动态行为的目的。所以，研究带有时滞的神经网络求解优化问题更具有实际价值经网络求解优化问题更具有实际价值 引引 言言 文献文献13-1413-14利用利用常时滞常时滞神经网络研究了二次规划最神经网络研究了二次规划最优解求解问题。考虑到时变时滞在电路实现中的普遍存优解求解问题。考虑到时变时滞在电路实现中的普遍存在性，本文提出了一种在性，本文提出了一种变时滞变时滞LagrangeLagrange神经网络神经网络求解求解二二次规划问题次规划问题最优解的求解方法。利用不等式技术和最优解的求解方法。利用不等式技术和LMILMI技术，得到了全局指数稳定的两个条件。所得到的稳定技术，得到了全局指数稳定
7、的两个条件。所得到的稳定判据能够判据能够适应慢变时滞和快变时滞适应慢变时滞和快变时滞两种情况，具有适用两种情况，具有适用范围宽、保守性小和易于验证等特点。通过几个注释说范围宽、保守性小和易于验证等特点。通过几个注释说明和数值仿真示例验证了所得结果的有效性。明和数值仿真示例验证了所得结果的有效性。二次规划问题及变时滞神经网络模型二次规划问题及变时滞神经网络模型建立建立考虑如下二次规划问题：考虑如下二次规划问题：(1)(1)其中：其中：为设计变量，为设计变量，为半正定矩阵，为半正定矩阵，。并且假设可行域并且假设可行域 为非空集合。为非空集合。定义定义LagrangeLagrange函数函数 为：为
8、：其中：其中：为为LagrangeLagrange乘子。乘子。1min2.TTu Quc ustAubun nQRncRm nARmbR0n nuRAub(,)L u v1(,)()2TTTL u vu Quc uvAubmvR二次规划问题及变时滞神经网络模型二次规划问题及变时滞神经网络模型建立建立 根据根据KKTKKT条件可知条件可知:是二次规划问题是二次规划问题(1)(1)的解，当且的解，当且仅当存在仅当存在 ，使得满足如下条件：，使得满足如下条件：其中其中:为为 的梯度。的梯度。令：令：则则解决问题解决问题(1)(1)的的LagrangeLagrange神经网络为：神经网络为：umvR(
9、,)0(,)0TuvL u vQucA vL u vAubLL0TQAWAcJbuyv ，(2)0WyJ()dyWyJdt(3)二次规划问题及变时滞神经网络模型二次规划问题及变时滞神经网络模型建立建立时变时滞时变时滞LagrangeLagrange神经网络：神经网络：其中：其中：，时滞时滞 满足满足 ，。注注1 1：在文献在文献13-1413-14中，研究的是定时滞的中，研究的是定时滞的LagrangeLagrange神经网神经网络求解问题络求解问题(1)(1)。但是，定时滞是变时滞的理想化，所以本。但是，定时滞是变时滞的理想化，所以本文建立的变时滞网络文建立的变时滞网络(4)(4)来求解问题
10、来求解问题(1)(1)更具有实际意义。更具有实际意义。()()()dyDW y tDy ttJdt(4)(4)()()n mn mDR()t 0()t()t二次规划问题及变时滞神经网络模型二次规划问题及变时滞神经网络模型建立建立设设 是网络是网络(4)(4)的一个平衡点。为了方便，我们对网络的一个平衡点。为了方便，我们对网络(4)(4)做做变换变换 ，则式，则式(4)(4)等价变换成：等价变换成：其中：其中：，。定义定义1 1：在区间：在区间 上，对于任意有限的上，对于任意有限的 ，如果存在，如果存在标量标量 ，使得，使得 成立，则称成立，则称系统系统(5)(5)在平衡点在平衡点 处是处是全局
11、指数稳定全局指数稳定的。的。*y*()()x ty ty01()()dxA x tA x ttdt(5)0AD W1AD,0()ntR0b 0c 220()sup()ctx tbe 0 x 二次规划问题及变时滞神经网络模型二次规划问题及变时滞神经网络模型建立建立 设设 是一个在是一个在 上的非负连续函数，对于上的非负连续函数，对于 和和 ，当，当 时有如下引理：时有如下引理：引理引理1 1：若不等式：若不等式 成立，则有成立，则有 成立。成立。引理引理2 2：给定任意对称正定矩阵：给定任意对称正定矩阵 ，标量，标量 ，向量函数，向量函数 ，则有如下不等式成立，则有如下不等式成立()y t0,)
12、t0p 0q 0tt0()()tty tpqy s ds0()()q t ty tpe0M 0:0,nR000()()()()TTs dsMs dssMs ds二次规划问题及变时滞神经网络模型二次规划问题及变时滞神经网络模型建立建立引理引理3 3：假设：假设 ,和和 为适当维数的实矩阵，且为适当维数的实矩阵，且 ，则，则对于任意适当维数的向量对于任意适当维数的向量 和和 ，有如下不等式成立，有如下不等式成立:HLK0K xy12TTTTTx HLyx HK H xy L KLy主要结果主要结果定理定理1 1：如果存在对称正定矩阵：如果存在对称正定矩阵 ,和和 ，使得如下，使得如下LMILMI成
13、立：成立：则系统则系统(5)(5)在平衡点在平衡点 处是全局指数稳定的。其中：处是全局指数稳定的。其中：P1QRZ11122200ZRZ(6)0 x 21100100TTPAA PQZA ZAR 212101TPAA ZAZ2221112(1)TZQA ZA 主要结果主要结果证明证明：考虑如下：考虑如下LyapunovLyapunov泛函：泛函：其中：其中：沿着网络沿着网络(5)(5)的轨迹对的轨迹对 求导，并根据引理求导，并根据引理2 2，有下式成立，有下式成立 123()()()()V xV xV xV x(7)11()()()()()()dtTTttV xx tPx txQ x2()()
14、()dtTtV xxRx03()()()d dtTtV xxZx ()V x()()()()d()()()dttTTttttxZxt xZx()()()()Tx tx ttZ x tx tt(11)()()()()d()()()dttttTTttxZxt xZx()()()()Tx ttx tZ x ttx t(12)主要结果主要结果得到得到 其中其中 如式如式(6)(6)中所定义，且中所定义，且下面讨论网络下面讨论网络(5)(5)的全局指数稳定性的全局指数稳定性。由式由式(13)(13)可以得到：可以得到：其中其中 210000()()TTTx tPAA PQA ZAZV x)()2()()
15、TR x tx ttZx t21012()()()TTPAA ZAx tZ x tt2111()(1)TTx ttQA ZA2)()()()()TZ x ttx tRZ x t()()Ttt (13)()()()()TTTTtxtxttxt()()()TV xx tx t(14)min()0 主要结果主要结果对式对式(14)(14)两边求积分，得到两边求积分，得到 另外，从式另外，从式(7)(7)可知：可知：其中其中 因此因此利用引理利用引理1 1，可知，可知00()(0)()d()()dttTV x tV xV x ssx sx ss()()()TV x tbx tx tmin()0bP11
16、0()()(0)()()dtTTx tx tb V xabx sx s s11()()(0)exp()Tx tx tb V xab t(15)主要结果主要结果利用式利用式(7)(7)和引理和引理3 3，可得，可得令令则则由式由式(15)(15)可得可得 由定义由定义1 1可知系统可知系统(5)(5)在平衡点在平衡点 处是全局指数稳定的。处是全局指数稳定的。证毕证毕。22maxmax1max()()()()()sup()ts tV x tPx tQRx s 2233max00max11()sup()()sup()TTTts tts tAZI Ax sAZIZAx s 33maxmax1maxma
17、x00max11()()()()()TTTcPQRAZI AAZIZA 20(0)sup()sV xcs 2110()()sup()exp()Tsx tx tb csab t 0 x 主要结果主要结果注注2 2：定理：定理1 1是通过是通过LMILMI方法得到的依赖时滞上界的指数稳定方法得到的依赖时滞上界的指数稳定条件，且稳定条件通过条件，且稳定条件通过MATLABMATLAB的的LMILMI工具箱很容易得到验工具箱很容易得到验证。证。注注3 3：在神经网络指数稳定性的研究中，许多文献都是在：在神经网络指数稳定性的研究中，许多文献都是在LyapunovLyapunov泛函中增加一个指数因子的方
18、法来证明的，且指泛函中增加一个指数因子的方法来证明的，且指数收敛率是通过求解一个超越方程得到的。与之不同，我数收敛率是通过求解一个超越方程得到的。与之不同，我们没有引入指数因子，而是利用引理们没有引入指数因子，而是利用引理1 1来证明指数稳定性来证明指数稳定性的。指数稳定证明过程被简化了，且指数收敛率也容易获的。指数稳定证明过程被简化了，且指数收敛率也容易获得。得。注注4 4：式：式(6)(6)不限定不限定 ，也就是说定理，也就是说定理1 1可应用到快时变时可应用到快时变时滞，也可应用到慢时变时滞。滞，也可应用到慢时变时滞。1主要结果主要结果定理定理2 2：如果存在对称正定矩阵：如果存在对称正
19、定矩阵 ,和和 ，正定对称矩，正定对称矩阵阵 ，以及适当维数矩阵，以及适当维数矩阵 ，使得如下，使得如下LMILMI成立：成立：P1QRZ111213222333UUUUUUU123TMM M M123TNN N N1T2T1112131222312334400TTTA T(16)主要结果主要结果则系统则系统(5)(5)的平衡点的平衡点 是全局指数稳定。其中是全局指数稳定。其中：10TUMMZ(17)20TUNNZ (18)0 x 1110011111001TTTTPAA PQRMUMT AA T12211211102TTMMUNT AA T133113MNU221222222(1)TTQMM
20、NNU 2333223TTMNNU 333333TRUNN 24422TZTT,，,主要结果主要结果证明证明：选取：选取LyapunovLyapunov泛函与定理泛函与定理1 1中的相同。中的相同。利用利用Leibniz-NewtonLeibniz-Newton公式，对于任意的适当维数矩阵公式，对于任意的适当维数矩阵 ，有如下等式成立：有如下等式成立：对于任意的正定对称矩阵对于任意的正定对称矩阵 123TMMMM123TNN N N()2()()()()0tTttt M x tx ttx s ds()2()()()()0ttTtt N x ttx tx s ds(20)(21)U0()()()
21、()ttTTttt Ut dst Ut ds()()()()()()()()tttTTTtttt Utt Ut dst Ut ds (22)主要结果主要结果对于任意适当维数矩阵对于任意适当维数矩阵 ，满足如下等式：满足如下等式：沿着网络沿着网络(5)(5)的轨迹对的轨迹对 求导，得到：求导，得到：其中其中由式由式(16)-(18)(16)-(18)，可知，可知 。余下证明部分与定理。余下证明部分与定理1 1相似。相似。证毕证毕。1T2T12012()()()()()0TTxt Txt Tx tA x tA x tt (23)()12()()()(,)(,)(,)(,)()tttTtttV xt
22、t st s dst st s dst(,)(),()TTt stx s()()()()()TTTTtxtxttxtx t()0V x t()V x仿真研究仿真研究 考虑形如式考虑形如式(1)(1)的二次规划问题，的二次规划问题，其中：其中：该优化问题具有唯一平衡点该优化问题具有唯一平衡点 若采用若采用LagrangeLagrange网络模型网络模型(3)(3)来求解优化问题，因为具来求解优化问题，因为具有三个特征值有三个特征值 ，神经系统，神经系统(3)(3)将呈现周期将呈现周期解，见图解，见图1 1，显然系统的平衡点不是稳定的。，显然系统的平衡点不是稳定的。0.1 0.10.1 0.1Q(
23、1 1)c(0.5 -0.5)A0.5b *(0.5 0.5)u 0.2,0.7071,-0.7071ii仿真研究仿真研究 050100150200250300350400450500-4-202050100150200250300350400450500-2024050100150200250300350400450500-10-505u1 u2 v t/sec 图图1 1：时的模型时的模型(5)(5)的状态轨迹的状态轨迹()0t仿真研究仿真研究 现考虑网络模型现考虑网络模型(5)(5)，当指数收敛速率为，当指数收敛速率为 ，为单位为单位矩阵时，在矩阵时，在 时通过时通过LMILMI求解本文
24、定理求解本文定理2 2可得到可得到LMIsLMIs中的各个矩中的各个矩阵。阵。状态轨迹如图状态轨迹如图2 2所示，由图形中的状态轨迹可知，网络收敛到所示，由图形中的状态轨迹可知，网络收敛到最优解最优解 。按照文献按照文献1313中的定理中的定理3 3计算得到的最大时滞上界为计算得到的最大时滞上界为 ，文献文献1414中的定理中的定理1 1要求要求 。显然，本文的结果显著改进了。显然，本文的结果显著改进了文献文献13-1413-14中的结果。中的结果。0.1k DI45*(-0.5 0.5 -2)u 3.6821.5仿真研究仿真研究 图图2 2：时的模型时的模型(5)(5)的状态轨迹的状态轨迹(
25、)45t0500100015002000250030003500400045005000-3.5-3-2.5-2-1.5-1-0.500.511.5 t/sec u1u2v结结 语语 本文，提出了一种等式约束下二次规划问题的变时本文，提出了一种等式约束下二次规划问题的变时滞神经网络模型，并对时滞神经网络稳定性进行了分析，滞神经网络模型，并对时滞神经网络稳定性进行了分析，得到两种稳定结果，所得结果具有能够适应快得到两种稳定结果，所得结果具有能够适应快/慢时变时慢时变时滞，保守性小和易于验证等特点。数值例子验证所提方法滞，保守性小和易于验证等特点。数值例子验证所提方法的有效性。的有效性。东北大学东北大学
