1、哈工大智能控制神经网络第十一哈工大智能控制神经网络第十一课神经网络系统辨识课神经网络系统辨识系统辨识应用n控制系统的分析和设计n自适应控制：辨识器作为被控对象的模型，调整控制器参数，获得较好的控制效果n建立辨识系统的逆模型，作为控制器 n预测、预报：建立时变模型，预测其参数，以实现系统参数的预测、预报。n监视系统运行状态，进行故障诊断 神经网络解决非线性系统的离线/在线辨识问题n系统辨识理论基础系统辨识理论基础n神经网络系统辨识原理神经网络系统辨识原理nNNNN线性模型辨识线性模型辨识nNNNN非线性模型辨识非线性模型辨识nNNNN逆模型辨识逆模型辨识系统辨识理论基础 定义：在输入/输出数据基
2、础上，从一组给定模型类中确定一个所测系统等价的模型。辨识三要素：n输入/输出数据n模型类(系统结构)n等价准则 e.g.J e符号P:待辨识系统；辨识系统模型u:输入y:输出；辨识模型产生的输出；w:实际参数；辨识参数k:采样时刻J:指标函数v:输出噪声h:数据向量 ：神经元作用函数Py w 系统辨识问题表述 以SISO离散动态系统为例lu(k),y(k)是输入/输出时间序列(观测量)l根据观测量确定模型 ，使指标函数最小P)()(limNNJNYY 2112NkJ Nek模型辨识结构)(ky )(ku )(ke+)(kn -)(NNP 学习算法 P 误差准则(1)输出误差(2)输入误差(3)
3、广义误差表达形式？辨识主要步骤 n确定辨识输入/输出数据n输入信号形式n采样周期n辨识时间(辨识数据长度）：足够长n模型结构辨识n模型参数辨识n模型检验输入信号满足条件n充分激励原理：输入信号必须激励系统的所有动态；n激励时间充分长；n输入信号形式：n白噪声序列(均匀分布，正态分布)；n二进制伪随机码(M序列和逆M序列)；系统模型与逆模型辨识 基于神经网络的系统辨识基于神经网络的系统辨识 选择适当的神经网络作为被辨识系统P的模型与逆模型辨识过程辨识过程 所选的网络结构确定后，在给定的被辨识系统输入输出观测数据下，网络通过学习（训练），不断的调整权系值，使得准则函数为最优。NN辨识结构 模型辨识
4、 逆模型辨识 逆模型辨识(2)y(k)ku(k)-)(ke+)(kn 1(NN)P 学习算法 P )(ky )(ku )(ke+)(kn -)(NNP 学习算法 P )(ky +)(kn )(kr -)(ke)(1NNP 学习算法 P NN辨识n系统辨识通常先离线，获得比较合适的初值，再在线，实时辨识时变参数；nNN控制系统中，系统辨识是以系统在闭环控制下所得观测数据进行，因此是在线；n时变系统，多考虑在线辨识动态系统辨识常用NN:时延NNn线性DTNN:n非线性DTNN:)(ky )(mku W +1z )(ku 1z TDL M 0()()()mTjjy kkw u kjhw(),(1),
5、()Tu k u ku kmhwh);()(kNky动态系统辨识常用NN:输出反馈NN n线性OFNN:n非线性OFNN:n局部递归网络(1),(2),();(),(1),()Ty ky ky kn u k u ku kmh+miiniiTikuwikywkky01)()()()(whwh);()(kNky)(ku)(ky 1z TDL 1z 1z 1z 多 层 前 馈 网 M M 两种辨识结构 并联型:串-并联型:+u y e _)(NNP P u y +e _)(NNP P 下面首先介绍线性动态系统的辨识线性系统差分方程模型是SISO系统能观测到的确定性输入输出，则确定性系统差分方程：)(
6、)2()1()(21nkyakyakyakyn+)()2()1()(210mdkubdkubdkubdkubm+上式模型，对输出y(k)是n阶差分，y(k)是最高阶、y(k-n)是最低阶。ia、ib：系数，0ia，0ib，是常数，则是定常系统，否则，是时变系统；d：输入最高阶u(k-d)低于输出最高阶y(k)的阶次，时延步数，1d。（2）差分算子表达式 为简化模型描述，引入后向移位算子 线性系统差分方程模型：ARMA)(kh)(k线性离散系统 1)(k)(kh)0(h kk)6(h)2(h线性系统脉冲响应模型线性系统Z传函模型(a)(ku)(ky)(zP )(ky(b)(0zP dz)(0ky
7、(c)(dky)(0zP dz)(0dky线性系统Z传函模型(续)为时域模型，由状态方程和输出方程组成：1kAkBkkCk+xxuyx线性系统离散状态空间表达式n随机模型v为零均值不相关的随机噪声nCARMA模型线性系统差分方程模型：随机系统)()()()(01kvidkubikyakymiinii+piimiiniiikvcidkubikyaky001)()()()()()()()()(1111kvqAqCkuqAqBqkyd）+确定性系统NN辨识讨论SISO系统ARMA模型并联型串-并联型均取指标函数：学习算法：Tmdkudkudkunkykykyk)(),1(),();(),2(),1(
8、)(，hTmdkudkudkunkykykyk)(),1(),();(),2(),1()(，h22),()(21)(21),(kykykekJww)()()()()1(kkekkkhww+)()()()()()(kkkkykkThwhw+2)()(kkh确定性系统NN辨识改进算法引入加权因子，此时可取则参数估计更新：如R(k)满足 不正交，则无论w初值如何选，参数估值大范围一直渐进收敛12121(1),(2),();(),(1),()nTnnn mc y kyc kc y kncu kd cu kdcu kdm+h，,01iic(1)()()()()kkR k e kk+wwh 11diag,
9、n mR kkcc+1221kn miiic hk+ww线性系统NN辨识示例(1)演示 随机系统NN辨识n第一类nh(k)和v(k)不相关；nh(k)协方差阵为常数阵，且和w(k)不相关；n输入噪声s(k)和h(k),v(k)统计独立；n第二类h(k)和v(k)相关；n第三类h(k)和v(k)相关,和w(k)相关；0)()(kvkhEi随机系统NN辨识n对于第一类随机系统，且输入不含噪声时，可得到参数渐进无偏估计n对于输入含噪声的第一类和第二类随机系统，只能得到有偏估计。n改进算法(对含输入噪声的第一类随机系统)噪声模型则改进算法是无偏的)()()()()1(kkekkkhww+2121,di
10、ag)()(nmjikkEss)()()()()()1(kkekkkkhwIw+线性系统NN辨识示例(2)演示 非线性系统动态模型-5-1 非线性系统模型非线性系统模型 非线性系统与线性系统不同，没有一般的表达式，在此举出几种典型模型。1.单输入单输出（单输入单输出（SISO）系统的差分方程）系统的差分方程 M1 y kg y ky kn u ku km()(),();(),()11 M2 y kg y ky knu ku km()(),()(),()+11 M3 y kg y ky kn u km()(),()()1 M4 y ka y kiu ku kmiin()()(),()+11 M5
11、 y kg y ky knb u kiiim()(),()()+11 M1M5 设：（1）模型结构已知，即n、m已知；（2）u(k)、y(k)可量测；（3）对于紧集 U 上的系统输入u，输出y是一致有界的，即为 BIBO 系统。并联型结构串-并联型结构两种结构图示 e(k)(PNNI )(ky 多 层 前 馈 网 络)(ky)(ku TDL TDL(a)串并联型 P (b)并联型 e(k)_ )(ky)(PNNI 多 层 前 馈 网 络 )(ky )(ku TDL TDL P (a)(b)(c)辨识实例I问题描述7.580.02050.0210.02150.0227.58-0.048-0.04
12、6辨识实例I模型结构确定)(kex 11zz +)(kyn +)(kxn )(kzy)(kx )(kR)(kzx学习算法)(kR 角度 传感器 辨识实例I两个单轴辨识)()(kykx-)(kzy)(kzx+)(kyn )()(kekeyx)(kxn+)(kR 11zz 学习算法)(kR 角度 传感器 辨识实例I两轴辨识Ex、Ey是 1 800 次训练的 E 的均值：1800/)(18001kEEkxx ；1800/)(18001kyykEE 0204060801000.02050.0210.02150.022020406080100-0.048-0.046 1800 次训练，得到 W、V 权系
13、。训练好的网络，在数据R k()、R k()输入下的输出见图 3-5-6（n=3）。辨识结果：x 轴：辨识实例I训练结果)()(kykx-)(kzy)(kzx+)(kyn )()(kekeyx)(kxn+)(kR 11zz 学习算法)(kR 角度 传感器 )(kex 11zz +)(kyn +)(kxn )(kzy)(kx )(kR)(kzx学习算法)(kR 角度 传感器 辨识实例I方法比较辨识实例II演示 线性系统的逆模型与辨识SISO 系统Z传递函数一般式：dnnmmzzazazazbzbzbbzAzBzP+2211221101)()()(ddniimiizzPzzszpb)()1()1(
14、011110 b0：增益；d：时延阶数；pi、si：Z 平面上的零点、极点。若系统的全部极点在单位圆内，则系统是稳定的，有界的输入u(k)产生有界的输出y(k)。这里只讨论稳定系统的逆。最小相位系统的逆非最小相位稳定系统的逆若系统至少有一个零点或极点位于平面单位圆外，或具有时延，称非最小相位系统。若)(zP是非最小相位的、在单位圆外无极点、有零点，且0d，则)()(0zPzP是稳定的，但其逆是不稳定的，因在单位圆外有极点。得到系统逆的方法：将)(/1zP展开，取其因果能实现部份，得到近似逆；)()()(1)(-zGzGzPzG+)(zG其中 包含所有时延和所有在单位圆外的零点，称为非最小相位的
15、部分。此时只能得到近似逆)(zG+神经网络逆模型辨识 11zz11zz-)(ku)(dky+)(kedzdku+)(P学习算法 M M NNII 讨论时延且稳定系统的 逆模型辨识。用系统输入输出)(),(kyku，最优化准则函数：min)(21)()(21)(22kekukukE e(k)：输入误差 根据逆模型：求得逆模型参数的估计：1011,Tnmc cc dd 01nmiiiiu kc y kdid u ki+神经网络线性逆模型辨识示例演示 非线性系统逆模型 )()(kyks 1z 1z )(mdku+1z)1(+dku 1dP)(dku )()1(nkyky)(,),1(),(,),1(
16、),(1mdkudkunkykyksg+M M 1z 非线性系统逆模型(2)神经网络逆模型辨识n直接逆模型辨识n系统逆模型辨识n模型辨识逆模型辨识n系统模型辨识逆模型辨识直接逆模型辨识-)(ku )(ke)(ku )(ky 学习算法)(1NNIIPd P )(1dPNNIIe(k)-)(ku u(k)(dky+)(dku+TDL TDL 多 层 前 馈 网 络 P 学习算法 y(k+d)系统逆模型辨识 y u r e -)(1NNIIPd 学习算法 P 模型辨识逆模型辨识-y y r )(1NNIIPd)(PNNI P 系统模型辨识逆模型辨识辨识步骤（见图）：（1）模型辨识：由神经辨识器 NN
17、I 得到系统P的估计 P；（2）逆模型辨识：由逆模型的期望输入 s与系统P输出 y之差 yse调整 NNII 的 权系，因系统未知，由P的估计 P来代替，即yse，可以克服方法 2 的不足。y-1e-y )(NNIP y u P e s )(1NNIIPd NN逆模型辨识示例演示 逆系统深入示例I 逆系统深入示例II 逆系统深入定义 逆系统深入SISO系统可逆性 逆系统深入辨识步骤(1)获得训练样本u,y；(2)使用数值微分方法求输出导数；(3)确定神经网络输入。输入应进行归一化处理(4)训练神经网络。可用2/3左右数据训练，1/3左右数据测试。逆系统深入辨识实例 200200001sinsi
18、n22coscos2,qsdqsHddqqsdqmsHHddqE VxxVDTHHxHx xE VxxPVCDuHTTHHxHx xfu +附：NN辨识学习算法证明基本思想：构造Lyapunov函数，证明证明：令取Lyapunov函数证明后两项0 k w kkww 2V kk w 211V kk+w Tkk e kkkk e kk whwh 22222Tkk e kkkk ekk+wwhh附：NN辨识学习算法证明(续)注意到因此有若使 ，则即有 Tkkkkke kwhhwh 22222V kk ekk ekk+h 1V kV k+220kkk+h参考文献o徐立娜 神经网络控制o Narendr
19、a,K.S.,and S.Mukhopadhyay,“Adaptive Control Using Neural Networks and Approximate Models,”IEEE Trans.NN,Vol.8,1997,475-485.oK.S.Narendra and K.Parthasarathy,“Gradient methods for the optimization of dynamical systems containing neural networks,”IEEE Trans.NN,vol.2,1991,252262o戴先中 多变量非线性系统的神经网络逆控制方法 科学出版社，200563谢谢！
