1、神经网络原理王永骥1神经网络控制器设计l4.1 引言l4.2 监督学习NN控制器l4.3 NNMRAC（Model-Reference Adaptive Control）l4.4 神经网络自校正控制（NNSTC）l4.5 NN直接自适应控制l4.6 NN-PID控制l4.7 NN-Fuzzy控制神经网络原理王永骥2引言引言lNN在控制器设计中的几条路l存在的几个问题l本章简介神经网络原理王永骥31.与已有控制结构的结合，如：NN自适应控制（NN MRAC 、NN STR：直接、2. 间接）、NN-PID、NN-IMC（PC）3.与已有控制方法的结合，如：NN-Fuzzy控制、NN-expert
2、控制4.NN特有的控制器设计方法，如：监督学习控制（SNC）、评价学习控制器（ACE）、无模型的控制器设计方法（单个元的或网络的，即按误差调整的）神经网络原理王永骥45.缺乏一种专门适用于控制的动态神经网络（目前方法：静态网络处理动态问题，不可避免的带来差分方程定阶问题）6.稳定性、鲁棒型分析困难神经网络原理王永骥51)学习控制（监督）2)NN自适应（MRAC和STR）3)NN-PID4)NN-无模型控制(单个神经元)5)NN-Fuzzy（思想）6)有关稳定性的一些成果神经网络原理王永骥6监督学习NN控制器l问题的提出lSNC设计： 控制系统结构 思路 实例神经网络原理王永骥7问题的提出当对象
3、动力学特性未知时系统可控，人的知识如何传递给控制装置？l解决思路解决思路：1) 利用专家控制、规则控制2) 采用监督（导师）NN控制（SNC）神经网络原理王永骥8导 师NNC对 象参考信号 选择器-uy神经网络原理王永骥9思路l弄清人在控制过程中利用了过程或人本身的何种信息l构造NNC 考虑问题：何种网络、结构（层数）参数、训练方法（实时性、收敛性）lSNC的训练过程 在人进行控制时，将控制信号及过程收集起来以此为数据, 训练可以是离线的也可以是在线的，即人一边控制NNC一边学习。 训练结束后，网络实现了以参考信号及以往控制轴上y为网络输入，当前控制u为网络输出的I/O映射，即可实现正确控制。
4、神经网络原理王永骥10小车倒立摆系统的控制1. 示意图2. 数学model：令 为小车位置、速度、杆角度、角速度 3. NN控制器)cos4/31()2sin(8/3sin22 mMux fgLmx)cossin(43xgL Txx,神经网络原理王永骥11MxmL神经网络原理王永骥12NN控制器为四层BP网4-16-4-1结构，S型作用函数训练用数据：Ii ,Z 输出u(k) 输出值 控制区间仿真时用：导师为线性或非线性的控制律 取M=1kg，m=0.1kg， f=5.1kg/s，g=9.81m/ KK,2s神经网络原理王永骥13控制结果1) 线性控制为状态反馈： 训练20000次后NN可实现
5、线性律 K=11.01，19.68，96.49，35.572) 非线性：80000次 反馈线性化及解耦变换3) 人控制：40000次 训练结束后，HSNC比 人本身操作更好 训练后，SNC还可继续在线学习以 适应新的扰动、取得新的控制策略样本、 增强对系统的全面了解。 4321kkxkxkKXu神经网络原理王永骥14问题及思路l问题：控制不成功，SNC如何办l思路：引入评价学习的NNC，由ASE加上ACE构成神经网络原理王永骥15NN-MRACI.MRAC的思路II.NN MRAC 1）NN控制器 2）控制框图 3）例1 4）例2神经网络原理王永骥16l一般控制系统可包含前馈和反馈控制器两种（
6、前馈：由期望输出产生控制信号，反馈：由期望与实际之差产生控制信号）l MRAC思路是给定期望响应的动态模型， 利用期望与实际输出之差去改变调节器参数，使对象+控制器形成的闭环系统对给定信号的响应与参考模型一致。当给定模型稳定时，闭环系统稳定并改善了动态响应。 调节机构设计：可利用Lyapunov或Popov方法以保证闭环的稳定神经网络原理王永骥17前馈控制器反馈控制器对象神经网络原理王永骥18NN控制器l辨识+在线控制器设计（泛化学习），间接控制l误差直接改变控制器参数（特定学习），直接控制 泛化学习+自适应 NN MRAC神经网络原理王永骥19参考模型调整机构对象P控制器Cymyu(t)神经
7、网络原理王永骥20参考模型神经网络NNITDLTDLTDLTDL非线性对象神经网络NN Ctext1Z+-+ceupymypyIer神经网络原理王永骥21NNI-辨别器 NNC-控制器 NNI-对象辨识，目的、预报对象输出l做法：l准则：NNC-使 为小数 准则： 控制周期 辨识周期 按常规自适应方法选取 111kykykepI20iTkikteJ kykymklim20cTkckteJcTiTicTT 神经网络原理王永骥22例1l系统 NNI:BP网 2-20-10-1结构 NNC: 此时 满足 kugkykyfky1,1krkykykygkykykykykyfmmm12.06.011,11
8、5.2122 krkykykykyNku12 . 06 . 01,kukykyNuyp1,1 12 . 06 . 01kekekeccc0limkeck神经网络原理王永骥23系统模型 示意图 参考模型神经网络原理王永骥24神经网络原理王永骥25神经网络原理王永骥26神经网络原理王永骥27神经网络原理王永骥28神经网络原理王永骥29神经网络原理王永骥3000.511.522.533.54020406080100Time (sec)Angle (deg): D + A -Desired and Actual Response00.511.522.533.54020406080100Time (se
9、c)Velocity (deg/sec): D+ A -神经网络原理王永骥31神经网络自校正控制lSTR基本思想l对象描述l一阶系统的一个实例神经网络原理王永骥32基本思想l如果系统环境和模型的参数已知，则可采用适当方法获得某种意义下的最优控制器；若系统参数未知，则可用在线参数估计值来代替真实值（确定性等效原则）设计控制器，实现在线监控。神经网络原理王永骥33对象描述lSISO可反馈线性化的系统设 逆存在， 、 已知在 未知时，用 逼近 kunkukunkykygnkkunkykyfky,1,1,1， g f g gkygfku1 gf、 gfNN、 gf、神经网络原理王永骥34实例l例 引入
10、NN NN的一步预报模型为：取： 则控制器为： kukygkyfky1 kyfkwkyff, kygkwkygg, kukwkygkwuyfkygf,111kykyd kwkyguwkyfdykugf,1 神经网络原理王永骥35l 调整准则令 ，系统gf,111kykyked1212keJ kwkygkykwkygkwyfygyfgygfgfkygdgfkkkd,1,1神经网络原理王永骥36l权系数修正公式 1,1keuwfkwkyfkwkygygnkkwkwfgkff 1,1uekuuwgkwkygkwkygygnkkwkwggkgg神经网络原理王永骥37l设隐层为 或 ， 或 则 fivg
11、ivfqi， , 1gqi, 1 xe11 kyvkykwkwuwkyfkykwkvkwkyffifififfifif, kyvkykwkwuwkygkykwkvkwkyggigigiggifig,fqi， , 1gqi, 1 神经网络原理王永骥38l仿真例： 一个元， ，1-10-10-1结构 初值 逐渐减小 初始振荡，9000步以后 2500步后仍有轻微振荡kkuyky2 . 12sin8 . 01g f 95. 00,016. 001 . 001. 00, 1 . 01 . 00gwwf神经网络原理王永骥39 y(t)距离 i(t) 电流 M质量神经网络原理王永骥40神经网络原理王永骥4
12、1神经网络原理王永骥42NN直接自适应控制l基本概念l一种NN直接STC方案1. 描述2. 问题3. 训练方案4. 特点l基于单个自适应神经元的控制神经网络原理王永骥43基本概念l直接自适应控制即直接根据对象的知识来调整控制器的内部参数，使得对象的输出误差尽量小 间接：辨识模型 直接：不辨识 两种方案：1.基于MRAC 2.基于STC神经网络原理王永骥44系统描述l 只要 维持足够高，可描述任意非线性系统 设：NN为BP网络 训练规则： 为期望的对象输出 时对应的输入 kukYfkY,1 kY 21221kddkukuJorkukuJ kud kyd神经网络原理王永骥45l问题希望 ，此时 应
13、确知， 但P未知，而为训练NNC， 又该知l解决思路：将NNC与P看成一体，NN的最后一层（或几层）固定不变，用来描述对象，训练指标相应修改成 Q为加权阵，Q0 选择 使 kykyd kud kud22111QcQdkekykyJ kuminJ神经网络原理王永骥46训练方案:梯度法l设控制器参数 空间 计算 时，当 为网络最后一层（描述对象的）时，用下法 为对象的Jacobian阵,未知Q kQJkQkQ1QJ kQkukyQkekukykyJkuJkQkuuuJkQJTTcTTTT11211kuJT神经网络原理王永骥47l将 ， 对于网络最后一层最后可得其它各层仍按标准BP算法修正 代sgn
14、 kukyQkekuJTTcTs1sgn121LijwQ kykujkQkujLi1 kykjkwkwLiLLijLij1111 kujkyQkekujkjTc1sgn122ijw神经网络原理王永骥481. 无特定学习阶段，即没有依赖于辨识，直接控制效果设计控制器;2. 控制参数调整为依赖时间的自适应过程.3. 例神经网络原理王永骥49例:例：小车倒立摆控制（动力学方程同前） Rouge-kutta法求解，步长0.001秒 未时，失败 该系统NMP系统 4层BP 4-4-4-1结构， 初始条件， 随机给定 2040次后，可使平衡保持15分钟4.2,450 x kukxkun1,01 kkxkx
15、kkJ22225 . 0msTc205 . 4, 5 . 4, 0 xcmxi1,10神经网络原理王永骥50l框图l单个自适应神经元描述l系统结构 对r为定值系统l学习方法lP为线性系统时稳定性分析 iniixwkku132131wwwxwkuiik 1,222321txtxxxtyrxtrxt神经网络原理王永骥51转换器w1w2.wnk对象x1 x2xnpi(t),E神经网络原理王永骥52状态变换器f(.)Ku对 象学 习算法w2uger-x1x2x3w1 w3神经网络原理王永骥53学习方法l督促学习min2yrJ yrdxtwtwyrdxtwtwyrdxtwtw333222111111 t
16、etdxtwii神经网络原理王永骥54改进算法l监督与Hebb之组合 a 改变放大系数. b.增加小误差时e (t)的敏感性 efK tutetdxtwii tetxtetetanh2神经网络原理王永骥55l思想 小超调小，稳态调节平衡，减小时，加快大，使动态过程进一步大时，keke按函数的专家思想选择k teaatrteatrteatrtebtk0123332 17 . 0te 7 . 01 . 0te 1 . 00te 0 te trtete神经网络原理王永骥56线性系统闭环稳定性l设 控制器等效为： 将 sDsNsG0 srwkswwksu132 srwsDskNsEswwsDskNsr
17、wsEswwsDskNsy132132 srswwsDskNsrsDswwwskNsy32321 代入可得sysrsE神经网络原理王永骥57l即：lRoche定理 若在复平面环路上有 在此环路上有相同数目的零点 的稳定性取决于swwskNsDrswwwDkNyswwDkNswwskNsDswwwskNsy3232132323211 sgsfsfsgsfsfsgsf和则均为多项式,2, 01神经网络原理王永骥58l设l在 sDsNsNksDswwksfsDswwskNsgsD1, 003232的条件寻找 sssDsNn11011点系统时无0022012320211111kkwkwkkssswww
18、kkn即可，故只要神经网络原理王永骥59NN PIDl 直接NN PID1. 常规 PID 2. NN PIDl 间接NN PID1. 结构2. 学习3. 算法流程神经网络原理王永骥60常规PID kDkIkpkkdkIkpkekekekuekekeku2增：位：神经网络原理王永骥61NN - PIDl采用BP网络 3-6-1结构 输入 学习方法，标准BP算法 问题：要使网络之期望值不知 先用 代替 输出层： 2121,2321kekekekekxkekekekxkekx kyyd 6, 1, ikekvi神经网络原理王永骥62对 象转换器 . . .111 zuk yk yd+ -ekx1x
19、2x3WijViku神经网络原理王永骥63讨论l隐层：l讨论：1）本法不一定能保证系统稳定性与收敛性 2）实时控制时，用到 计算慢 61,11,31jkxkwknetjeefkekvknetjfwijijxxjij wuuykeWJwJw, 0 xexp神经网络原理王永骥642。间接NN PID 两个NN：NNC PID；NNI 辨识器l间接NNPID结构示意图lNNI：设 3层BP网 ntutuntytyfty,1,1 totvtyeeftnetftoQtotwtnetmninnituniitytoiiixxiiijjijii22111,10,出：隐：入：神经网络原理王永骥65NNCLACP
20、LAIr1yuk -+-+y y神经网络原理王永骥66 txtktxtktutetxtetxtetx3311321,则有：选：神经网络原理王永骥67NNPID 学习. twtnetftvtutnettutnettotytutytrutytktytrtktytytytrJtytrJiniiiiiiiiicp22211111111121min1121代替用神经网络原理王永骥68算法流程1. （-0.1，0.1）随机值初始化NNC，NNI2. 计算3. 计算NN PID之4. 修正NNI权值5. 修正NNC权值6. 1+t t，到2 tetete, tu神经网络原理王永骥69NN-Fuzzy控制lF
21、uzzy控制的基本思想做法l一个实例神经网络原理王永骥70l基于人的经验，依据 进行表格化处理，控制规则为：if A then B形式， 分为大、小、快、慢等，规则为：if E=Ai and then A选作E，B选作EC（变化率） 一般分成210档，通常取7档8档， NL，NM NS，NO PO PS PM PL具体计算时按隶属关系集，由具体数值 得到属于何种状态，控制变量也如此处理.ee ,ee ,iBECijCu ee , keke,神经网络原理王永骥71几种做法I.NN模拟Fuzzy系统中的各个模块，为Fuzzy化、推理、决策等II.NN中引入Fuzzy逻辑，使之具有直接处理Fuzzy
22、信息的能力 例：NN的加权求和变成“并”与“交”等形 式的Fuzzy逻辑运算，称为模糊神 经元 模糊神经网络一般为5层网络，参考p326神经网络原理王永骥72小车倒立摆问题l 和 为观测量； f 为控制量；Q0 为垂线右边反之为 ； 方向向右， 反之向左；lf 的作用为抵消 为精确变量时，则 为精确数值 为模糊变量时，为语言值NB：negative Big，NM：negative middleNS：negative small ZE： zeroPS：positive small，PM：positive middlePB：positive big 隶属函数范围，交叠范围为25%左右为宜。QQ0Q0f0fQQQfQQfR神经网络原理王永骥73。 NBNMNSZEPSPMPBNBPBNMPMNSPSNSZEPBPMPSZENSNMNBPSPSNSPMNMPBNB神经网络原理王永骥74NN控制的几种方式1）SNC2）NN 自 适 应 控 制3）NN PID 控 制4 单 个 神 经 元 控 制5）Neuro-Fuzzy 控 制
